mufassall

Шпаргалка · Целые системы

Проектируем ленту новостей

15 мин · Продвинутый · mufassall.dtwin.uz/ru/l/design-news-feed/

← Открыть урок

Проблема

Люди публикуют посты, и все их подписчики должны увидеть пост в ленте за секунды. Строим ленту по шагам: сборка при чтении, раздача при записи, проблема знаменитостей и гибрид, ранжирование, медиа через CDN и что будет, когда умрёт кэш лент.

Чему вы научитесь

  • Fan-out on read и fan-out on write: цена каждого
  • Почему несколько огромных аккаунтов ломают push и как это чинит гибрид
  • Кэш ленты на пользователя, в котором id, а не посты
  • Пагинация курсором, ранжирование и медиа через CDN
Итоговая сцена
20%55%55%35%40%50%10%

Диаграмма как код

Итоговая схема урока в виде текста: вставьте её в Jira, GitLab, GitHub, Notion или документацию, там Mermaid рисуется сам. Есть варианты для D2 и PlantUML (Confluence, IntelliJ).

Mermaid: схема

flowchart LR
  n_author(["Приложение автора"])
  n_reader(["Приложение читателя"])
  n_api["API ленты"]
  n_db[("База постов и подписок")]
  n_queue[["Очередь постов"]]
  n_fanout("Fan-out воркер")
  n_feeds{{"Кэш лент"}}
  n_cdn[/"CDN"\]
  n_media[("Хранилище медиа")]
  n_author --> n_api
  n_api --> n_db
  n_reader --> n_api
  n_api --> n_queue
  n_queue --> n_fanout
  n_fanout --> n_db
  n_fanout --> n_feeds
  n_api --> n_feeds
  n_api --> n_db
  n_reader --> n_cdn
  n_cdn --> n_media

Mermaid: последовательность запросов

sequenceDiagram
  participant n_author as Приложение автора
  participant n_api as API ленты
  participant n_db as База постов и подписок
  participant n_fanout as Fan-out воркер
  participant n_feeds as Кэш лент
  participant n_queue as Очередь постов
  participant n_reader as Приложение читателя
  participant n_cdn as CDN
  Note over n_author,n_api: Публикация: одна строка, один id
  n_author->>n_api: POST /v1/posts HTTP/1.1
  n_api-->>n_author: HTTP/1.1 201 Created
  Note over n_api,n_db: Fan-out on read: собираем ленту при открытии
  n_api->>n_db: SELECT p.id, p.author_id, p.created_at
  n_db-->>n_api: (50 rows)
  Note over n_api,n_db: Pull на масштабе: всю работу каждый раз делает база
  n_api->>n_db: EXPLAIN ANALYZE SELECT p.id ...
  n_db-->>n_api: Sort (top-N heapsort)
  Note over n_fanout,n_feeds: Fan-out on write: раздаём при публикации
  n_fanout->>n_feeds: LPUSH feed:u_42 7393018847102976
  n_feeds-->>n_fanout: (integer) 801
  Note over n_api,n_feeds: Чтение ленты — одно чтение диапазона
  n_api->>n_feeds: LRANGE feed:u_42 0 49
  n_feeds-->>n_api: 1) #34;7393018847102976#34;
  Note over n_queue,n_fanout: Пост знаменитости: 30 миллионов вставок
  n_queue->>n_fanout: fanout post=7393102255110144 author=u_star
  Note over n_api,n_db: Гибрид: push для большинства, pull для звёзд
  n_api->>n_db: SELECT id, author_id, created_at FROM posts
  n_db-->>n_api: (7 rows)
  Note over n_reader,n_api: Ранжирование и курсор
  n_reader->>n_api: GET /v1/feed?limit=20#38;cursor=c_7f2a HTTP/1.1
  n_api-->>n_reader: HTTP/1.1 200 OK
  Note over n_reader,n_cdn: Фото отдаёт CDN, а не API
  n_reader->>n_cdn: GET /m/m_5521/720.webp HTTP/1.1
  n_cdn-->>n_reader: HTTP/1.1 200 OK
  Note over n_api,n_feeds: Умирает узел кэша лент
  n_api->>n_feeds: LRANGE feed:u_42 0 49
  n_feeds-->>n_api: (error) connection refused

D2

direction: right

n_author: "Приложение автора" {
  shape: rectangle
}
n_reader: "Приложение читателя" {
  shape: rectangle
}
n_api: "API ленты" {
  shape: rectangle
}
n_db: "База постов и подписок" {
  shape: cylinder
}
n_queue: "Очередь постов" {
  shape: queue
}
n_fanout: "Fan-out воркер" {
  shape: rectangle
  style.multiple: true
}
n_feeds: "Кэш лент" {
  shape: hexagon
}
n_cdn: "CDN" {
  shape: oval
}
n_media: "Хранилище медиа" {
  shape: stored_data
}

n_author -> n_api
n_api -> n_db
n_reader -> n_api
n_api -> n_queue
n_queue -> n_fanout
n_fanout -> n_db
n_fanout -> n_feeds
n_api -> n_feeds
n_api -> n_db
n_reader -> n_cdn
n_cdn -> n_media

PlantUML: последовательность запросов

@startuml
participant "Приложение автора" as n_author
participant "API ленты" as n_api
database "База постов и подписок" as n_db
participant "Fan-out воркер" as n_fanout
collections "Кэш лент" as n_feeds
queue "Очередь постов" as n_queue
participant "Приложение читателя" as n_reader
participant "CDN" as n_cdn
note over n_author, n_api : Публикация: одна строка, один id
n_author -> n_api : POST /v1/posts HTTP/1.1
n_api --> n_author : HTTP/1.1 201 Created
note over n_api, n_db : Fan-out on read: собираем ленту при открытии
n_api -> n_db : SELECT p.id, p.author_id, p.created_at
n_db --> n_api : (50 rows)
note over n_api, n_db : Pull на масштабе: всю работу каждый раз делает база
n_api -> n_db : EXPLAIN ANALYZE SELECT p.id ...
n_db --> n_api : Sort (top-N heapsort)
note over n_fanout, n_feeds : Fan-out on write: раздаём при публикации
n_fanout -> n_feeds : LPUSH feed:u_42 7393018847102976
n_feeds --> n_fanout : (integer) 801
note over n_api, n_feeds : Чтение ленты — одно чтение диапазона
n_api -> n_feeds : LRANGE feed:u_42 0 49
n_feeds --> n_api : 1) "7393018847102976"
note over n_queue, n_fanout : Пост знаменитости: 30 миллионов вставок
n_queue -> n_fanout : fanout post=7393102255110144 author=u_star
note over n_api, n_db : Гибрид: push для большинства, pull для звёзд
n_api -> n_db : SELECT id, author_id, created_at FROM posts
n_db --> n_api : (7 rows)
note over n_reader, n_api : Ранжирование и курсор
n_reader -> n_api : GET /v1/feed?limit=20&cursor=c_7f2a HTTP/1.1
n_api --> n_reader : HTTP/1.1 200 OK
note over n_reader, n_cdn : Фото отдаёт CDN, а не API
n_reader -> n_cdn : GET /m/m_5521/720.webp HTTP/1.1
n_cdn --> n_reader : HTTP/1.1 200 OK
note over n_api, n_feeds : Умирает узел кэша лент
n_api -> n_feeds : LRANGE feed:u_42 0 49
n_feeds --> n_api : (error) connection refused
@enduml

PlantUML: компоненты

@startuml
left to right direction
agent "Приложение автора" as n_author
agent "Приложение читателя" as n_reader
component "API ленты" as n_api
database "База постов и подписок" as n_db
queue "Очередь постов" as n_queue
collections "Fan-out воркер" as n_fanout
stack "Кэш лент" as n_feeds
frame "CDN" as n_cdn
storage "Хранилище медиа" as n_media
n_author --> n_api
n_api --> n_db
n_reader --> n_api
n_api --> n_queue
n_queue --> n_fanout
n_fanout --> n_db
n_fanout --> n_feeds
n_api --> n_feeds
n_api --> n_db
n_reader --> n_cdn
n_cdn --> n_media
@enduml

Итог

Лента — это обмен между работой при записи и работой при чтении.

1) Pull прост, но пересобирает каждую ленту при каждом открытии. 2) Push превращает чтение в один диапазон из кэша, ценой работы на каждого подписчика при записи. 3) Крупные аккаунты подтягиваются при чтении и сливаются. 4) Списки лент хранят id, ограничены по длине и всегда пересобираемы. 5) Ранжируйте несколько сотен кандидатов, листайте курсором, медиа отдавайте через CDN.

Показатели: в начале и в конце

ПоказательВ началеВ конце
Загрузка ленты p9980 мс60 мс
Вставки в ленты0/с1 800/с
Доставка подписчикам0 с2 с

Шаги

  1. Кейс Публикация: одна строка, один id

    Автор отправляет текст и id заранее загруженных фото.

  2. Кейс Fan-out on read: собираем ленту при открытии

    Самая простая лента: когда читатель открывает приложение, находим всех, на кого он подписан, берём их свежие посты, сортируем по времени и отдаём 50.

  3. Проблема Pull на масштабе: всю работу каждый раз делает база

    20 миллионов читателей открывают ленту ~10 раз в день: в среднем 2 300 сборок/с, около 10 000 в вечерний пик.

  4. Решение Fan-out on write: раздаём при публикации

    Переворачиваем: когда кто-то публикует пост, очередь передаёт его fan-out воркеру.

  5. Кейс Чтение ленты — одно чтение диапазона

    API читает первые 50 id из feed:u_42, затем берёт эти посты по id из кэша постов (большинство горячие) и отдаёт.

  6. Проблема Пост знаменитости: 30 миллионов вставок

    Пишет аккаунт с 30 миллионами подписчиков.

  7. Решение Гибрид: push для большинства, pull для звёзд

    Аккаунты больше 100 000 подписчиков не раздаются.

  8. Кейс Ранжирование и курсор

    Строгий порядок по времени топит посты близких друзей в шуме.

  9. Решение Фото отдаёт CDN, а не API

    Основная часть байтов — картинки.

  10. Проблема Умирает узел кэша лент

    Один узел кэша лент падает.

  11. Решение Откат на pull, пересборка в фоне

    Для пользователей без списка API откатывается на pull: посты авторов из подписок, только за последние два дня.

  12. Итоги Итоги

    Лента — это обмен между работой при записи и работой при чтении.

Термины

Fan-out (on write / on read)
Fan-out on write при публикации кладёт id поста в кеш ленты каждого подписчика, а fan-out on read собирает ленту при открытии. Лучше всего работает гибрид: push для большинства, pull для звёзд.