Шпаргалка · Целые системы
Проектируем ленту новостей
Проблема
Люди публикуют посты, и все их подписчики должны увидеть пост в ленте за секунды. Строим ленту по шагам: сборка при чтении, раздача при записи, проблема знаменитостей и гибрид, ранжирование, медиа через CDN и что будет, когда умрёт кэш лент.
Чему вы научитесь
- Fan-out on read и fan-out on write: цена каждого
- Почему несколько огромных аккаунтов ломают push и как это чинит гибрид
- Кэш ленты на пользователя, в котором id, а не посты
- Пагинация курсором, ранжирование и медиа через CDN
Диаграмма как код
Итоговая схема урока в виде текста: вставьте её в Jira, GitLab, GitHub, Notion или документацию, там Mermaid рисуется сам. Есть варианты для D2 и PlantUML (Confluence, IntelliJ).
Mermaid: схема
flowchart LR
n_author(["Приложение автора"])
n_reader(["Приложение читателя"])
n_api["API ленты"]
n_db[("База постов и подписок")]
n_queue[["Очередь постов"]]
n_fanout("Fan-out воркер")
n_feeds{{"Кэш лент"}}
n_cdn[/"CDN"\]
n_media[("Хранилище медиа")]
n_author --> n_api
n_api --> n_db
n_reader --> n_api
n_api --> n_queue
n_queue --> n_fanout
n_fanout --> n_db
n_fanout --> n_feeds
n_api --> n_feeds
n_api --> n_db
n_reader --> n_cdn
n_cdn --> n_mediaMermaid: последовательность запросов
sequenceDiagram
participant n_author as Приложение автора
participant n_api as API ленты
participant n_db as База постов и подписок
participant n_fanout as Fan-out воркер
participant n_feeds as Кэш лент
participant n_queue as Очередь постов
participant n_reader as Приложение читателя
participant n_cdn as CDN
Note over n_author,n_api: Публикация: одна строка, один id
n_author->>n_api: POST /v1/posts HTTP/1.1
n_api-->>n_author: HTTP/1.1 201 Created
Note over n_api,n_db: Fan-out on read: собираем ленту при открытии
n_api->>n_db: SELECT p.id, p.author_id, p.created_at
n_db-->>n_api: (50 rows)
Note over n_api,n_db: Pull на масштабе: всю работу каждый раз делает база
n_api->>n_db: EXPLAIN ANALYZE SELECT p.id ...
n_db-->>n_api: Sort (top-N heapsort)
Note over n_fanout,n_feeds: Fan-out on write: раздаём при публикации
n_fanout->>n_feeds: LPUSH feed:u_42 7393018847102976
n_feeds-->>n_fanout: (integer) 801
Note over n_api,n_feeds: Чтение ленты — одно чтение диапазона
n_api->>n_feeds: LRANGE feed:u_42 0 49
n_feeds-->>n_api: 1) #34;7393018847102976#34;
Note over n_queue,n_fanout: Пост знаменитости: 30 миллионов вставок
n_queue->>n_fanout: fanout post=7393102255110144 author=u_star
Note over n_api,n_db: Гибрид: push для большинства, pull для звёзд
n_api->>n_db: SELECT id, author_id, created_at FROM posts
n_db-->>n_api: (7 rows)
Note over n_reader,n_api: Ранжирование и курсор
n_reader->>n_api: GET /v1/feed?limit=20#38;cursor=c_7f2a HTTP/1.1
n_api-->>n_reader: HTTP/1.1 200 OK
Note over n_reader,n_cdn: Фото отдаёт CDN, а не API
n_reader->>n_cdn: GET /m/m_5521/720.webp HTTP/1.1
n_cdn-->>n_reader: HTTP/1.1 200 OK
Note over n_api,n_feeds: Умирает узел кэша лент
n_api->>n_feeds: LRANGE feed:u_42 0 49
n_feeds-->>n_api: (error) connection refusedD2
direction: right
n_author: "Приложение автора" {
shape: rectangle
}
n_reader: "Приложение читателя" {
shape: rectangle
}
n_api: "API ленты" {
shape: rectangle
}
n_db: "База постов и подписок" {
shape: cylinder
}
n_queue: "Очередь постов" {
shape: queue
}
n_fanout: "Fan-out воркер" {
shape: rectangle
style.multiple: true
}
n_feeds: "Кэш лент" {
shape: hexagon
}
n_cdn: "CDN" {
shape: oval
}
n_media: "Хранилище медиа" {
shape: stored_data
}
n_author -> n_api
n_api -> n_db
n_reader -> n_api
n_api -> n_queue
n_queue -> n_fanout
n_fanout -> n_db
n_fanout -> n_feeds
n_api -> n_feeds
n_api -> n_db
n_reader -> n_cdn
n_cdn -> n_mediaPlantUML: последовательность запросов
@startuml
participant "Приложение автора" as n_author
participant "API ленты" as n_api
database "База постов и подписок" as n_db
participant "Fan-out воркер" as n_fanout
collections "Кэш лент" as n_feeds
queue "Очередь постов" as n_queue
participant "Приложение читателя" as n_reader
participant "CDN" as n_cdn
note over n_author, n_api : Публикация: одна строка, один id
n_author -> n_api : POST /v1/posts HTTP/1.1
n_api --> n_author : HTTP/1.1 201 Created
note over n_api, n_db : Fan-out on read: собираем ленту при открытии
n_api -> n_db : SELECT p.id, p.author_id, p.created_at
n_db --> n_api : (50 rows)
note over n_api, n_db : Pull на масштабе: всю работу каждый раз делает база
n_api -> n_db : EXPLAIN ANALYZE SELECT p.id ...
n_db --> n_api : Sort (top-N heapsort)
note over n_fanout, n_feeds : Fan-out on write: раздаём при публикации
n_fanout -> n_feeds : LPUSH feed:u_42 7393018847102976
n_feeds --> n_fanout : (integer) 801
note over n_api, n_feeds : Чтение ленты — одно чтение диапазона
n_api -> n_feeds : LRANGE feed:u_42 0 49
n_feeds --> n_api : 1) "7393018847102976"
note over n_queue, n_fanout : Пост знаменитости: 30 миллионов вставок
n_queue -> n_fanout : fanout post=7393102255110144 author=u_star
note over n_api, n_db : Гибрид: push для большинства, pull для звёзд
n_api -> n_db : SELECT id, author_id, created_at FROM posts
n_db --> n_api : (7 rows)
note over n_reader, n_api : Ранжирование и курсор
n_reader -> n_api : GET /v1/feed?limit=20&cursor=c_7f2a HTTP/1.1
n_api --> n_reader : HTTP/1.1 200 OK
note over n_reader, n_cdn : Фото отдаёт CDN, а не API
n_reader -> n_cdn : GET /m/m_5521/720.webp HTTP/1.1
n_cdn --> n_reader : HTTP/1.1 200 OK
note over n_api, n_feeds : Умирает узел кэша лент
n_api -> n_feeds : LRANGE feed:u_42 0 49
n_feeds --> n_api : (error) connection refused
@endumlPlantUML: компоненты
@startuml
left to right direction
agent "Приложение автора" as n_author
agent "Приложение читателя" as n_reader
component "API ленты" as n_api
database "База постов и подписок" as n_db
queue "Очередь постов" as n_queue
collections "Fan-out воркер" as n_fanout
stack "Кэш лент" as n_feeds
frame "CDN" as n_cdn
storage "Хранилище медиа" as n_media
n_author --> n_api
n_api --> n_db
n_reader --> n_api
n_api --> n_queue
n_queue --> n_fanout
n_fanout --> n_db
n_fanout --> n_feeds
n_api --> n_feeds
n_api --> n_db
n_reader --> n_cdn
n_cdn --> n_media
@endumlИтог
Лента — это обмен между работой при записи и работой при чтении.
1) Pull прост, но пересобирает каждую ленту при каждом открытии. 2) Push превращает чтение в один диапазон из кэша, ценой работы на каждого подписчика при записи. 3) Крупные аккаунты подтягиваются при чтении и сливаются. 4) Списки лент хранят id, ограничены по длине и всегда пересобираемы. 5) Ранжируйте несколько сотен кандидатов, листайте курсором, медиа отдавайте через CDN.
Показатели: в начале и в конце
| Показатель | В начале | В конце |
|---|---|---|
| Загрузка ленты p99 | 80 мс | 60 мс |
| Вставки в ленты | 0/с | 1 800/с |
| Доставка подписчикам | 0 с | 2 с |
Шаги
- Кейс Публикация: одна строка, один id
Автор отправляет текст и id заранее загруженных фото.
- Кейс Fan-out on read: собираем ленту при открытии
Самая простая лента: когда читатель открывает приложение, находим всех, на кого он подписан, берём их свежие посты, сортируем по времени и отдаём 50.
- Проблема Pull на масштабе: всю работу каждый раз делает база
20 миллионов читателей открывают ленту ~10 раз в день: в среднем 2 300 сборок/с, около 10 000 в вечерний пик.
- Решение Fan-out on write: раздаём при публикации
Переворачиваем: когда кто-то публикует пост, очередь передаёт его fan-out воркеру.
- Кейс Чтение ленты — одно чтение диапазона
API читает первые 50 id из
feed:u_42, затем берёт эти посты по id из кэша постов (большинство горячие) и отдаёт. - Проблема Пост знаменитости: 30 миллионов вставок
Пишет аккаунт с 30 миллионами подписчиков.
- Решение Гибрид: push для большинства, pull для звёзд
Аккаунты больше 100 000 подписчиков не раздаются.
- Кейс Ранжирование и курсор
Строгий порядок по времени топит посты близких друзей в шуме.
- Решение Фото отдаёт CDN, а не API
Основная часть байтов — картинки.
- Проблема Умирает узел кэша лент
Один узел кэша лент падает.
- Решение Откат на pull, пересборка в фоне
Для пользователей без списка API откатывается на pull: посты авторов из подписок, только за последние два дня.
- Итоги Итоги
Лента — это обмен между работой при записи и работой при чтении.
Термины
- Fan-out (on write / on read)
- Fan-out on write при публикации кладёт id поста в кеш ленты каждого подписчика, а fan-out on read собирает ленту при открытии. Лучше всего работает гибрид: push для большинства, pull для звёзд.