Шпаргалка · Целые системы
Проектируем чат
Проблема
Алиса пишет Бобу, и сообщение должно появиться у него на экране за доли секунды, в правильном порядке, даже если телефон спал. Строим чат по шагам: WebSocket-шлюзы, маршрутизация, хранение по диалогам, порядковые номера, отметки, push, группы и присутствие.
Чему вы научитесь
- Зачем чату открытый WebSocket и как сообщение находит нужный шлюз
- Почему сообщения шардируются по диалогу, а не по пользователю
- Порядковый номер в диалоге вместо часов
- Отметки о доставке и прочтении, push для офлайн, рассылка в группы и присутствие на TTL
Диаграмма как код
Итоговая схема урока в виде текста: вставьте её в Jira, GitLab, GitHub, Notion или документацию, там Mermaid рисуется сам. Есть варианты для D2 и PlantUML (Confluence, IntelliJ).
Mermaid: схема
flowchart LR
n_alice(["Приложение Алисы"])
n_bob(["Приложение Боба"])
n_chat["Сервис чата"]
n_msgs[("Хранилище сообщений")]
n_gw_a["Шлюз A"]
n_gw_b["Шлюз B"]
n_sessions{{"Реестр сессий"}}
n_notify("Push-воркер")
n_push>"Push-сервис"]
n_chat --> n_msgs
n_alice --> n_gw_a
n_gw_a --> n_chat
n_gw_b --> n_sessions
n_chat --> n_sessions
n_chat --> n_gw_b
n_chat -.-> n_gw_a
n_gw_a -.-> n_alice
n_chat --> n_notify
n_notify --> n_push
n_push --> n_bob
n_bob --> n_gw_b
n_gw_b --> n_bobMermaid: последовательность запросов
sequenceDiagram
participant n_bob as Приложение Боба
participant n_chat as Сервис чата
participant n_gw_b as Шлюз B
participant n_sessions as Реестр сессий
participant n_msgs as Хранилище сообщений
participant n_notify as Push-воркер
participant n_push as Push-сервис
Note over n_bob,n_chat: Каждые две секунды: есть что-то новое?
n_bob->>n_chat: GET /v1/messages?since=1795400100 HTTP/1.1
n_chat-->>n_bob: HTTP/1.1 200 OK
Note over n_bob,n_gw_b: Одно открытое соединение на устройство
n_bob->>n_gw_b: GET /ws HTTP/1.1
n_gw_b-->>n_bob: HTTP/1.1 101 Switching Protocols
Note over n_chat,n_sessions: Ищем шлюз Боба
n_chat->>n_sessions: SMEMBERS conn:u_bob
n_sessions-->>n_chat: 1) #34;gw-b/c_8812#34;
Note over n_chat,n_msgs: Храним по диалогу, а не по пользователю
n_chat->>n_msgs: INSERT INTO messages
n_msgs-->>n_chat: INSERT 0 1 -- shard 12 of 64
Note over n_gw_b,n_bob: Два быстрых сообщения пришли наоборот
n_gw_b->>n_bob: u_bob history, sorted by sent_at:
Note over n_chat,n_msgs: Порядковый номер в каждом диалоге
n_chat->>n_msgs: UPDATE conversations SET last_seq = last_seq + 1
n_msgs-->>n_chat: last_seq = 1043
Note over n_bob,n_gw_b: Доставлено и прочитано
n_bob->>n_gw_b: WS frame (client -#62; server)
Note over n_chat,n_sessions: Телефон Боба уснул
n_chat->>n_sessions: SMEMBERS conn:u_bob
n_sessions-->>n_chat: (empty array)
Note over n_notify,n_push: Push-уведомление, потом догоняем
n_notify->>n_push: POST /v1/send HTTP/1.1
n_push-->>n_notify: HTTP/1.1 200 OK
Note over n_chat,n_sessions: Групповой чат: храним один раз, рассылаем тем, кто онлайн
n_chat->>n_sessions: SINTER members:g_team online
n_sessions-->>n_chat: 1) #34;u_bob#34;
Note over n_gw_b,n_sessions: Онлайн и «был недавно»
n_gw_b->>n_sessions: SET presence:u_bob online EX 60
n_sessions-->>n_gw_b: OKD2
direction: right
n_alice: "Приложение Алисы" {
shape: rectangle
}
n_bob: "Приложение Боба" {
shape: rectangle
}
n_chat: "Сервис чата" {
shape: rectangle
}
n_msgs: "Хранилище сообщений" {
shape: cylinder
}
n_gw_a: "Шлюз A" {
shape: rectangle
}
n_gw_b: "Шлюз B" {
shape: rectangle
}
n_sessions: "Реестр сессий" {
shape: hexagon
}
n_notify: "Push-воркер" {
shape: rectangle
style.multiple: true
}
n_push: "Push-сервис" {
shape: cloud
}
n_chat -> n_msgs
n_alice -> n_gw_a
n_gw_a -> n_chat
n_gw_b -> n_sessions
n_chat -> n_sessions
n_chat -> n_gw_b
n_chat -> n_gw_a {
style.stroke-dash: 3
}
n_gw_a -> n_alice {
style.stroke-dash: 3
}
n_chat -> n_notify
n_notify -> n_push
n_push -> n_bob
n_bob -> n_gw_b
n_gw_b -> n_bobPlantUML: последовательность запросов
@startuml
participant "Приложение Боба" as n_bob
participant "Сервис чата" as n_chat
participant "Шлюз B" as n_gw_b
collections "Реестр сессий" as n_sessions
database "Хранилище сообщений" as n_msgs
participant "Push-воркер" as n_notify
boundary "Push-сервис" as n_push
note over n_bob, n_chat : Каждые две секунды: есть что-то новое?
n_bob -> n_chat : GET /v1/messages?since=1795400100 HTTP/1.1
n_chat --> n_bob : HTTP/1.1 200 OK
note over n_bob, n_gw_b : Одно открытое соединение на устройство
n_bob -> n_gw_b : GET /ws HTTP/1.1
n_gw_b --> n_bob : HTTP/1.1 101 Switching Protocols
note over n_chat, n_sessions : Ищем шлюз Боба
n_chat -> n_sessions : SMEMBERS conn:u_bob
n_sessions --> n_chat : 1) "gw-b/c_8812"
note over n_chat, n_msgs : Храним по диалогу, а не по пользователю
n_chat -> n_msgs : INSERT INTO messages
n_msgs --> n_chat : INSERT 0 1 -- shard 12 of 64
note over n_gw_b, n_bob : Два быстрых сообщения пришли наоборот
n_gw_b -> n_bob : u_bob history, sorted by sent_at:
note over n_chat, n_msgs : Порядковый номер в каждом диалоге
n_chat -> n_msgs : UPDATE conversations SET last_seq = last_seq + 1
n_msgs --> n_chat : last_seq = 1043
note over n_bob, n_gw_b : Доставлено и прочитано
n_bob -> n_gw_b : WS frame (client -> server)
note over n_chat, n_sessions : Телефон Боба уснул
n_chat -> n_sessions : SMEMBERS conn:u_bob
n_sessions --> n_chat : (empty array)
note over n_notify, n_push : Push-уведомление, потом догоняем
n_notify -> n_push : POST /v1/send HTTP/1.1
n_push --> n_notify : HTTP/1.1 200 OK
note over n_chat, n_sessions : Групповой чат: храним один раз, рассылаем тем, кто онлайн
n_chat -> n_sessions : SINTER members:g_team online
n_sessions --> n_chat : 1) "u_bob"
note over n_gw_b, n_sessions : Онлайн и «был недавно»
n_gw_b -> n_sessions : SET presence:u_bob online EX 60
n_sessions --> n_gw_b : OK
@endumlPlantUML: компоненты
@startuml
left to right direction
agent "Приложение Алисы" as n_alice
agent "Приложение Боба" as n_bob
component "Сервис чата" as n_chat
database "Хранилище сообщений" as n_msgs
component "Шлюз A" as n_gw_a
component "Шлюз B" as n_gw_b
stack "Реестр сессий" as n_sessions
collections "Push-воркер" as n_notify
cloud "Push-сервис" as n_push
n_chat --> n_msgs
n_alice --> n_gw_a
n_gw_a --> n_chat
n_gw_b --> n_sessions
n_chat --> n_sessions
n_chat --> n_gw_b
n_chat ..> n_gw_a
n_gw_a ..> n_alice
n_chat --> n_notify
n_notify --> n_push
n_push --> n_bob
n_bob --> n_gw_b
n_gw_b --> n_bob
@endumlИтог
Чат — это хранилище плюс набор открытых труб.
1) WebSocket-шлюзы держат соединения; реестр знает, где каждый пользователь. 2) Сначала запись, шардирование по диалогу. 3) Порядок — по номеру в диалоге, а не по часам; клиент заполняет дыры по seq. 4) Отметка о прочтении — одно число на участника. 5) Офлайн получает push и догоняет из хранилища. 6) В группах рассылка по шлюзам, присутствие живёт на TTL.
Показатели: в начале и в конце
| Показатель | В начале | В конце |
|---|---|---|
| Доставка p99 | 2 100 мс | 180 мс |
| Сообщения не по порядку | 0/день | 0/день |
| Не замечены больше часа | 0/день | 15/день |
Шаги
- Проблема Каждые две секунды: есть что-то новое?
Первая версия: приложение Боба раз в 2 секунды спрашивает сервер о новых сообщениях.
- Решение Одно открытое соединение на устройство
Каждое приложение открывает WebSocket к шлюзу и держит его.
- Кейс Ищем шлюз Боба
Сообщение Алисы приходит на шлюз A, тот передаёт его сервису чата.
- Кейс Храним по диалогу, а не по пользователю
Каждое сообщение записывается до доставки.
- Проблема Два быстрых сообщения пришли наоборот
Алиса пишет «ужинаем сегодня?» и сразу «в 7?».
- Решение Порядковый номер в каждом диалоге
Шард, владеющий диалогом, атомарно выдаёт следующий номер: 1042, 1043, 1044.
- Кейс Доставлено и прочитано
Когда устройство Боба получает сообщение, оно подтверждает его: у Алисы одна галочка.
- Проблема Телефон Боба уснул
Телефон уводит приложение в фон, и ОС закрывает его сокет.
- Решение Push-уведомление, потом догоняем
Если соединение не найдено, сервис чата кладёт событие в очередь.
- Кейс Групповой чат: храним один раз, рассылаем тем, кто онлайн
Командный чат на 300 участников.
- Кейс Онлайн и «был недавно»
Каждый шлюз раз в 25 с шлёт heartbeat за своих пользователей, а ключ присутствия живёт 60 с.
- Итоги Итоги
Чат — это хранилище плюс набор открытых труб.