mufassall

Шпаргалка · Целые системы

Проектируем чат

15 мин · Продвинутый · mufassall.dtwin.uz/ru/l/design-chat/

← Открыть урок

Проблема

Алиса пишет Бобу, и сообщение должно появиться у него на экране за доли секунды, в правильном порядке, даже если телефон спал. Строим чат по шагам: WebSocket-шлюзы, маршрутизация, хранение по диалогам, порядковые номера, отметки, push, группы и присутствие.

Чему вы научитесь

  • Зачем чату открытый WebSocket и как сообщение находит нужный шлюз
  • Почему сообщения шардируются по диалогу, а не по пользователю
  • Порядковый номер в диалоге вместо часов
  • Отметки о доставке и прочтении, push для офлайн, рассылка в группы и присутствие на TTL
Итоговая сцена
30%60%65%30%40%25%

Диаграмма как код

Итоговая схема урока в виде текста: вставьте её в Jira, GitLab, GitHub, Notion или документацию, там Mermaid рисуется сам. Есть варианты для D2 и PlantUML (Confluence, IntelliJ).

Mermaid: схема

flowchart LR
  n_alice(["Приложение Алисы"])
  n_bob(["Приложение Боба"])
  n_chat["Сервис чата"]
  n_msgs[("Хранилище сообщений")]
  n_gw_a["Шлюз A"]
  n_gw_b["Шлюз B"]
  n_sessions{{"Реестр сессий"}}
  n_notify("Push-воркер")
  n_push>"Push-сервис"]
  n_chat --> n_msgs
  n_alice --> n_gw_a
  n_gw_a --> n_chat
  n_gw_b --> n_sessions
  n_chat --> n_sessions
  n_chat --> n_gw_b
  n_chat -.-> n_gw_a
  n_gw_a -.-> n_alice
  n_chat --> n_notify
  n_notify --> n_push
  n_push --> n_bob
  n_bob --> n_gw_b
  n_gw_b --> n_bob

Mermaid: последовательность запросов

sequenceDiagram
  participant n_bob as Приложение Боба
  participant n_chat as Сервис чата
  participant n_gw_b as Шлюз B
  participant n_sessions as Реестр сессий
  participant n_msgs as Хранилище сообщений
  participant n_notify as Push-воркер
  participant n_push as Push-сервис
  Note over n_bob,n_chat: Каждые две секунды: есть что-то новое?
  n_bob->>n_chat: GET /v1/messages?since=1795400100 HTTP/1.1
  n_chat-->>n_bob: HTTP/1.1 200 OK
  Note over n_bob,n_gw_b: Одно открытое соединение на устройство
  n_bob->>n_gw_b: GET /ws HTTP/1.1
  n_gw_b-->>n_bob: HTTP/1.1 101 Switching Protocols
  Note over n_chat,n_sessions: Ищем шлюз Боба
  n_chat->>n_sessions: SMEMBERS conn:u_bob
  n_sessions-->>n_chat: 1) #34;gw-b/c_8812#34;
  Note over n_chat,n_msgs: Храним по диалогу, а не по пользователю
  n_chat->>n_msgs: INSERT INTO messages
  n_msgs-->>n_chat: INSERT 0 1 -- shard 12 of 64
  Note over n_gw_b,n_bob: Два быстрых сообщения пришли наоборот
  n_gw_b->>n_bob: u_bob history, sorted by sent_at:
  Note over n_chat,n_msgs: Порядковый номер в каждом диалоге
  n_chat->>n_msgs: UPDATE conversations SET last_seq = last_seq + 1
  n_msgs-->>n_chat: last_seq = 1043
  Note over n_bob,n_gw_b: Доставлено и прочитано
  n_bob->>n_gw_b: WS frame (client -#62; server)
  Note over n_chat,n_sessions: Телефон Боба уснул
  n_chat->>n_sessions: SMEMBERS conn:u_bob
  n_sessions-->>n_chat: (empty array)
  Note over n_notify,n_push: Push-уведомление, потом догоняем
  n_notify->>n_push: POST /v1/send HTTP/1.1
  n_push-->>n_notify: HTTP/1.1 200 OK
  Note over n_chat,n_sessions: Групповой чат: храним один раз, рассылаем тем, кто онлайн
  n_chat->>n_sessions: SINTER members:g_team online
  n_sessions-->>n_chat: 1) #34;u_bob#34;
  Note over n_gw_b,n_sessions: Онлайн и «был недавно»
  n_gw_b->>n_sessions: SET presence:u_bob online EX 60
  n_sessions-->>n_gw_b: OK

D2

direction: right

n_alice: "Приложение Алисы" {
  shape: rectangle
}
n_bob: "Приложение Боба" {
  shape: rectangle
}
n_chat: "Сервис чата" {
  shape: rectangle
}
n_msgs: "Хранилище сообщений" {
  shape: cylinder
}
n_gw_a: "Шлюз A" {
  shape: rectangle
}
n_gw_b: "Шлюз B" {
  shape: rectangle
}
n_sessions: "Реестр сессий" {
  shape: hexagon
}
n_notify: "Push-воркер" {
  shape: rectangle
  style.multiple: true
}
n_push: "Push-сервис" {
  shape: cloud
}

n_chat -> n_msgs
n_alice -> n_gw_a
n_gw_a -> n_chat
n_gw_b -> n_sessions
n_chat -> n_sessions
n_chat -> n_gw_b
n_chat -> n_gw_a {
  style.stroke-dash: 3
}
n_gw_a -> n_alice {
  style.stroke-dash: 3
}
n_chat -> n_notify
n_notify -> n_push
n_push -> n_bob
n_bob -> n_gw_b
n_gw_b -> n_bob

PlantUML: последовательность запросов

@startuml
participant "Приложение Боба" as n_bob
participant "Сервис чата" as n_chat
participant "Шлюз B" as n_gw_b
collections "Реестр сессий" as n_sessions
database "Хранилище сообщений" as n_msgs
participant "Push-воркер" as n_notify
boundary "Push-сервис" as n_push
note over n_bob, n_chat : Каждые две секунды: есть что-то новое?
n_bob -> n_chat : GET /v1/messages?since=1795400100 HTTP/1.1
n_chat --> n_bob : HTTP/1.1 200 OK
note over n_bob, n_gw_b : Одно открытое соединение на устройство
n_bob -> n_gw_b : GET /ws HTTP/1.1
n_gw_b --> n_bob : HTTP/1.1 101 Switching Protocols
note over n_chat, n_sessions : Ищем шлюз Боба
n_chat -> n_sessions : SMEMBERS conn:u_bob
n_sessions --> n_chat : 1) "gw-b/c_8812"
note over n_chat, n_msgs : Храним по диалогу, а не по пользователю
n_chat -> n_msgs : INSERT INTO messages
n_msgs --> n_chat : INSERT 0 1 -- shard 12 of 64
note over n_gw_b, n_bob : Два быстрых сообщения пришли наоборот
n_gw_b -> n_bob : u_bob history, sorted by sent_at:
note over n_chat, n_msgs : Порядковый номер в каждом диалоге
n_chat -> n_msgs : UPDATE conversations SET last_seq = last_seq + 1
n_msgs --> n_chat : last_seq = 1043
note over n_bob, n_gw_b : Доставлено и прочитано
n_bob -> n_gw_b : WS frame (client -> server)
note over n_chat, n_sessions : Телефон Боба уснул
n_chat -> n_sessions : SMEMBERS conn:u_bob
n_sessions --> n_chat : (empty array)
note over n_notify, n_push : Push-уведомление, потом догоняем
n_notify -> n_push : POST /v1/send HTTP/1.1
n_push --> n_notify : HTTP/1.1 200 OK
note over n_chat, n_sessions : Групповой чат: храним один раз, рассылаем тем, кто онлайн
n_chat -> n_sessions : SINTER members:g_team online
n_sessions --> n_chat : 1) "u_bob"
note over n_gw_b, n_sessions : Онлайн и «был недавно»
n_gw_b -> n_sessions : SET presence:u_bob online EX 60
n_sessions --> n_gw_b : OK
@enduml

PlantUML: компоненты

@startuml
left to right direction
agent "Приложение Алисы" as n_alice
agent "Приложение Боба" as n_bob
component "Сервис чата" as n_chat
database "Хранилище сообщений" as n_msgs
component "Шлюз A" as n_gw_a
component "Шлюз B" as n_gw_b
stack "Реестр сессий" as n_sessions
collections "Push-воркер" as n_notify
cloud "Push-сервис" as n_push
n_chat --> n_msgs
n_alice --> n_gw_a
n_gw_a --> n_chat
n_gw_b --> n_sessions
n_chat --> n_sessions
n_chat --> n_gw_b
n_chat ..> n_gw_a
n_gw_a ..> n_alice
n_chat --> n_notify
n_notify --> n_push
n_push --> n_bob
n_bob --> n_gw_b
n_gw_b --> n_bob
@enduml

Итог

Чат — это хранилище плюс набор открытых труб.

1) WebSocket-шлюзы держат соединения; реестр знает, где каждый пользователь. 2) Сначала запись, шардирование по диалогу. 3) Порядок — по номеру в диалоге, а не по часам; клиент заполняет дыры по seq. 4) Отметка о прочтении — одно число на участника. 5) Офлайн получает push и догоняет из хранилища. 6) В группах рассылка по шлюзам, присутствие живёт на TTL.

Показатели: в начале и в конце

ПоказательВ началеВ конце
Доставка p992 100 мс180 мс
Сообщения не по порядку0/день0/день
Не замечены больше часа0/день15/день

Шаги

  1. Проблема Каждые две секунды: есть что-то новое?

    Первая версия: приложение Боба раз в 2 секунды спрашивает сервер о новых сообщениях.

  2. Решение Одно открытое соединение на устройство

    Каждое приложение открывает WebSocket к шлюзу и держит его.

  3. Кейс Ищем шлюз Боба

    Сообщение Алисы приходит на шлюз A, тот передаёт его сервису чата.

  4. Кейс Храним по диалогу, а не по пользователю

    Каждое сообщение записывается до доставки.

  5. Проблема Два быстрых сообщения пришли наоборот

    Алиса пишет «ужинаем сегодня?» и сразу «в 7?».

  6. Решение Порядковый номер в каждом диалоге

    Шард, владеющий диалогом, атомарно выдаёт следующий номер: 1042, 1043, 1044.

  7. Кейс Доставлено и прочитано

    Когда устройство Боба получает сообщение, оно подтверждает его: у Алисы одна галочка.

  8. Проблема Телефон Боба уснул

    Телефон уводит приложение в фон, и ОС закрывает его сокет.

  9. Решение Push-уведомление, потом догоняем

    Если соединение не найдено, сервис чата кладёт событие в очередь.

  10. Кейс Групповой чат: храним один раз, рассылаем тем, кто онлайн

    Командный чат на 300 участников.

  11. Кейс Онлайн и «был недавно»

    Каждый шлюз раз в 25 с шлёт heartbeat за своих пользователей, а ключ присутствия живёт 60 с.

  12. Итоги Итоги

    Чат — это хранилище плюс набор открытых труб.