Шпаргалка · Взаимодействие
Обновления в реальном времени
Проблема
Чат должен показать новое сообщение в момент отправки. Polling, long polling, Server-Sent Events и WebSocket, и что нужно, чтобы держать много открытых соединений.
Чему вы научитесь
- Во что серверу обходятся polling, long polling, SSE и WebSocket
- Почему долгоживущим соединениям нужен отдельный слой шлюзов
- Как pub/sub доставляет сообщение пользователю на другом шлюзе
- Как клиент переподключается, не теряя сообщений
Диаграмма как код
Итоговая схема урока в виде текста: вставьте её в Jira, GitLab, GitHub, Notion или документацию, там Mermaid рисуется сам. Есть варианты для D2 и PlantUML (Confluence, IntelliJ).
Mermaid: схема
flowchart LR
n_alice(["Алиса"])
n_bob(["Боб"])
n_db[("База")]
n_lb{"Балансировщик"}
n_gw1["Шлюз 1"]
n_gw2["Шлюз 2"]
n_chat["Сервис чата"]
n_bus{{"Pub/sub"}}
n_alice --> n_lb
n_bob -.->|"повтор"| n_lb
n_lb --> n_gw1
n_lb --> n_gw2
n_gw1 --> n_chat
n_chat --> n_db
n_gw1 -.-> n_alice
n_gw2 -.-> n_bob
n_chat --> n_bus
n_bus -.-> n_gw1
n_bus -.-> n_gw2
n_gw2 --> n_chatMermaid: последовательность запросов
sequenceDiagram
participant n_bob as Боб
participant n_api as Сервер чата
participant n_alice as Алиса
participant n_lb as Балансировщик
participant n_gw1 as Шлюз 1
participant n_chat as Сервис чата
participant n_bus as Pub/sub
participant n_gw2 as Шлюз 2
Note over n_bob,n_api: Спрашиваем каждые две секунды
n_bob->>n_api: GET /rooms/r_17/updates?since=m_730 HTTP/1.1
n_api-->>n_bob: HTTP/1.1 200 OK
Note over n_bob,n_api: Long polling: сервер держит запрос
n_bob->>n_api: GET /rooms/r_17/updates?since=m_730#38;wait=25 HTTP/1.1
n_api-->>n_bob: HTTP/1.1 200 OK
Note over n_api,n_bob: Server-Sent Events: один поток вниз
n_api->>n_bob: GET /rooms/r_17/stream HTTP/1.1
n_bob-->>n_api: HTTP/1.1 200 OK
Note over n_alice,n_api: WebSocket: одно соединение в обе стороны
n_alice->>n_api: GET /ws HTTP/1.1
n_api-->>n_alice: HTTP/1.1 101 Switching Protocols
Note over n_bob,n_api: Один сервер, 65 000 сокетов
n_bob-xn_api: chat-1: accept() failed: EMFILE (too many open files)
Note over n_bob,n_lb: Соединения держит слой шлюзов
n_bob->>n_lb: GET /ws?room=r_17 HTTP/1.1
n_lb-->>n_bob: HTTP/1.1 101 Switching Protocols
Note over n_gw1,n_alice: Сообщение застревает не на том шлюзе
n_gw1->>n_alice: gw1: deliver m_740 to room r_17
Note over n_chat,n_bus: Pub/sub между шлюзами
n_chat->>n_bus: PUBLISH room:r_17
n_bus-->>n_chat: (integer) 2
Note over n_gw2,n_bob: Телефон въехал в тоннель
n_gw2-xn_bob: gw2: socket u_77 closed, code 1006
Note over n_bob,n_lb: Переподключиться и догнать с последнего ID
n_bob->>n_lb: WS frame (after reconnect)
n_lb-->>n_bob: WS frameD2
direction: right
n_alice: "Алиса" {
shape: rectangle
}
n_bob: "Боб" {
shape: rectangle
}
n_db: "База" {
shape: cylinder
}
n_lb: "Балансировщик" {
shape: diamond
}
n_gw1: "Шлюз 1" {
shape: rectangle
}
n_gw2: "Шлюз 2" {
shape: rectangle
}
n_chat: "Сервис чата" {
shape: rectangle
}
n_bus: "Pub/sub" {
shape: hexagon
}
n_alice -> n_lb
n_bob -> n_lb: "повтор" {
style.stroke-dash: 3
}
n_lb -> n_gw1
n_lb -> n_gw2
n_gw1 -> n_chat
n_chat -> n_db
n_gw1 -> n_alice {
style.stroke-dash: 3
}
n_gw2 -> n_bob {
style.stroke-dash: 3
}
n_chat -> n_bus
n_bus -> n_gw1 {
style.stroke-dash: 3
}
n_bus -> n_gw2 {
style.stroke-dash: 3
}
n_gw2 -> n_chatPlantUML: последовательность запросов
@startuml
participant "Боб" as n_bob
participant "Сервер чата" as n_api
participant "Алиса" as n_alice
participant "Балансировщик" as n_lb
participant "Шлюз 1" as n_gw1
participant "Сервис чата" as n_chat
collections "Pub/sub" as n_bus
participant "Шлюз 2" as n_gw2
note over n_bob, n_api : Спрашиваем каждые две секунды
n_bob -> n_api : GET /rooms/r_17/updates?since=m_730 HTTP/1.1
n_api --> n_bob : HTTP/1.1 200 OK
note over n_bob, n_api : Long polling: сервер держит запрос
n_bob -> n_api : GET /rooms/r_17/updates?since=m_730&wait=25 HTTP/1.1
n_api --> n_bob : HTTP/1.1 200 OK
note over n_api, n_bob : Server-Sent Events: один поток вниз
n_api -> n_bob : GET /rooms/r_17/stream HTTP/1.1
n_bob --> n_api : HTTP/1.1 200 OK
note over n_alice, n_api : WebSocket: одно соединение в обе стороны
n_alice -> n_api : GET /ws HTTP/1.1
n_api --> n_alice : HTTP/1.1 101 Switching Protocols
note over n_bob, n_api : Один сервер, 65 000 сокетов
n_bob ->x n_api : [потеряно] chat-1: accept() failed: EMFILE (too many open files)
note over n_bob, n_lb : Соединения держит слой шлюзов
n_bob -> n_lb : GET /ws?room=r_17 HTTP/1.1
n_lb --> n_bob : HTTP/1.1 101 Switching Protocols
note over n_gw1, n_alice : Сообщение застревает не на том шлюзе
n_gw1 -> n_alice : gw1: deliver m_740 to room r_17
note over n_chat, n_bus : Pub/sub между шлюзами
n_chat -> n_bus : PUBLISH room:r_17
n_bus --> n_chat : (integer) 2
note over n_gw2, n_bob : Телефон въехал в тоннель
n_gw2 ->x n_bob : [потеряно] gw2: socket u_77 closed, code 1006
note over n_bob, n_lb : Переподключиться и догнать с последнего ID
n_bob -> n_lb : [повтор] WS frame (after reconnect)
n_lb --> n_bob : WS frame
@endumlPlantUML: компоненты
@startuml
left to right direction
agent "Алиса" as n_alice
agent "Боб" as n_bob
database "База" as n_db
node "Балансировщик" as n_lb
component "Шлюз 1" as n_gw1
component "Шлюз 2" as n_gw2
component "Сервис чата" as n_chat
stack "Pub/sub" as n_bus
n_alice --> n_lb
n_bob ..> n_lb : повтор
n_lb --> n_gw1
n_lb --> n_gw2
n_gw1 --> n_chat
n_chat --> n_db
n_gw1 ..> n_alice
n_gw2 ..> n_bob
n_chat --> n_bus
n_bus ..> n_gw1
n_bus ..> n_gw2
n_gw2 --> n_chat
@endumlИтог
Берите самый дешёвый подходящий канал: polling для редких обновлений, SSE для потока от сервера к клиенту, WebSocket для двустороннего чата.
1) Долгоживущие соединения — в отдельный слой шлюзов. 2) Шлюзы узнают о сообщениях через pub/sub. 3) Живая доставка может промахнуться; истина — в базе. 4) Клиент переподключается с backoff и джиттером и продолжает с последнего ID.
Показатели: в начале и в конце
| Показатель | В начале | В конце |
|---|---|---|
| Запросы | 50 000/с | 300/с |
| Задержка доставки | 1 000 мс | 45 мс |
| Не доставлено | 0/мин | 0/мин |
Шаги
- Проблема Спрашиваем каждые две секунды
Каждый открытый чат раз в две секунды спрашивает сервер: «есть что-то новее
m_730?» При 100 000 открытых чатов это 50 000 запросов в секунду. - Решение Long polling: сервер держит запрос
Клиент шлёт тот же запрос, но сервер не отвечает сразу.
- Решение Server-Sent Events: один поток вниз
Клиент открывает один HTTP-запрос, а сервер никогда не заканчивает ответ.
- Решение WebSocket: одно соединение в обе стороны
Клиент начинает с HTTP-запроса и просит его проапгрейдить.
- Проблема Один сервер, 65 000 сокетов
Каждый пользователь весь день держит сокет открытым.
- Решение Соединения держит слой шлюзов
Соединения переезжают в слой шлюзов.
- Проблема Сообщение застревает не на том шлюзе
Алиса отправляет сообщение.
- Решение Pub/sub между шлюзами
Сохранив сообщение, сервис чата публикует его в канал комнаты.
- Проблема Телефон въехал в тоннель
Соединение Боба рвётся без прощания.
- Решение Переподключиться и догнать с последнего ID
Приложение Боба переподключается с растущими паузами и случайным джиттером, чтобы тысячи телефонов не ломились в одну и ту же секунду.
- Итоги Итог
Берите самый дешёвый подходящий канал: polling для редких обновлений, SSE для потока от сервера к клиенту, WebSocket для двустороннего чата.
Термины
- Long polling
- Клиент шлёт запрос, а сервер держит его, пока не появится новое или не истечёт время. Дешевле, чем спрашивать каждые две секунды, но после каждого ответа нужен новый запрос.
- WebSocket
- Одно постоянное соединение между клиентом и сервером, по которому обе стороны пишут в любой момент. Множество открытых соединений держит отдельный слой шлюзов.
- Server-Sent Events (SSE)
- Сервер по одному открытому HTTP-ответу шлёт клиенту события одно за другим. Связь только в одну сторону (от сервера к клиенту), зато это обычный HTTP, и после обрыва браузер переподключается сам.