mufassall

Шпаргалка · Взаимодействие

Обновления в реальном времени

13 мин · Средний · mufassall.dtwin.uz/ru/l/realtime/

← Открыть урок

Проблема

Чат должен показать новое сообщение в момент отправки. Polling, long polling, Server-Sent Events и WebSocket, и что нужно, чтобы держать много открытых соединений.

Чему вы научитесь

  • Во что серверу обходятся polling, long polling, SSE и WebSocket
  • Почему долгоживущим соединениям нужен отдельный слой шлюзов
  • Как pub/sub доставляет сообщение пользователю на другом шлюзе
  • Как клиент переподключается, не теряя сообщений
Итоговая сцена
20%45%30%40%30%15%

Диаграмма как код

Итоговая схема урока в виде текста: вставьте её в Jira, GitLab, GitHub, Notion или документацию, там Mermaid рисуется сам. Есть варианты для D2 и PlantUML (Confluence, IntelliJ).

Mermaid: схема

flowchart LR
  n_alice(["Алиса"])
  n_bob(["Боб"])
  n_db[("База")]
  n_lb{"Балансировщик"}
  n_gw1["Шлюз 1"]
  n_gw2["Шлюз 2"]
  n_chat["Сервис чата"]
  n_bus{{"Pub/sub"}}
  n_alice --> n_lb
  n_bob -.->|"повтор"| n_lb
  n_lb --> n_gw1
  n_lb --> n_gw2
  n_gw1 --> n_chat
  n_chat --> n_db
  n_gw1 -.-> n_alice
  n_gw2 -.-> n_bob
  n_chat --> n_bus
  n_bus -.-> n_gw1
  n_bus -.-> n_gw2
  n_gw2 --> n_chat

Mermaid: последовательность запросов

sequenceDiagram
  participant n_bob as Боб
  participant n_api as Сервер чата
  participant n_alice as Алиса
  participant n_lb as Балансировщик
  participant n_gw1 as Шлюз 1
  participant n_chat as Сервис чата
  participant n_bus as Pub/sub
  participant n_gw2 as Шлюз 2
  Note over n_bob,n_api: Спрашиваем каждые две секунды
  n_bob->>n_api: GET /rooms/r_17/updates?since=m_730 HTTP/1.1
  n_api-->>n_bob: HTTP/1.1 200 OK
  Note over n_bob,n_api: Long polling: сервер держит запрос
  n_bob->>n_api: GET /rooms/r_17/updates?since=m_730#38;wait=25 HTTP/1.1
  n_api-->>n_bob: HTTP/1.1 200 OK
  Note over n_api,n_bob: Server-Sent Events: один поток вниз
  n_api->>n_bob: GET /rooms/r_17/stream HTTP/1.1
  n_bob-->>n_api: HTTP/1.1 200 OK
  Note over n_alice,n_api: WebSocket: одно соединение в обе стороны
  n_alice->>n_api: GET /ws HTTP/1.1
  n_api-->>n_alice: HTTP/1.1 101 Switching Protocols
  Note over n_bob,n_api: Один сервер, 65 000 сокетов
  n_bob-xn_api: chat-1: accept() failed: EMFILE (too many open files)
  Note over n_bob,n_lb: Соединения держит слой шлюзов
  n_bob->>n_lb: GET /ws?room=r_17 HTTP/1.1
  n_lb-->>n_bob: HTTP/1.1 101 Switching Protocols
  Note over n_gw1,n_alice: Сообщение застревает не на том шлюзе
  n_gw1->>n_alice: gw1: deliver m_740 to room r_17
  Note over n_chat,n_bus: Pub/sub между шлюзами
  n_chat->>n_bus: PUBLISH room:r_17
  n_bus-->>n_chat: (integer) 2
  Note over n_gw2,n_bob: Телефон въехал в тоннель
  n_gw2-xn_bob: gw2: socket u_77 closed, code 1006
  Note over n_bob,n_lb: Переподключиться и догнать с последнего ID
  n_bob->>n_lb: WS frame (after reconnect)
  n_lb-->>n_bob: WS frame

D2

direction: right

n_alice: "Алиса" {
  shape: rectangle
}
n_bob: "Боб" {
  shape: rectangle
}
n_db: "База" {
  shape: cylinder
}
n_lb: "Балансировщик" {
  shape: diamond
}
n_gw1: "Шлюз 1" {
  shape: rectangle
}
n_gw2: "Шлюз 2" {
  shape: rectangle
}
n_chat: "Сервис чата" {
  shape: rectangle
}
n_bus: "Pub/sub" {
  shape: hexagon
}

n_alice -> n_lb
n_bob -> n_lb: "повтор" {
  style.stroke-dash: 3
}
n_lb -> n_gw1
n_lb -> n_gw2
n_gw1 -> n_chat
n_chat -> n_db
n_gw1 -> n_alice {
  style.stroke-dash: 3
}
n_gw2 -> n_bob {
  style.stroke-dash: 3
}
n_chat -> n_bus
n_bus -> n_gw1 {
  style.stroke-dash: 3
}
n_bus -> n_gw2 {
  style.stroke-dash: 3
}
n_gw2 -> n_chat

PlantUML: последовательность запросов

@startuml
participant "Боб" as n_bob
participant "Сервер чата" as n_api
participant "Алиса" as n_alice
participant "Балансировщик" as n_lb
participant "Шлюз 1" as n_gw1
participant "Сервис чата" as n_chat
collections "Pub/sub" as n_bus
participant "Шлюз 2" as n_gw2
note over n_bob, n_api : Спрашиваем каждые две секунды
n_bob -> n_api : GET /rooms/r_17/updates?since=m_730 HTTP/1.1
n_api --> n_bob : HTTP/1.1 200 OK
note over n_bob, n_api : Long polling: сервер держит запрос
n_bob -> n_api : GET /rooms/r_17/updates?since=m_730&wait=25 HTTP/1.1
n_api --> n_bob : HTTP/1.1 200 OK
note over n_api, n_bob : Server-Sent Events: один поток вниз
n_api -> n_bob : GET /rooms/r_17/stream HTTP/1.1
n_bob --> n_api : HTTP/1.1 200 OK
note over n_alice, n_api : WebSocket: одно соединение в обе стороны
n_alice -> n_api : GET /ws HTTP/1.1
n_api --> n_alice : HTTP/1.1 101 Switching Protocols
note over n_bob, n_api : Один сервер, 65 000 сокетов
n_bob ->x n_api : [потеряно] chat-1: accept() failed: EMFILE (too many open files)
note over n_bob, n_lb : Соединения держит слой шлюзов
n_bob -> n_lb : GET /ws?room=r_17 HTTP/1.1
n_lb --> n_bob : HTTP/1.1 101 Switching Protocols
note over n_gw1, n_alice : Сообщение застревает не на том шлюзе
n_gw1 -> n_alice : gw1: deliver m_740 to room r_17
note over n_chat, n_bus : Pub/sub между шлюзами
n_chat -> n_bus : PUBLISH room:r_17
n_bus --> n_chat : (integer) 2
note over n_gw2, n_bob : Телефон въехал в тоннель
n_gw2 ->x n_bob : [потеряно] gw2: socket u_77 closed, code 1006
note over n_bob, n_lb : Переподключиться и догнать с последнего ID
n_bob -> n_lb : [повтор] WS frame (after reconnect)
n_lb --> n_bob : WS frame
@enduml

PlantUML: компоненты

@startuml
left to right direction
agent "Алиса" as n_alice
agent "Боб" as n_bob
database "База" as n_db
node "Балансировщик" as n_lb
component "Шлюз 1" as n_gw1
component "Шлюз 2" as n_gw2
component "Сервис чата" as n_chat
stack "Pub/sub" as n_bus
n_alice --> n_lb
n_bob ..> n_lb : повтор
n_lb --> n_gw1
n_lb --> n_gw2
n_gw1 --> n_chat
n_chat --> n_db
n_gw1 ..> n_alice
n_gw2 ..> n_bob
n_chat --> n_bus
n_bus ..> n_gw1
n_bus ..> n_gw2
n_gw2 --> n_chat
@enduml

Итог

Берите самый дешёвый подходящий канал: polling для редких обновлений, SSE для потока от сервера к клиенту, WebSocket для двустороннего чата.

1) Долгоживущие соединения — в отдельный слой шлюзов. 2) Шлюзы узнают о сообщениях через pub/sub. 3) Живая доставка может промахнуться; истина — в базе. 4) Клиент переподключается с backoff и джиттером и продолжает с последнего ID.

Показатели: в начале и в конце

ПоказательВ началеВ конце
Запросы50 000/с300/с
Задержка доставки1 000 мс45 мс
Не доставлено0/мин0/мин

Шаги

  1. Проблема Спрашиваем каждые две секунды

    Каждый открытый чат раз в две секунды спрашивает сервер: «есть что-то новее m_730?» При 100 000 открытых чатов это 50 000 запросов в секунду.

  2. Решение Long polling: сервер держит запрос

    Клиент шлёт тот же запрос, но сервер не отвечает сразу.

  3. Решение Server-Sent Events: один поток вниз

    Клиент открывает один HTTP-запрос, а сервер никогда не заканчивает ответ.

  4. Решение WebSocket: одно соединение в обе стороны

    Клиент начинает с HTTP-запроса и просит его проапгрейдить.

  5. Проблема Один сервер, 65 000 сокетов

    Каждый пользователь весь день держит сокет открытым.

  6. Решение Соединения держит слой шлюзов

    Соединения переезжают в слой шлюзов.

  7. Проблема Сообщение застревает не на том шлюзе

    Алиса отправляет сообщение.

  8. Решение Pub/sub между шлюзами

    Сохранив сообщение, сервис чата публикует его в канал комнаты.

  9. Проблема Телефон въехал в тоннель

    Соединение Боба рвётся без прощания.

  10. Решение Переподключиться и догнать с последнего ID

    Приложение Боба переподключается с растущими паузами и случайным джиттером, чтобы тысячи телефонов не ломились в одну и ту же секунду.

  11. Итоги Итог

    Берите самый дешёвый подходящий канал: polling для редких обновлений, SSE для потока от сервера к клиенту, WebSocket для двустороннего чата.

Термины

Long polling
Клиент шлёт запрос, а сервер держит его, пока не появится новое или не истечёт время. Дешевле, чем спрашивать каждые две секунды, но после каждого ответа нужен новый запрос.
WebSocket
Одно постоянное соединение между клиентом и сервером, по которому обе стороны пишут в любой момент. Множество открытых соединений держит отдельный слой шлюзов.
Server-Sent Events (SSE)
Сервер по одному открытому HTTP-ответу шлёт клиенту события одно за другим. Связь только в одну сторону (от сервера к клиенту), зато это обычный HTTP, и после обрыва браузер переподключается сам.