mufassall

Шпаргалка · Целые системы

Проектируем видеохостинг

16 мин · Продвинутый · mufassall.dtwin.uz/ru/l/design-video-streaming/

← Открыть урок

Проблема

Авторы загружают часовые видео в 4K, зрители смотрят с телефонов на нестабильном мобильном интернете, а премьера приводит 200 000 человек разом. Видеосайт шаг за шагом: возобновляемая загрузка, конвейер транскодирования, HLS с адаптивным битрейтом, CDN, подсчёт просмотров и холодное хранилище.

Чему вы научитесь

  • Почему большая загрузка идёт прямо в хранилище возобновляемыми частями
  • Транскодирование в лестницу битрейтов, параллельными кусками
  • Сегменты и плейлисты HLS и как плеер переключает качество
  • CDN перед origin, подсчёт просмотров без горячей строки, горячее и холодное хранение
Итоговая сцена
10%40%50%60%40%20%

Диаграмма как код

Итоговая схема урока в виде текста: вставьте её в Jira, GitLab, GitHub, Notion или документацию, там Mermaid рисуется сам. Есть варианты для D2 и PlantUML (Confluence, IntelliJ).

Mermaid: схема

flowchart LR
  n_creator(["Автор"])
  n_upload["API загрузки"]
  n_raw[("Исходники")]
  n_viewer(["Зритель"])
  n_queue[["Очередь транскода"]]
  n_workers("Транскодеры")
  n_media[("Хранилище видео")]
  n_cdn[/"CDN"\]
  n_counter["Счётчик просмотров"]
  n_videos[("БД видео")]
  n_cold[("Холодное хранилище")]
  n_creator --> n_upload
  n_creator --> n_raw
  n_raw --> n_queue
  n_queue --> n_workers
  n_workers --> n_media
  n_viewer --> n_cdn
  n_cdn --> n_media
  n_viewer --> n_counter
  n_counter --> n_videos
  n_media --> n_cold

Mermaid: последовательность запросов

sequenceDiagram
  participant n_creator as Автор
  participant n_upload as API загрузки
  participant n_raw as Исходники
  participant n_viewer as Зритель
  participant n_queue as Очередь транскода
  participant n_workers as Транскодеры
  participant n_media as Хранилище видео
  participant n_cdn as CDN
  participant n_counter as Счётчик просмотров
  participant n_videos as БД видео
  participant n_cold as Холодное хранилище
  Note over n_creator,n_upload: Файл в 2 ГБ одним запросом
  n_creator->>n_upload: POST /v1/videos HTTP/1.1
  n_upload-->>n_creator: HTTP/1.1 504 Gateway Timeout
  Note over n_creator,n_raw: Загрузка прямо в хранилище, частями
  n_creator->>n_raw: PUT /raw/v_8812.mp4?partNumber=88#38;uploadId=u_31#38;X-Amz-Signature=*** HTTP/1.1
  n_raw-->>n_creator: HTTP/1.1 200 OK
  Note over n_viewer,n_raw: Проигрываем оригинал на телефоне
  n_viewer->>n_raw: GET /raw/v_8812.mp4 HTTP/1.1
  n_raw-->>n_viewer: HTTP/1.1 206 Partial Content
  Note over n_queue,n_workers: Транскод в лестницу битрейтов, кусками
  n_queue->>n_workers: SEND transcode
  n_workers-->>n_queue: chunk 17 done in 70 s by w_09
  Note over n_viewer,n_media: HLS: плейлисты и сегменты по 6 секунд
  n_viewer->>n_media: GET /v_8812/master.m3u8 HTTP/1.1
  n_media-->>n_viewer: #35;EXTM3U
  Note over n_viewer,n_media: Адаптивный битрейт: качество следует за каналом
  n_viewer->>n_media: GET /v_8812/480p/seg_042.m4s HTTP/1.1
  n_media-->>n_viewer: HTTP/1.1 200 OK
  Note over n_viewer,n_media: Премьера: 200 000 зрителей разом
  n_viewer->>n_media: 20:00 premiere: 200000 viewers x 5 Mbit/s
  Note over n_viewer,n_cdn: Сегменты из CDN
  n_viewer->>n_cdn: GET /v_8812/720p/seg_042.m4s HTTP/1.1
  n_cdn-->>n_viewer: HTTP/1.1 200 OK
  Note over n_counter,n_videos: Одна строка на каждый просмотр
  n_counter->>n_videos: UPDATE videos SET views = views + 1 WHERE id = 'v_8812'#59;
  n_videos-->>n_counter: lock wait on row v_8812
  Note over n_counter,n_videos: Считаем окнами, пишем раз в минуту
  n_counter->>n_videos: counter: 1 minute window for v_8812
  Note over n_media,n_cold: Горячее и холодное хранилище
  n_media->>n_cold: PUT lifecycle media
  n_cold-->>n_media: 4.1 PB moved, first byte from cold: up to 3 s

D2

direction: right

n_creator: "Автор" {
  shape: rectangle
}
n_upload: "API загрузки" {
  shape: rectangle
}
n_raw: "Исходники" {
  shape: stored_data
}
n_viewer: "Зритель" {
  shape: rectangle
}
n_queue: "Очередь транскода" {
  shape: queue
}
n_workers: "Транскодеры" {
  shape: rectangle
  style.multiple: true
}
n_media: "Хранилище видео" {
  shape: stored_data
}
n_cdn: "CDN" {
  shape: oval
}
n_counter: "Счётчик просмотров" {
  shape: rectangle
}
n_videos: "БД видео" {
  shape: cylinder
}
n_cold: "Холодное хранилище" {
  shape: stored_data
}

n_creator -> n_upload
n_creator -> n_raw
n_raw -> n_queue
n_queue -> n_workers
n_workers -> n_media
n_viewer -> n_cdn
n_cdn -> n_media
n_viewer -> n_counter
n_counter -> n_videos
n_media -> n_cold

PlantUML: последовательность запросов

@startuml
participant "Автор" as n_creator
participant "API загрузки" as n_upload
database "Исходники" as n_raw
participant "Зритель" as n_viewer
queue "Очередь транскода" as n_queue
participant "Транскодеры" as n_workers
database "Хранилище видео" as n_media
participant "CDN" as n_cdn
participant "Счётчик просмотров" as n_counter
database "БД видео" as n_videos
database "Холодное хранилище" as n_cold
note over n_creator, n_upload : Файл в 2 ГБ одним запросом
n_creator -> n_upload : POST /v1/videos HTTP/1.1
n_upload --> n_creator : HTTP/1.1 504 Gateway Timeout
note over n_creator, n_raw : Загрузка прямо в хранилище, частями
n_creator -> n_raw : PUT /raw/v_8812.mp4?partNumber=88&uploadId=u_31&X-Amz-Signature=*** HTTP/1.1
n_raw --> n_creator : HTTP/1.1 200 OK
note over n_viewer, n_raw : Проигрываем оригинал на телефоне
n_viewer -> n_raw : GET /raw/v_8812.mp4 HTTP/1.1
n_raw --> n_viewer : HTTP/1.1 206 Partial Content
note over n_queue, n_workers : Транскод в лестницу битрейтов, кусками
n_queue -> n_workers : SEND transcode
n_workers --> n_queue : chunk 17 done in 70 s by w_09
note over n_viewer, n_media : HLS: плейлисты и сегменты по 6 секунд
n_viewer -> n_media : GET /v_8812/master.m3u8 HTTP/1.1
n_media --> n_viewer : #EXTM3U
note over n_viewer, n_media : Адаптивный битрейт: качество следует за каналом
n_viewer -> n_media : GET /v_8812/480p/seg_042.m4s HTTP/1.1
n_media --> n_viewer : HTTP/1.1 200 OK
note over n_viewer, n_media : Премьера: 200 000 зрителей разом
n_viewer -> n_media : 20:00 premiere: 200000 viewers x 5 Mbit/s
note over n_viewer, n_cdn : Сегменты из CDN
n_viewer -> n_cdn : GET /v_8812/720p/seg_042.m4s HTTP/1.1
n_cdn --> n_viewer : HTTP/1.1 200 OK
note over n_counter, n_videos : Одна строка на каждый просмотр
n_counter -> n_videos : UPDATE videos SET views = views + 1 WHERE id = 'v_8812';
n_videos --> n_counter : lock wait on row v_8812
note over n_counter, n_videos : Считаем окнами, пишем раз в минуту
n_counter -> n_videos : counter: 1 minute window for v_8812
note over n_media, n_cold : Горячее и холодное хранилище
n_media -> n_cold : PUT lifecycle media
n_cold --> n_media : 4.1 PB moved, first byte from cold: up to 3 s
@enduml

PlantUML: компоненты

@startuml
left to right direction
agent "Автор" as n_creator
component "API загрузки" as n_upload
storage "Исходники" as n_raw
agent "Зритель" as n_viewer
queue "Очередь транскода" as n_queue
collections "Транскодеры" as n_workers
storage "Хранилище видео" as n_media
frame "CDN" as n_cdn
component "Счётчик просмотров" as n_counter
database "БД видео" as n_videos
storage "Холодное хранилище" as n_cold
n_creator --> n_upload
n_creator --> n_raw
n_raw --> n_queue
n_queue --> n_workers
n_workers --> n_media
n_viewer --> n_cdn
n_cdn --> n_media
n_viewer --> n_counter
n_counter --> n_videos
n_media --> n_cold
@enduml

Итог

Шесть решений для видеосайта.

1) Загрузка идёт прямо в хранилище возобновляемыми частями; серверы приложения только подписывают. 2) Транскодируйте в лестницу битрейтов, параллельными кусками. 3) Отдавайте HLS: плейлисты и маленькие выровненные сегменты. 4) Пусть плеер подстраивает качество под канал и буфер. 5) Поставьте CDN; неизменяемые имена сегментов делают кэш безопасным. 6) Считайте просмотры окнами, а длинный хвост переносите в холодное хранилище.

Показатели: в начале и в конце

ПоказательВ началеВ конце
До первого кадра14 с2 с
Буферизация22%2%
От загрузки до показа12 min12 min
Трафик origin1 000 Gbps20 Gbps
Стоимость хранения18 000 $/mo7 000 $/mo

Шаги

  1. Проблема Файл в 2 ГБ одним запросом

    Автор загружает часовое видео в 4K, 2 ГБ, из отеля.

  2. Решение Загрузка прямо в хранилище, частями

    API загрузки теперь только проверяет автора и выдаёт подписанные ссылки, по одной на часть в 16 МБ.

  3. Проблема Проигрываем оригинал на телефоне

    Первая версия проигрывает загруженный файл как есть.

  4. Решение Транскод в лестницу битрейтов, кусками

    Когда загрузка завершена, хранилище ставит задачу в очередь транскода.

  5. Решение HLS: плейлисты и сегменты по 6 секунд

    Каждый вариант режут на сегменты по 6 секунд — маленькие файлы с именами вроде seg_042.m4s.

  6. Кейс Адаптивный битрейт: качество следует за каналом

    Зритель спускается в метро.

  7. Проблема Премьера: 200 000 зрителей разом

    Популярный канал выпускает премьеру в 20:00.

  8. Решение Сегменты из CDN

    Перед хранилищем видео встаёт CDN.

  9. Проблема Одна строка на каждый просмотр

    Плеер шлёт heartbeat, пока играет, и счётчик на каждый прибавляет единицу в строку видео.

  10. Решение Считаем окнами, пишем раз в минуту

    Счётчик теперь минуту суммирует heartbeat в памяти.

  11. Решение Горячее и холодное хранилище

    Большая часть просмотров приходится на малую долю видео; большинство видео смотрят несколько раз в год.

  12. Итоги Итог

    Шесть решений для видеосайта.

Термины

Транскодирование
Перекодирование загруженного видео в несколько качеств и форматов (например 1080p, 720p, 480p). Это тяжёлая работа, поэтому видео режут на куски и кодируют параллельно на многих воркерах.
HLS (HTTP Live Streaming)
Видео режут на куски по несколько секунд, а плеер по файлу-списку (.m3u8) берёт следующий кусок обычным HTTP GET. Куски — обычные файлы, поэтому CDN хорошо их кеширует.
Адаптивный битрейт (ABR)
Перед каждым куском плеер выбирает качество по скорости сети и запасу буфера: сеть просела — переходит на 480p, ускорилась — обратно на 1080p. Видео не замирает, меняется только качество.