Шпаргалка · Целые системы
Проектируем видеохостинг
Проблема
Авторы загружают часовые видео в 4K, зрители смотрят с телефонов на нестабильном мобильном интернете, а премьера приводит 200 000 человек разом. Видеосайт шаг за шагом: возобновляемая загрузка, конвейер транскодирования, HLS с адаптивным битрейтом, CDN, подсчёт просмотров и холодное хранилище.
Чему вы научитесь
- Почему большая загрузка идёт прямо в хранилище возобновляемыми частями
- Транскодирование в лестницу битрейтов, параллельными кусками
- Сегменты и плейлисты HLS и как плеер переключает качество
- CDN перед origin, подсчёт просмотров без горячей строки, горячее и холодное хранение
Диаграмма как код
Итоговая схема урока в виде текста: вставьте её в Jira, GitLab, GitHub, Notion или документацию, там Mermaid рисуется сам. Есть варианты для D2 и PlantUML (Confluence, IntelliJ).
Mermaid: схема
flowchart LR
n_creator(["Автор"])
n_upload["API загрузки"]
n_raw[("Исходники")]
n_viewer(["Зритель"])
n_queue[["Очередь транскода"]]
n_workers("Транскодеры")
n_media[("Хранилище видео")]
n_cdn[/"CDN"\]
n_counter["Счётчик просмотров"]
n_videos[("БД видео")]
n_cold[("Холодное хранилище")]
n_creator --> n_upload
n_creator --> n_raw
n_raw --> n_queue
n_queue --> n_workers
n_workers --> n_media
n_viewer --> n_cdn
n_cdn --> n_media
n_viewer --> n_counter
n_counter --> n_videos
n_media --> n_coldMermaid: последовательность запросов
sequenceDiagram
participant n_creator as Автор
participant n_upload as API загрузки
participant n_raw as Исходники
participant n_viewer as Зритель
participant n_queue as Очередь транскода
participant n_workers as Транскодеры
participant n_media as Хранилище видео
participant n_cdn as CDN
participant n_counter as Счётчик просмотров
participant n_videos as БД видео
participant n_cold as Холодное хранилище
Note over n_creator,n_upload: Файл в 2 ГБ одним запросом
n_creator->>n_upload: POST /v1/videos HTTP/1.1
n_upload-->>n_creator: HTTP/1.1 504 Gateway Timeout
Note over n_creator,n_raw: Загрузка прямо в хранилище, частями
n_creator->>n_raw: PUT /raw/v_8812.mp4?partNumber=88#38;uploadId=u_31#38;X-Amz-Signature=*** HTTP/1.1
n_raw-->>n_creator: HTTP/1.1 200 OK
Note over n_viewer,n_raw: Проигрываем оригинал на телефоне
n_viewer->>n_raw: GET /raw/v_8812.mp4 HTTP/1.1
n_raw-->>n_viewer: HTTP/1.1 206 Partial Content
Note over n_queue,n_workers: Транскод в лестницу битрейтов, кусками
n_queue->>n_workers: SEND transcode
n_workers-->>n_queue: chunk 17 done in 70 s by w_09
Note over n_viewer,n_media: HLS: плейлисты и сегменты по 6 секунд
n_viewer->>n_media: GET /v_8812/master.m3u8 HTTP/1.1
n_media-->>n_viewer: #35;EXTM3U
Note over n_viewer,n_media: Адаптивный битрейт: качество следует за каналом
n_viewer->>n_media: GET /v_8812/480p/seg_042.m4s HTTP/1.1
n_media-->>n_viewer: HTTP/1.1 200 OK
Note over n_viewer,n_media: Премьера: 200 000 зрителей разом
n_viewer->>n_media: 20:00 premiere: 200000 viewers x 5 Mbit/s
Note over n_viewer,n_cdn: Сегменты из CDN
n_viewer->>n_cdn: GET /v_8812/720p/seg_042.m4s HTTP/1.1
n_cdn-->>n_viewer: HTTP/1.1 200 OK
Note over n_counter,n_videos: Одна строка на каждый просмотр
n_counter->>n_videos: UPDATE videos SET views = views + 1 WHERE id = 'v_8812'#59;
n_videos-->>n_counter: lock wait on row v_8812
Note over n_counter,n_videos: Считаем окнами, пишем раз в минуту
n_counter->>n_videos: counter: 1 minute window for v_8812
Note over n_media,n_cold: Горячее и холодное хранилище
n_media->>n_cold: PUT lifecycle media
n_cold-->>n_media: 4.1 PB moved, first byte from cold: up to 3 sD2
direction: right
n_creator: "Автор" {
shape: rectangle
}
n_upload: "API загрузки" {
shape: rectangle
}
n_raw: "Исходники" {
shape: stored_data
}
n_viewer: "Зритель" {
shape: rectangle
}
n_queue: "Очередь транскода" {
shape: queue
}
n_workers: "Транскодеры" {
shape: rectangle
style.multiple: true
}
n_media: "Хранилище видео" {
shape: stored_data
}
n_cdn: "CDN" {
shape: oval
}
n_counter: "Счётчик просмотров" {
shape: rectangle
}
n_videos: "БД видео" {
shape: cylinder
}
n_cold: "Холодное хранилище" {
shape: stored_data
}
n_creator -> n_upload
n_creator -> n_raw
n_raw -> n_queue
n_queue -> n_workers
n_workers -> n_media
n_viewer -> n_cdn
n_cdn -> n_media
n_viewer -> n_counter
n_counter -> n_videos
n_media -> n_coldPlantUML: последовательность запросов
@startuml
participant "Автор" as n_creator
participant "API загрузки" as n_upload
database "Исходники" as n_raw
participant "Зритель" as n_viewer
queue "Очередь транскода" as n_queue
participant "Транскодеры" as n_workers
database "Хранилище видео" as n_media
participant "CDN" as n_cdn
participant "Счётчик просмотров" as n_counter
database "БД видео" as n_videos
database "Холодное хранилище" as n_cold
note over n_creator, n_upload : Файл в 2 ГБ одним запросом
n_creator -> n_upload : POST /v1/videos HTTP/1.1
n_upload --> n_creator : HTTP/1.1 504 Gateway Timeout
note over n_creator, n_raw : Загрузка прямо в хранилище, частями
n_creator -> n_raw : PUT /raw/v_8812.mp4?partNumber=88&uploadId=u_31&X-Amz-Signature=*** HTTP/1.1
n_raw --> n_creator : HTTP/1.1 200 OK
note over n_viewer, n_raw : Проигрываем оригинал на телефоне
n_viewer -> n_raw : GET /raw/v_8812.mp4 HTTP/1.1
n_raw --> n_viewer : HTTP/1.1 206 Partial Content
note over n_queue, n_workers : Транскод в лестницу битрейтов, кусками
n_queue -> n_workers : SEND transcode
n_workers --> n_queue : chunk 17 done in 70 s by w_09
note over n_viewer, n_media : HLS: плейлисты и сегменты по 6 секунд
n_viewer -> n_media : GET /v_8812/master.m3u8 HTTP/1.1
n_media --> n_viewer : #EXTM3U
note over n_viewer, n_media : Адаптивный битрейт: качество следует за каналом
n_viewer -> n_media : GET /v_8812/480p/seg_042.m4s HTTP/1.1
n_media --> n_viewer : HTTP/1.1 200 OK
note over n_viewer, n_media : Премьера: 200 000 зрителей разом
n_viewer -> n_media : 20:00 premiere: 200000 viewers x 5 Mbit/s
note over n_viewer, n_cdn : Сегменты из CDN
n_viewer -> n_cdn : GET /v_8812/720p/seg_042.m4s HTTP/1.1
n_cdn --> n_viewer : HTTP/1.1 200 OK
note over n_counter, n_videos : Одна строка на каждый просмотр
n_counter -> n_videos : UPDATE videos SET views = views + 1 WHERE id = 'v_8812';
n_videos --> n_counter : lock wait on row v_8812
note over n_counter, n_videos : Считаем окнами, пишем раз в минуту
n_counter -> n_videos : counter: 1 minute window for v_8812
note over n_media, n_cold : Горячее и холодное хранилище
n_media -> n_cold : PUT lifecycle media
n_cold --> n_media : 4.1 PB moved, first byte from cold: up to 3 s
@endumlPlantUML: компоненты
@startuml
left to right direction
agent "Автор" as n_creator
component "API загрузки" as n_upload
storage "Исходники" as n_raw
agent "Зритель" as n_viewer
queue "Очередь транскода" as n_queue
collections "Транскодеры" as n_workers
storage "Хранилище видео" as n_media
frame "CDN" as n_cdn
component "Счётчик просмотров" as n_counter
database "БД видео" as n_videos
storage "Холодное хранилище" as n_cold
n_creator --> n_upload
n_creator --> n_raw
n_raw --> n_queue
n_queue --> n_workers
n_workers --> n_media
n_viewer --> n_cdn
n_cdn --> n_media
n_viewer --> n_counter
n_counter --> n_videos
n_media --> n_cold
@endumlИтог
Шесть решений для видеосайта.
1) Загрузка идёт прямо в хранилище возобновляемыми частями; серверы приложения только подписывают. 2) Транскодируйте в лестницу битрейтов, параллельными кусками. 3) Отдавайте HLS: плейлисты и маленькие выровненные сегменты. 4) Пусть плеер подстраивает качество под канал и буфер. 5) Поставьте CDN; неизменяемые имена сегментов делают кэш безопасным. 6) Считайте просмотры окнами, а длинный хвост переносите в холодное хранилище.
Показатели: в начале и в конце
| Показатель | В начале | В конце |
|---|---|---|
| До первого кадра | 14 с | 2 с |
| Буферизация | 22% | 2% |
| От загрузки до показа | 12 min | 12 min |
| Трафик origin | 1 000 Gbps | 20 Gbps |
| Стоимость хранения | 18 000 $/mo | 7 000 $/mo |
Шаги
- Проблема Файл в 2 ГБ одним запросом
Автор загружает часовое видео в 4K, 2 ГБ, из отеля.
- Решение Загрузка прямо в хранилище, частями
API загрузки теперь только проверяет автора и выдаёт подписанные ссылки, по одной на часть в 16 МБ.
- Проблема Проигрываем оригинал на телефоне
Первая версия проигрывает загруженный файл как есть.
- Решение Транскод в лестницу битрейтов, кусками
Когда загрузка завершена, хранилище ставит задачу в очередь транскода.
- Решение HLS: плейлисты и сегменты по 6 секунд
Каждый вариант режут на сегменты по 6 секунд — маленькие файлы с именами вроде
seg_042.m4s. - Кейс Адаптивный битрейт: качество следует за каналом
Зритель спускается в метро.
- Проблема Премьера: 200 000 зрителей разом
Популярный канал выпускает премьеру в 20:00.
- Решение Сегменты из CDN
Перед хранилищем видео встаёт CDN.
- Проблема Одна строка на каждый просмотр
Плеер шлёт heartbeat, пока играет, и счётчик на каждый прибавляет единицу в строку видео.
- Решение Считаем окнами, пишем раз в минуту
Счётчик теперь минуту суммирует heartbeat в памяти.
- Решение Горячее и холодное хранилище
Большая часть просмотров приходится на малую долю видео; большинство видео смотрят несколько раз в год.
- Итоги Итог
Шесть решений для видеосайта.
Термины
- Транскодирование
- Перекодирование загруженного видео в несколько качеств и форматов (например 1080p, 720p, 480p). Это тяжёлая работа, поэтому видео режут на куски и кодируют параллельно на многих воркерах.
- HLS (HTTP Live Streaming)
- Видео режут на куски по несколько секунд, а плеер по файлу-списку (.m3u8) берёт следующий кусок обычным HTTP GET. Куски — обычные файлы, поэтому CDN хорошо их кеширует.
- Адаптивный битрейт (ABR)
- Перед каждым куском плеер выбирает качество по скорости сети и запасу буфера: сеть просела — переходит на 480p, ускорилась — обратно на 1080p. Видео не замирает, меняется только качество.