Шпаргалка · Данные и хранение
Загрузка файлов
Проблема
Видеоприложение, куда телефоны загружают файлы по 180 МБ, а смотрят их тысячи. Почему байты не должны идти через ваш API и как работу делят presigned URL, multipart upload, воркер и CDN.
Чему вы научитесь
- Почему загрузка через сервер приложения медленная и забивает его диск
- Presigned URL: API подписывает, телефон грузит прямо в хранилище
- Multipart upload: повторяется упавшая часть, а не весь файл
- Превью и транскодинг в воркере, раздача через CDN, в базе только метаданные
Диаграмма как код
Итоговая схема урока в виде текста: вставьте её в Jira, GitLab, GitHub, Notion или документацию, там Mermaid рисуется сам. Есть варианты для D2 и PlantUML (Confluence, IntelliJ).
Mermaid: схема
flowchart LR
n_phone(["Приложение"])
n_api["API"]
n_bucket[("Object storage")]
n_db[("База")]
n_queue[["Очередь"]]
n_worker("Медиа-воркер")
n_viewer(["Зрители"])
n_cdn[/"CDN"\]
n_phone --> n_api
n_phone --> n_bucket
n_api --> n_db
n_bucket --> n_queue
n_queue --> n_worker
n_worker --> n_bucket
n_worker --> n_db
n_viewer --> n_cdn
n_cdn --> n_bucketMermaid: последовательность запросов
sequenceDiagram
participant n_phone as Приложение
participant n_api as API
participant n_disk as Диск API
participant n_bucket as Object storage
participant n_db as База
participant n_queue as Очередь
participant n_viewer as Зрители
participant n_cdn as CDN
Note over n_phone,n_api: Каждый байт идёт через API
n_phone->>n_api: POST /videos HTTP/1.1
n_api-->>n_phone: HTTP/1.1 201 Created
Note over n_api,n_disk: Диск заполнен, на другом сервере файла нет
n_api-xn_disk: write /var/app/uploads/v_9f3.mp4
Note over n_phone,n_api: API подписывает, телефон загружает
n_phone->>n_api: POST /uploads HTTP/1.1
n_api-->>n_phone: HTTP/1.1 200 OK
Note over n_phone,n_bucket: Мобильная сеть: 80% готово, всё сначала
n_phone-xn_bucket: PUT /raw/v_9f3.mp4 HTTP/1.1
Note over n_phone,n_bucket: Multipart: файл частями по 8 МБ
n_phone->>n_bucket: PUT /raw/v_9f3.mp4?uploadId=up_31a#38;partNumber=17 HTTP/1.1
n_bucket-->>n_phone: HTTP/1.1 200 OK
Note over n_api,n_db: В базе строка, а не файл
n_api->>n_db: INSERT INTO videos
n_db-->>n_api: INSERT 0 1
Note over n_api,n_bucket: Транскодинг внутри запроса
n_api->>n_bucket: api-1: transcode v_9f3 to 720p started
Note over n_bucket,n_queue: Событие хранилища, очередь, воркер
n_bucket->>n_queue: PUBLISH media.uploaded
Note over n_viewer,n_bucket: Видео стало вирусным
n_viewer->>n_bucket: GET /v/v_9f3/720p.mp4 HTTP/1.1
n_bucket-->>n_viewer: HTTP/1.1 200 OK
Note over n_viewer,n_cdn: CDN перед хранилищем
n_viewer->>n_cdn: GET /v/v_9f3/720p.mp4 HTTP/1.1
n_cdn-->>n_viewer: HTTP/1.1 206 Partial ContentD2
direction: right
n_phone: "Приложение" {
shape: rectangle
}
n_api: "API" {
shape: rectangle
}
n_bucket: "Object storage" {
shape: stored_data
}
n_db: "База" {
shape: cylinder
}
n_queue: "Очередь" {
shape: queue
}
n_worker: "Медиа-воркер" {
shape: rectangle
style.multiple: true
}
n_viewer: "Зрители" {
shape: rectangle
}
n_cdn: "CDN" {
shape: oval
}
n_phone -> n_api
n_phone -> n_bucket
n_api -> n_db
n_bucket -> n_queue
n_queue -> n_worker
n_worker -> n_bucket
n_worker -> n_db
n_viewer -> n_cdn
n_cdn -> n_bucketPlantUML: последовательность запросов
@startuml
participant "Приложение" as n_phone
participant "API" as n_api
database "Диск API" as n_disk
database "Object storage" as n_bucket
database "База" as n_db
queue "Очередь" as n_queue
participant "Зрители" as n_viewer
participant "CDN" as n_cdn
note over n_phone, n_api : Каждый байт идёт через API
n_phone -> n_api : POST /videos HTTP/1.1
n_api --> n_phone : HTTP/1.1 201 Created
note over n_api, n_disk : Диск заполнен, на другом сервере файла нет
n_api ->x n_disk : [потеряно] write /var/app/uploads/v_9f3.mp4
note over n_phone, n_api : API подписывает, телефон загружает
n_phone -> n_api : POST /uploads HTTP/1.1
n_api --> n_phone : HTTP/1.1 200 OK
note over n_phone, n_bucket : Мобильная сеть: 80% готово, всё сначала
n_phone ->x n_bucket : [потеряно] PUT /raw/v_9f3.mp4 HTTP/1.1
note over n_phone, n_bucket : Multipart: файл частями по 8 МБ
n_phone -> n_bucket : PUT /raw/v_9f3.mp4?uploadId=up_31a&partNumber=17 HTTP/1.1
n_bucket --> n_phone : HTTP/1.1 200 OK
note over n_api, n_db : В базе строка, а не файл
n_api -> n_db : INSERT INTO videos
n_db --> n_api : INSERT 0 1
note over n_api, n_bucket : Транскодинг внутри запроса
n_api -> n_bucket : api-1: transcode v_9f3 to 720p started
note over n_bucket, n_queue : Событие хранилища, очередь, воркер
n_bucket -> n_queue : PUBLISH media.uploaded
note over n_viewer, n_bucket : Видео стало вирусным
n_viewer -> n_bucket : GET /v/v_9f3/720p.mp4 HTTP/1.1
n_bucket --> n_viewer : HTTP/1.1 200 OK
note over n_viewer, n_cdn : CDN перед хранилищем
n_viewer -> n_cdn : GET /v/v_9f3/720p.mp4 HTTP/1.1
n_cdn --> n_viewer : HTTP/1.1 206 Partial Content
@endumlPlantUML: компоненты
@startuml
left to right direction
agent "Приложение" as n_phone
component "API" as n_api
storage "Object storage" as n_bucket
database "База" as n_db
queue "Очередь" as n_queue
collections "Медиа-воркер" as n_worker
agent "Зрители" as n_viewer
frame "CDN" as n_cdn
n_phone --> n_api
n_phone --> n_bucket
n_api --> n_db
n_bucket --> n_queue
n_queue --> n_worker
n_worker --> n_bucket
n_worker --> n_db
n_viewer --> n_cdn
n_cdn --> n_bucket
@endumlИтог
Пять правил для файлов.
1) Байты не идут через API: он подписывает короткоживущий URL, а клиент грузит в object storage. 2) Большие файлы идут частями, которые повторяются по одной. 3) В базе метаданные и ключ объекта, а не файл. 4) Тяжёлая обработка — в воркере по событию. 5) Просмотры — через CDN с долгим кешированием неизменяемых файлов.
Показатели: в начале и в конце
| Показатель | В начале | В конце |
|---|---|---|
| Загрузка p95 | 94 с | 22 с |
| Неудачные загрузки | 7% | 0,4% |
| Расходы в месяц | 1 900 $ | 900 $ |
Шаги
- Проблема Каждый байт идёт через API
Пользователь загружает с телефона видео на 180 МБ.
- Проблема Диск заполнен, на другом сервере файла нет
Видео копятся на собственном диске API, пока запись не упадёт.
- Решение API подписывает, телефон загружает
Файлы теперь живут в object storage: отдельном сервисе для больших объектов, где нечему переполняться.
- Проблема Мобильная сеть: 80% готово, всё сначала
Один
PUTнесёт все 180 МБ. - Решение Multipart: файл частями по 8 МБ
Загрузка разбита на 23 части по 8 МБ.
- Кейс В базе строка, а не файл
Когда загрузка закончена, телефон сообщает об этом API.
- Проблема Транскодинг внутри запроса
Зрителям нужна версия 720p и превью.
- Решение Событие хранилища, очередь, воркер
Теперь при появлении нового объекта хранилище публикует событие.
- Проблема Видео стало вирусным
Тысячи зрителей открывают одно видео, и каждый тянет его из хранилища в одном регионе.
- Решение CDN перед хранилищем
Теперь зрители получают видео из CDN: серверов во многих городах, которые держат копию рядом с пользователем.
- Итоги Итоги
Пять правил для файлов.
Термины
- Presigned URL
- Короткоживущая ссылка, подписанная API, по которой клиент грузит файл прямо в объектное хранилище. Байты не идут через API, он только проверяет, кто грузит и какого размера файл.