mufassall

Шпаргалка · Данные и хранение

Загрузка файлов

13 мин · Средний · mufassall.dtwin.uz/ru/l/files/

← Открыть урок

Проблема

Видеоприложение, куда телефоны загружают файлы по 180 МБ, а смотрят их тысячи. Почему байты не должны идти через ваш API и как работу делят presigned URL, multipart upload, воркер и CDN.

Чему вы научитесь

  • Почему загрузка через сервер приложения медленная и забивает его диск
  • Presigned URL: API подписывает, телефон грузит прямо в хранилище
  • Multipart upload: повторяется упавшая часть, а не весь файл
  • Превью и транскодинг в воркере, раздача через CDN, в базе только метаданные
Итоговая сцена
12%20%40%60%

Диаграмма как код

Итоговая схема урока в виде текста: вставьте её в Jira, GitLab, GitHub, Notion или документацию, там Mermaid рисуется сам. Есть варианты для D2 и PlantUML (Confluence, IntelliJ).

Mermaid: схема

flowchart LR
  n_phone(["Приложение"])
  n_api["API"]
  n_bucket[("Object storage")]
  n_db[("База")]
  n_queue[["Очередь"]]
  n_worker("Медиа-воркер")
  n_viewer(["Зрители"])
  n_cdn[/"CDN"\]
  n_phone --> n_api
  n_phone --> n_bucket
  n_api --> n_db
  n_bucket --> n_queue
  n_queue --> n_worker
  n_worker --> n_bucket
  n_worker --> n_db
  n_viewer --> n_cdn
  n_cdn --> n_bucket

Mermaid: последовательность запросов

sequenceDiagram
  participant n_phone as Приложение
  participant n_api as API
  participant n_disk as Диск API
  participant n_bucket as Object storage
  participant n_db as База
  participant n_queue as Очередь
  participant n_viewer as Зрители
  participant n_cdn as CDN
  Note over n_phone,n_api: Каждый байт идёт через API
  n_phone->>n_api: POST /videos HTTP/1.1
  n_api-->>n_phone: HTTP/1.1 201 Created
  Note over n_api,n_disk: Диск заполнен, на другом сервере файла нет
  n_api-xn_disk: write /var/app/uploads/v_9f3.mp4
  Note over n_phone,n_api: API подписывает, телефон загружает
  n_phone->>n_api: POST /uploads HTTP/1.1
  n_api-->>n_phone: HTTP/1.1 200 OK
  Note over n_phone,n_bucket: Мобильная сеть: 80% готово, всё сначала
  n_phone-xn_bucket: PUT /raw/v_9f3.mp4 HTTP/1.1
  Note over n_phone,n_bucket: Multipart: файл частями по 8 МБ
  n_phone->>n_bucket: PUT /raw/v_9f3.mp4?uploadId=up_31a#38;partNumber=17 HTTP/1.1
  n_bucket-->>n_phone: HTTP/1.1 200 OK
  Note over n_api,n_db: В базе строка, а не файл
  n_api->>n_db: INSERT INTO videos
  n_db-->>n_api: INSERT 0 1
  Note over n_api,n_bucket: Транскодинг внутри запроса
  n_api->>n_bucket: api-1: transcode v_9f3 to 720p started
  Note over n_bucket,n_queue: Событие хранилища, очередь, воркер
  n_bucket->>n_queue: PUBLISH media.uploaded
  Note over n_viewer,n_bucket: Видео стало вирусным
  n_viewer->>n_bucket: GET /v/v_9f3/720p.mp4 HTTP/1.1
  n_bucket-->>n_viewer: HTTP/1.1 200 OK
  Note over n_viewer,n_cdn: CDN перед хранилищем
  n_viewer->>n_cdn: GET /v/v_9f3/720p.mp4 HTTP/1.1
  n_cdn-->>n_viewer: HTTP/1.1 206 Partial Content

D2

direction: right

n_phone: "Приложение" {
  shape: rectangle
}
n_api: "API" {
  shape: rectangle
}
n_bucket: "Object storage" {
  shape: stored_data
}
n_db: "База" {
  shape: cylinder
}
n_queue: "Очередь" {
  shape: queue
}
n_worker: "Медиа-воркер" {
  shape: rectangle
  style.multiple: true
}
n_viewer: "Зрители" {
  shape: rectangle
}
n_cdn: "CDN" {
  shape: oval
}

n_phone -> n_api
n_phone -> n_bucket
n_api -> n_db
n_bucket -> n_queue
n_queue -> n_worker
n_worker -> n_bucket
n_worker -> n_db
n_viewer -> n_cdn
n_cdn -> n_bucket

PlantUML: последовательность запросов

@startuml
participant "Приложение" as n_phone
participant "API" as n_api
database "Диск API" as n_disk
database "Object storage" as n_bucket
database "База" as n_db
queue "Очередь" as n_queue
participant "Зрители" as n_viewer
participant "CDN" as n_cdn
note over n_phone, n_api : Каждый байт идёт через API
n_phone -> n_api : POST /videos HTTP/1.1
n_api --> n_phone : HTTP/1.1 201 Created
note over n_api, n_disk : Диск заполнен, на другом сервере файла нет
n_api ->x n_disk : [потеряно] write /var/app/uploads/v_9f3.mp4
note over n_phone, n_api : API подписывает, телефон загружает
n_phone -> n_api : POST /uploads HTTP/1.1
n_api --> n_phone : HTTP/1.1 200 OK
note over n_phone, n_bucket : Мобильная сеть: 80% готово, всё сначала
n_phone ->x n_bucket : [потеряно] PUT /raw/v_9f3.mp4 HTTP/1.1
note over n_phone, n_bucket : Multipart: файл частями по 8 МБ
n_phone -> n_bucket : PUT /raw/v_9f3.mp4?uploadId=up_31a&partNumber=17 HTTP/1.1
n_bucket --> n_phone : HTTP/1.1 200 OK
note over n_api, n_db : В базе строка, а не файл
n_api -> n_db : INSERT INTO videos
n_db --> n_api : INSERT 0 1
note over n_api, n_bucket : Транскодинг внутри запроса
n_api -> n_bucket : api-1: transcode v_9f3 to 720p started
note over n_bucket, n_queue : Событие хранилища, очередь, воркер
n_bucket -> n_queue : PUBLISH media.uploaded
note over n_viewer, n_bucket : Видео стало вирусным
n_viewer -> n_bucket : GET /v/v_9f3/720p.mp4 HTTP/1.1
n_bucket --> n_viewer : HTTP/1.1 200 OK
note over n_viewer, n_cdn : CDN перед хранилищем
n_viewer -> n_cdn : GET /v/v_9f3/720p.mp4 HTTP/1.1
n_cdn --> n_viewer : HTTP/1.1 206 Partial Content
@enduml

PlantUML: компоненты

@startuml
left to right direction
agent "Приложение" as n_phone
component "API" as n_api
storage "Object storage" as n_bucket
database "База" as n_db
queue "Очередь" as n_queue
collections "Медиа-воркер" as n_worker
agent "Зрители" as n_viewer
frame "CDN" as n_cdn
n_phone --> n_api
n_phone --> n_bucket
n_api --> n_db
n_bucket --> n_queue
n_queue --> n_worker
n_worker --> n_bucket
n_worker --> n_db
n_viewer --> n_cdn
n_cdn --> n_bucket
@enduml

Итог

Пять правил для файлов.

1) Байты не идут через API: он подписывает короткоживущий URL, а клиент грузит в object storage. 2) Большие файлы идут частями, которые повторяются по одной. 3) В базе метаданные и ключ объекта, а не файл. 4) Тяжёлая обработка — в воркере по событию. 5) Просмотры — через CDN с долгим кешированием неизменяемых файлов.

Показатели: в начале и в конце

ПоказательВ началеВ конце
Загрузка p9594 с22 с
Неудачные загрузки7%0,4%
Расходы в месяц1 900 $900 $

Шаги

  1. Проблема Каждый байт идёт через API

    Пользователь загружает с телефона видео на 180 МБ.

  2. Проблема Диск заполнен, на другом сервере файла нет

    Видео копятся на собственном диске API, пока запись не упадёт.

  3. Решение API подписывает, телефон загружает

    Файлы теперь живут в object storage: отдельном сервисе для больших объектов, где нечему переполняться.

  4. Проблема Мобильная сеть: 80% готово, всё сначала

    Один PUT несёт все 180 МБ.

  5. Решение Multipart: файл частями по 8 МБ

    Загрузка разбита на 23 части по 8 МБ.

  6. Кейс В базе строка, а не файл

    Когда загрузка закончена, телефон сообщает об этом API.

  7. Проблема Транскодинг внутри запроса

    Зрителям нужна версия 720p и превью.

  8. Решение Событие хранилища, очередь, воркер

    Теперь при появлении нового объекта хранилище публикует событие.

  9. Проблема Видео стало вирусным

    Тысячи зрителей открывают одно видео, и каждый тянет его из хранилища в одном регионе.

  10. Решение CDN перед хранилищем

    Теперь зрители получают видео из CDN: серверов во многих городах, которые держат копию рядом с пользователем.

  11. Итоги Итоги

    Пять правил для файлов.

Термины

Presigned URL
Короткоживущая ссылка, подписанная API, по которой клиент грузит файл прямо в объектное хранилище. Байты не идут через API, он только проверяет, кто грузит и какого размера файл.