Шпаргалка · Масштабирование
CDN и кеш на краю сети
Проблема
Сервер магазина на одном континенте, покупатели — на другом. Картинки и скрипты переезжают в edge-кеши рядом с пользователями: как запрос попадает на edge, когда уходит на origin, как заменить файл и что кешировать нельзя никогда.
Чему вы научитесь
- Как edge-кеш встаёт между пользователем и origin и сколько стоят промах и попадание
- Что и на сколько кешировать, решает
Cache-Control - Замена файла: purge или версионированные URL
- Origin shield и почему персональные ответы нельзя кешировать
Диаграмма как код
Итоговая схема урока в виде текста: вставьте её в Jira, GitLab, GitHub, Notion или документацию, там Mermaid рисуется сам. Есть варианты для D2 и PlantUML (Confluence, IntelliJ).
Mermaid: схема
flowchart LR
n_client(["Покупатель, регион A"])
n_origin["Origin-сервер"]
n_bucket[("Файловое хранилище")]
n_edge[/"Edge-кеш A"\]
n_client2(["Покупатель, регион B"])
n_edge2[/"Edge-кеш B"\]
n_shield[/"Origin shield"\]
n_origin --> n_bucket
n_client --> n_edge
n_client2 --> n_edge2
n_edge --> n_shield
n_edge2 --> n_shield
n_shield --> n_originMermaid: последовательность запросов
sequenceDiagram
participant n_client as Покупатель, регион A
participant n_origin as Origin-сервер
participant n_edge as Edge-кеш A
actor n_ops as Инженер
participant n_edge2 as Edge-кеш B
participant n_shield as Origin shield
participant n_client2 as Покупатель, регион B
Note over n_client,n_origin: Каждая картинка летит через полпланеты
n_client->>n_origin: GET /img/sofa-1042.jpg HTTP/1.1
n_origin-->>n_client: HTTP/1.1 200 OK
Note over n_client,n_edge: Кеш рядом с покупателями
n_client->>n_edge: dig static.example.com
n_edge-->>n_client: static.example.com. 300 IN CNAME edge.cdn.example.net.
Note over n_edge,n_origin: Промах: edge один раз спрашивает origin
n_edge->>n_origin: GET /img/sofa-1042.jpg HTTP/1.1
n_origin-->>n_edge: HTTP/1.1 200 OK
Note over n_client,n_edge: Попадание: origin не участвует
n_client->>n_edge: GET /img/sofa-1042.jpg HTTP/1.1
n_edge-->>n_client: HTTP/1.1 200 OK
Note over n_client,n_edge: Фото поменяли, а на edge старое
n_client->>n_edge: GET /img/sofa-1042.jpg HTTP/1.1
n_edge-->>n_client: HTTP/1.1 200 OK
Note over n_ops,n_edge: Purge: всем edge выбросить файл
n_ops->>n_edge: POST /v1/purge HTTP/1.1
n_edge-->>n_ops: HTTP/1.1 202 Accepted
Note over n_client,n_edge: Версионированные URL: новый файл — новое имя
n_client->>n_edge: GET /img/sofa-1042.3f9a2c.jpg HTTP/1.1
n_edge-->>n_client: HTTP/1.1 200 OK
Note over n_edge2,n_origin: Каждый edge спрашивает origin сам
n_edge2->>n_origin: GET /app.9c1d.js edge=edge-a MISS
Note over n_shield,n_origin: Origin shield посередине
n_shield->>n_origin: GET /app.9c1d.js HTTP/1.1
n_origin-->>n_shield: HTTP/1.1 200 OK
Note over n_client2,n_edge2: Закешировали персональный ответ
n_client2->>n_edge2: GET /api/cart HTTP/1.1
n_edge2-->>n_client2: HTTP/1.1 200 OK
Note over n_client2,n_edge2: Персональные ответы: private, no-store
n_client2->>n_edge2: GET /api/cart HTTP/1.1
n_edge2-->>n_client2: HTTP/1.1 200 OKD2
direction: right
n_client: "Покупатель, регион A" {
shape: rectangle
}
n_origin: "Origin-сервер" {
shape: rectangle
}
n_bucket: "Файловое хранилище" {
shape: stored_data
}
n_edge: "Edge-кеш A" {
shape: oval
}
n_client2: "Покупатель, регион B" {
shape: rectangle
}
n_edge2: "Edge-кеш B" {
shape: oval
}
n_shield: "Origin shield" {
shape: oval
}
n_origin -> n_bucket
n_client -> n_edge
n_client2 -> n_edge2
n_edge -> n_shield
n_edge2 -> n_shield
n_shield -> n_originPlantUML: последовательность запросов
@startuml
participant "Покупатель, регион A" as n_client
participant "Origin-сервер" as n_origin
participant "Edge-кеш A" as n_edge
actor "Инженер" as n_ops
participant "Edge-кеш B" as n_edge2
participant "Origin shield" as n_shield
participant "Покупатель, регион B" as n_client2
note over n_client, n_origin : Каждая картинка летит через полпланеты
n_client -> n_origin : GET /img/sofa-1042.jpg HTTP/1.1
n_origin --> n_client : HTTP/1.1 200 OK
note over n_client, n_edge : Кеш рядом с покупателями
n_client -> n_edge : dig static.example.com
n_edge --> n_client : static.example.com. 300 IN CNAME edge.cdn.example.net.
note over n_edge, n_origin : Промах: edge один раз спрашивает origin
n_edge -> n_origin : GET /img/sofa-1042.jpg HTTP/1.1
n_origin --> n_edge : HTTP/1.1 200 OK
note over n_client, n_edge : Попадание: origin не участвует
n_client -> n_edge : GET /img/sofa-1042.jpg HTTP/1.1
n_edge --> n_client : HTTP/1.1 200 OK
note over n_client, n_edge : Фото поменяли, а на edge старое
n_client -> n_edge : GET /img/sofa-1042.jpg HTTP/1.1
n_edge --> n_client : HTTP/1.1 200 OK
note over n_ops, n_edge : Purge: всем edge выбросить файл
n_ops -> n_edge : POST /v1/purge HTTP/1.1
n_edge --> n_ops : HTTP/1.1 202 Accepted
note over n_client, n_edge : Версионированные URL: новый файл — новое имя
n_client -> n_edge : GET /img/sofa-1042.3f9a2c.jpg HTTP/1.1
n_edge --> n_client : HTTP/1.1 200 OK
note over n_edge2, n_origin : Каждый edge спрашивает origin сам
n_edge2 -> n_origin : GET /app.9c1d.js edge=edge-a MISS
note over n_shield, n_origin : Origin shield посередине
n_shield -> n_origin : GET /app.9c1d.js HTTP/1.1
n_origin --> n_shield : HTTP/1.1 200 OK
note over n_client2, n_edge2 : Закешировали персональный ответ
n_client2 -> n_edge2 : GET /api/cart HTTP/1.1
n_edge2 --> n_client2 : HTTP/1.1 200 OK
note over n_client2, n_edge2 : Персональные ответы: private, no-store
n_client2 -> n_edge2 : GET /api/cart HTTP/1.1
n_edge2 --> n_client2 : HTTP/1.1 200 OK
@endumlPlantUML: компоненты
@startuml
left to right direction
agent "Покупатель, регион A" as n_client
component "Origin-сервер" as n_origin
storage "Файловое хранилище" as n_bucket
frame "Edge-кеш A" as n_edge
agent "Покупатель, регион B" as n_client2
frame "Edge-кеш B" as n_edge2
frame "Origin shield" as n_shield
n_origin --> n_bucket
n_client --> n_edge
n_client2 --> n_edge2
n_edge --> n_shield
n_edge2 --> n_shield
n_shield --> n_origin
@endumlИтог
Пять правил CDN.
1) Статика отдаётся с edge рядом с пользователем; origin только заполняет промахи. 2) Origin явно ставит Cache-Control в каждом ответе. 3) Файлы меняют через версионированные URL; purge — для аварий. 4) Origin shield превращает много промахов edge в один. 5) Персональные ответы — всегда private, no-store.
Показатели: в начале и в конце
| Показатель | В начале | В конце |
|---|---|---|
| Загрузка страницы p95 | 1 900 мс | 120 мс |
| Попадания на edge | 0% | 93% |
| Запросы к origin | 1 200/с | 120/с |
| Чужой или старый контент | 0% | 0% |
Шаги
- Проблема Каждая картинка летит через полпланеты
Сервер магазина в одном дата-центре.
- Решение Кеш рядом с покупателями
CDN держит кеш-серверы во многих городах.
- Кейс Промах: edge один раз спрашивает origin
Фото на edge ещё нет.
- Кейс Попадание: origin не участвует
Каждый следующий покупатель в этом регионе получает фото прямо с edge.
- Проблема Фото поменяли, а на edge старое
Магазин загружает фото получше под тем же именем файла.
- Решение Purge: всем edge выбросить файл
Инженер вызывает purge API у CDN.
- Решение Версионированные URL: новый файл — новое имя
Сборка добавляет к имени каждого файла короткий хеш содержимого.
- Проблема Каждый edge спрашивает origin сам
Покупатели во втором регионе получают свой edge.
- Решение Origin shield посередине
Теперь edge спрашивают не origin, а один промежуточный кеш — origin shield.
- Проблема Закешировали персональный ответ
Эндпоинт корзины по ошибке отвечал с
public. - Решение Персональные ответы: private, no-store
Персональные ответы API теперь идут с
private, no-store. - Итоги Итоги
Пять правил CDN.
Термины
- CDN и edge
- Сеть кешей на edge-серверах рядом с пользователями, которая отдаёт статику. Origin только заполняет промахи, а что и на сколько кешировать, решает Cache-Control.
- Origin shield
- Промежуточный слой кеша между edge-серверами и origin. Вместо того чтобы каждый edge спрашивал сам, много промахов превращаются в один запрос к origin.