Шпаргалка · Масштабирование
Кеширование
Проблема
Страница товара читает из базы одну и ту же строку тысячи раз в секунду. Кеш перед базой делает чтение быстрым, а потом приносит свои проблемы: устаревшие данные, набег на горячий ключ и вопрос, куда идут записи.
Чему вы научитесь
- Чтение по схеме cache-aside: смотрим в кеш, при промахе идём в базу и заполняем
- TTL и инвалидация: почему запись должна удалять копию в кеше
- Что такое набег (stampede) на горячий ключ и как его гасят coalescing и случайный TTL
- Write-through против write-back и чем рискует каждый
Диаграмма как код
Итоговая схема урока в виде текста: вставьте её в Jira, GitLab, GitHub, Notion или документацию, там Mermaid рисуется сам. Есть варианты для D2 и PlantUML (Confluence, IntelliJ).
Mermaid: схема
flowchart LR
n_client(["Приложение магазина"])
n_api["API товаров"]
n_db[("База")]
n_cache{{"Кеш (Redis)"}}
n_admin(("Менеджер магазина"))
n_worker("Воркер сброса")
n_client --> n_api
n_api --> n_db
n_api --> n_cache
n_admin --> n_api
n_worker --> n_cache
n_worker --> n_dbMermaid: последовательность запросов
sequenceDiagram
participant n_api as API товаров
participant n_db as База
participant n_cache as Кеш (Redis)
Note over n_api,n_db: Каждый просмотр идёт в базу
n_api->>n_db: SELECT p.id, p.name, p.price, s.qty
n_db-->>n_api: 1 row in 38 ms
Note over n_api,n_cache: Сначала смотрим в кеш
n_api->>n_cache: GET product:1042
n_cache-->>n_api: (nil)
Note over n_api,n_cache: После промаха кладём ответ в кеш
n_api->>n_cache: SET product:1042 '{...}' EX 300
n_cache-->>n_api: OK
Note over n_api,n_cache: Попадание: ответ из памяти
n_api->>n_cache: GET product:1042
n_cache-->>n_api: (bulk string, 52 bytes)
Note over n_api,n_db: Цена изменилась, а кеш — нет
n_api->>n_db: UPDATE products SET price = 4490000
n_db-->>n_api: UPDATE 1
Note over n_api,n_cache: Запись удаляет копию в кеше
n_api->>n_cache: DEL product:1042
n_cache-->>n_api: (integer) 1
Note over n_api,n_db: Горячий ключ истекает во время акции
n_api->>n_db: 08:00:00.000 key product:1042 expired
Note over n_api,n_cache: Ключ пересобирает только один запрос
n_api->>n_cache: SET lock:product:1042 req_7 NX PX 2000
n_cache-->>n_api: OK
Note over n_api,n_cache: Пусть ключи не истекают разом
n_api->>n_cache: SET product:1042 '{...}' EX 347
n_cache-->>n_api: OK
Note over n_api,n_cache: Запись: через кеш или за кешем
n_api->>n_cache: INCR views:1042
n_cache-->>n_api: (integer) 58213D2
direction: right
n_client: "Приложение магазина" {
shape: rectangle
}
n_api: "API товаров" {
shape: rectangle
}
n_db: "База" {
shape: cylinder
}
n_cache: "Кеш (Redis)" {
shape: hexagon
}
n_admin: "Менеджер магазина" {
shape: person
}
n_worker: "Воркер сброса" {
shape: rectangle
style.multiple: true
}
n_client -> n_api
n_api -> n_db
n_api -> n_cache
n_admin -> n_api
n_worker -> n_cache
n_worker -> n_dbPlantUML: последовательность запросов
@startuml
participant "API товаров" as n_api
database "База" as n_db
collections "Кеш (Redis)" as n_cache
note over n_api, n_db : Каждый просмотр идёт в базу
n_api -> n_db : SELECT p.id, p.name, p.price, s.qty
n_db --> n_api : 1 row in 38 ms
note over n_api, n_cache : Сначала смотрим в кеш
n_api -> n_cache : GET product:1042
n_cache --> n_api : (nil)
note over n_api, n_cache : После промаха кладём ответ в кеш
n_api -> n_cache : SET product:1042 '{...}' EX 300
n_cache --> n_api : OK
note over n_api, n_cache : Попадание: ответ из памяти
n_api -> n_cache : GET product:1042
n_cache --> n_api : (bulk string, 52 bytes)
note over n_api, n_db : Цена изменилась, а кеш — нет
n_api -> n_db : UPDATE products SET price = 4490000
n_db --> n_api : UPDATE 1
note over n_api, n_cache : Запись удаляет копию в кеше
n_api -> n_cache : DEL product:1042
n_cache --> n_api : (integer) 1
note over n_api, n_db : Горячий ключ истекает во время акции
n_api -> n_db : [дубль] 08:00:00.000 key product:1042 expired
note over n_api, n_cache : Ключ пересобирает только один запрос
n_api -> n_cache : SET lock:product:1042 req_7 NX PX 2000
n_cache --> n_api : OK
note over n_api, n_cache : Пусть ключи не истекают разом
n_api -> n_cache : SET product:1042 '{...}' EX 347
n_cache --> n_api : OK
note over n_api, n_cache : Запись: через кеш или за кешем
n_api -> n_cache : INCR views:1042
n_cache --> n_api : (integer) 58213
@endumlPlantUML: компоненты
@startuml
left to right direction
agent "Приложение магазина" as n_client
component "API товаров" as n_api
database "База" as n_db
stack "Кеш (Redis)" as n_cache
actor "Менеджер магазина" as n_admin
collections "Воркер сброса" as n_worker
n_client --> n_api
n_api --> n_db
n_api --> n_cache
n_admin --> n_api
n_worker --> n_cache
n_worker --> n_db
@endumlИтог
Пять правил кеша.
1) Cache-aside: читаем кеш, при промахе читаем базу и заполняем. 2) У каждого ключа есть TTL как страховка. 3) Запись удаляет ключ, после коммита. 4) Горячим ключам нужны coalescing и случайный TTL. 5) Write-back — только для данных, которые не жалко потерять.
Показатели: в начале и в конце
| Показатель | В начале | В конце |
|---|---|---|
| Доля попаданий в кеш | 0% | 96% |
| Ответ p95 | 850 мс | 14 мс |
| Чтения из базы | 2 400/с | 110/с |
| Старая цена видна | 0 с | 0 с |
Шаги
- Проблема Каждый просмотр идёт в базу
Каждый раз, когда открывают товар
1042, API джойнит две таблицы и заново читает ту же строку. - Решение Сначала смотрим в кеш
Рядом с API ставим кеш.
- Решение После промаха кладём ответ в кеш
Прочитав из базы, API кладёт результат в кеш со временем жизни (TTL).
- Кейс Попадание: ответ из памяти
Теперь большинство запросов находят ключ.
- Проблема Цена изменилась, а кеш — нет
Менеджер снижает цену.
- Решение Запись удаляет копию в кеше
После коммита обновления API удаляет ключ.
- Проблема Горячий ключ истекает во время акции
В 08:00 стартует акция, и тысячи людей открывают один и тот же товар.
- Решение Ключ пересобирает только один запрос
При промахе API сначала пытается взять короткую блокировку.
- Решение Пусть ключи не истекают разом
После деплоя тысячи ключей заполнились за одну минуту с одинаковым TTL, значит, и истекут они в одну минуту.
- Кейс Запись: через кеш или за кешем
До сих пор записи шли прямо в базу.
- Итоги Итоги
Пять правил кеша.
Термины
- Cache-aside
- Самая распространённая схема кеша: приложение сначала смотрит в кеш, при промахе читает базу и кладёт ответ в кеш. Следующие запросы попадают в кеш и отвечаются из памяти.
- TTL (время жизни)
- Через сколько времени ключ в кеше исчезает сам. Страховка на случай, если инвалидацию забыли: устаревшие данные не живут вечно.
- Набег на кеш (stampede)
- В момент истечения горячего ключа тысячи запросов одновременно промахиваются и идут в базу с одним и тем же запросом. Против этого работают coalescing и случайный TTL.
- Request coalescing (склейка запросов)
- При промахе только один запрос берёт короткую блокировку, читает базу и заполняет кеш, остальные ждут несколько миллисекунд и читают готовый ключ. Тысячи одинаковых запросов становятся одним.
- Write-through и write-back
- Write-through пишет и в кеш, и в базу в одном запросе: кеш всегда свежий, но запись платит дважды. Write-back пишет только в кеш, а воркер позже сбрасывает в базу: очень быстро, но если кеш упал, несброшенное теряется.