mufassall

Шпаргалка · Масштабирование

Кеширование

13 мин · Средний · mufassall.dtwin.uz/ru/l/caching/

← Открыть урок

Проблема

Страница товара читает из базы одну и ту же строку тысячи раз в секунду. Кеш перед базой делает чтение быстрым, а потом приносит свои проблемы: устаревшие данные, набег на горячий ключ и вопрос, куда идут записи.

Чему вы научитесь

  • Чтение по схеме cache-aside: смотрим в кеш, при промахе идём в базу и заполняем
  • TTL и инвалидация: почему запись должна удалять копию в кеше
  • Что такое набег (stampede) на горячий ключ и как его гасят coalescing и случайный TTL
  • Write-through против write-back и чем рискует каждый
Итоговая сцена
50%30%20%

Диаграмма как код

Итоговая схема урока в виде текста: вставьте её в Jira, GitLab, GitHub, Notion или документацию, там Mermaid рисуется сам. Есть варианты для D2 и PlantUML (Confluence, IntelliJ).

Mermaid: схема

flowchart LR
  n_client(["Приложение магазина"])
  n_api["API товаров"]
  n_db[("База")]
  n_cache{{"Кеш (Redis)"}}
  n_admin(("Менеджер магазина"))
  n_worker("Воркер сброса")
  n_client --> n_api
  n_api --> n_db
  n_api --> n_cache
  n_admin --> n_api
  n_worker --> n_cache
  n_worker --> n_db

Mermaid: последовательность запросов

sequenceDiagram
  participant n_api as API товаров
  participant n_db as База
  participant n_cache as Кеш (Redis)
  Note over n_api,n_db: Каждый просмотр идёт в базу
  n_api->>n_db: SELECT p.id, p.name, p.price, s.qty
  n_db-->>n_api: 1 row in 38 ms
  Note over n_api,n_cache: Сначала смотрим в кеш
  n_api->>n_cache: GET product:1042
  n_cache-->>n_api: (nil)
  Note over n_api,n_cache: После промаха кладём ответ в кеш
  n_api->>n_cache: SET product:1042 '{...}' EX 300
  n_cache-->>n_api: OK
  Note over n_api,n_cache: Попадание: ответ из памяти
  n_api->>n_cache: GET product:1042
  n_cache-->>n_api: (bulk string, 52 bytes)
  Note over n_api,n_db: Цена изменилась, а кеш — нет
  n_api->>n_db: UPDATE products SET price = 4490000
  n_db-->>n_api: UPDATE 1
  Note over n_api,n_cache: Запись удаляет копию в кеше
  n_api->>n_cache: DEL product:1042
  n_cache-->>n_api: (integer) 1
  Note over n_api,n_db: Горячий ключ истекает во время акции
  n_api->>n_db: 08:00:00.000 key product:1042 expired
  Note over n_api,n_cache: Ключ пересобирает только один запрос
  n_api->>n_cache: SET lock:product:1042 req_7 NX PX 2000
  n_cache-->>n_api: OK
  Note over n_api,n_cache: Пусть ключи не истекают разом
  n_api->>n_cache: SET product:1042 '{...}' EX 347
  n_cache-->>n_api: OK
  Note over n_api,n_cache: Запись: через кеш или за кешем
  n_api->>n_cache: INCR views:1042
  n_cache-->>n_api: (integer) 58213

D2

direction: right

n_client: "Приложение магазина" {
  shape: rectangle
}
n_api: "API товаров" {
  shape: rectangle
}
n_db: "База" {
  shape: cylinder
}
n_cache: "Кеш (Redis)" {
  shape: hexagon
}
n_admin: "Менеджер магазина" {
  shape: person
}
n_worker: "Воркер сброса" {
  shape: rectangle
  style.multiple: true
}

n_client -> n_api
n_api -> n_db
n_api -> n_cache
n_admin -> n_api
n_worker -> n_cache
n_worker -> n_db

PlantUML: последовательность запросов

@startuml
participant "API товаров" as n_api
database "База" as n_db
collections "Кеш (Redis)" as n_cache
note over n_api, n_db : Каждый просмотр идёт в базу
n_api -> n_db : SELECT p.id, p.name, p.price, s.qty
n_db --> n_api : 1 row in 38 ms
note over n_api, n_cache : Сначала смотрим в кеш
n_api -> n_cache : GET product:1042
n_cache --> n_api : (nil)
note over n_api, n_cache : После промаха кладём ответ в кеш
n_api -> n_cache : SET product:1042 '{...}' EX 300
n_cache --> n_api : OK
note over n_api, n_cache : Попадание: ответ из памяти
n_api -> n_cache : GET product:1042
n_cache --> n_api : (bulk string, 52 bytes)
note over n_api, n_db : Цена изменилась, а кеш — нет
n_api -> n_db : UPDATE products SET price = 4490000
n_db --> n_api : UPDATE 1
note over n_api, n_cache : Запись удаляет копию в кеше
n_api -> n_cache : DEL product:1042
n_cache --> n_api : (integer) 1
note over n_api, n_db : Горячий ключ истекает во время акции
n_api -> n_db : [дубль] 08:00:00.000 key product:1042 expired
note over n_api, n_cache : Ключ пересобирает только один запрос
n_api -> n_cache : SET lock:product:1042 req_7 NX PX 2000
n_cache --> n_api : OK
note over n_api, n_cache : Пусть ключи не истекают разом
n_api -> n_cache : SET product:1042 '{...}' EX 347
n_cache --> n_api : OK
note over n_api, n_cache : Запись: через кеш или за кешем
n_api -> n_cache : INCR views:1042
n_cache --> n_api : (integer) 58213
@enduml

PlantUML: компоненты

@startuml
left to right direction
agent "Приложение магазина" as n_client
component "API товаров" as n_api
database "База" as n_db
stack "Кеш (Redis)" as n_cache
actor "Менеджер магазина" as n_admin
collections "Воркер сброса" as n_worker
n_client --> n_api
n_api --> n_db
n_api --> n_cache
n_admin --> n_api
n_worker --> n_cache
n_worker --> n_db
@enduml

Итог

Пять правил кеша.

1) Cache-aside: читаем кеш, при промахе читаем базу и заполняем. 2) У каждого ключа есть TTL как страховка. 3) Запись удаляет ключ, после коммита. 4) Горячим ключам нужны coalescing и случайный TTL. 5) Write-back — только для данных, которые не жалко потерять.

Показатели: в начале и в конце

ПоказательВ началеВ конце
Доля попаданий в кеш0%96%
Ответ p95850 мс14 мс
Чтения из базы2 400/с110/с
Старая цена видна0 с0 с

Шаги

  1. Проблема Каждый просмотр идёт в базу

    Каждый раз, когда открывают товар 1042, API джойнит две таблицы и заново читает ту же строку.

  2. Решение Сначала смотрим в кеш

    Рядом с API ставим кеш.

  3. Решение После промаха кладём ответ в кеш

    Прочитав из базы, API кладёт результат в кеш со временем жизни (TTL).

  4. Кейс Попадание: ответ из памяти

    Теперь большинство запросов находят ключ.

  5. Проблема Цена изменилась, а кеш — нет

    Менеджер снижает цену.

  6. Решение Запись удаляет копию в кеше

    После коммита обновления API удаляет ключ.

  7. Проблема Горячий ключ истекает во время акции

    В 08:00 стартует акция, и тысячи людей открывают один и тот же товар.

  8. Решение Ключ пересобирает только один запрос

    При промахе API сначала пытается взять короткую блокировку.

  9. Решение Пусть ключи не истекают разом

    После деплоя тысячи ключей заполнились за одну минуту с одинаковым TTL, значит, и истекут они в одну минуту.

  10. Кейс Запись: через кеш или за кешем

    До сих пор записи шли прямо в базу.

  11. Итоги Итоги

    Пять правил кеша.

Термины

Cache-aside
Самая распространённая схема кеша: приложение сначала смотрит в кеш, при промахе читает базу и кладёт ответ в кеш. Следующие запросы попадают в кеш и отвечаются из памяти.
TTL (время жизни)
Через сколько времени ключ в кеше исчезает сам. Страховка на случай, если инвалидацию забыли: устаревшие данные не живут вечно.
Набег на кеш (stampede)
В момент истечения горячего ключа тысячи запросов одновременно промахиваются и идут в базу с одним и тем же запросом. Против этого работают coalescing и случайный TTL.
Request coalescing (склейка запросов)
При промахе только один запрос берёт короткую блокировку, читает базу и заполняет кеш, остальные ждут несколько миллисекунд и читают готовый ключ. Тысячи одинаковых запросов становятся одним.
Write-through и write-back
Write-through пишет и в кеш, и в базу в одном запросе: кеш всегда свежий, но запись платит дважды. Write-back пишет только в кеш, а воркер позже сбрасывает в базу: очень быстро, но если кеш упал, несброшенное теряется.