mufassall

Шпаргалка · Масштабирование

Инвалидация кеша

14 мин · Продвинутый · mufassall.dtwin.uz/ru/l/cache-invalidation/

← Открыть урок

Проблема

API аккаунтов держит тариф каждого аккаунта в кеше перед базой. С одним только TTL клиент, который только что заплатил, до десяти минут остаётся на старом тарифе. Удаление ключа после записи чинит обычный случай, но оставляет гонку: после удаления в кеш снова записывается старое значение. Двойное удаление, лизы и инвалидация из журнала изменений базы закрывают эти дыры одну за другой, а на стороне чтения горячий ключ отдаётся устаревшим, пока один запрос его обновляет, и кешируются даже строки, которых нет.

Чему вы научитесь

  • Почему TTL ограничивает, сколько данные остаются неверными, но не делает их верными, и чем удаление после записи отличается от записи нового значения в кеш
  • Гонка медленного читателя и писателя, после которой в кеше остаётся старое значение, и три способа её закрыть: двойное удаление, версии, лизы
  • Инвалидация из журнала изменений базы (CDC), чтобы писатели, которые не ходят через API, не оставляли кеш устаревшим
  • Stale-while-revalidate с джиттером для горячего ключа и негативное кеширование для запросов, которые ничего не находят
Итоговая сцена
60%

Диаграмма как код

Итоговая схема урока в виде текста: вставьте её в Jira, GitLab, GitHub, Notion или документацию, там Mermaid рисуется сам. Есть варианты для D2 и PlantUML (Confluence, IntelliJ).

Mermaid: схема

flowchart LR
  n_app(["Веб-приложение"])
  n_api["API аккаунтов"]
  n_cache{{"Кеш"}}
  n_db[("База аккаунтов")]
  n_batch("Биллинг-джоб")
  n_cdc("CDC-воркер")
  n_app -->|"вызов"| n_api
  n_api -->|"вызов"| n_cache
  n_api -->|"вызов"| n_db
  n_batch --> n_db
  n_cdc -->|"асинхронно"| n_db
  n_cdc --> n_cache

Mermaid: последовательность запросов

sequenceDiagram
  participant n_app as Веб-приложение
  participant n_api as API аккаунтов
  participant n_cache as Кеш
  participant n_db as База аккаунтов
  participant n_batch as Биллинг-джоб
  participant n_cdc as CDC-воркер
  Note over n_app,n_api: Тариф каждого аккаунта закеширован на десять минут
  n_app->>n_api: GET /v1/accounts/4821/plan HTTP/1.1
  n_api-->>n_app: HTTP/1.1 200 OK
  Note over n_api,n_cache: Клиент заплатил, а кеш всё ещё говорит Free
  n_api->>n_cache: 10:00:00 UPDATE accounts SET plan = 'pro' WHERE id = 4821#59; COMMIT
  Note over n_api,n_db: После commit удали ключ
  n_api->>n_db: PATCH /v1/accounts/4821/plan {#34;plan#34;: #34;pro#34;}
  Note over n_api,n_cache: Медленный читатель записывает старое значение обратно
  n_api->>n_cache: acct:4821:plan two requests, one key
  Note over n_api,n_cache: Удали ещё раз чуть позже
  n_api->>n_cache: W COMMIT#59; DEL acct:4821:plan#59; schedule DEL in 500 ms
  Note over n_api,n_cache: Лиз: кеш отклоняет запись, которой не ждал
  n_api->>n_cache: R get acct:4821:plan -#62; MISS, lease 7731
  Note over n_batch,n_db: Писатель, который никогда не вызывает API
  n_batch->>n_db: -- billing job, 02:00 every night
  Note over n_cdc,n_db: Инвалидация из журнала изменений базы
  n_cdc->>n_db: change accounts lsn 0/5B10A2C8
  n_db-->>n_cdc: DEL acct:4821:plan acct:4821:limits -#62; (integer) 2
  Note over n_api,n_cache: Все ждут одну пересборку
  n_api->>n_cache: 11:00:00.000 config:tariffs expired (read 18 000/s by every request)
  Note over n_api,n_cache: Отдавай старое значение, пока один запрос его обновляет
  n_api->>n_cache: GET config:tariffs (EX 3600)
  n_cache-->>n_api: 11:00:00.001 past fresh_until: answer with this value now
  Note over n_api,n_cache: Кешируй и «не найдено»
  n_api->>n_cache: GET acct:4821:limits -#62; (nil)

D2

direction: right

n_app: "Веб-приложение" {
  shape: rectangle
}
n_api: "API аккаунтов" {
  shape: rectangle
}
n_cache: "Кеш" {
  shape: hexagon
}
n_db: "База аккаунтов" {
  shape: cylinder
}
n_batch: "Биллинг-джоб" {
  shape: rectangle
  style.multiple: true
}
n_cdc: "CDC-воркер" {
  shape: rectangle
  style.multiple: true
}

n_app -> n_api: "вызов"
n_api -> n_cache: "вызов"
n_api -> n_db: "вызов"
n_batch -> n_db
n_cdc -> n_db: "асинхронно"
n_cdc -> n_cache

PlantUML: последовательность запросов

@startuml
participant "Веб-приложение" as n_app
participant "API аккаунтов" as n_api
collections "Кеш" as n_cache
database "База аккаунтов" as n_db
participant "Биллинг-джоб" as n_batch
participant "CDC-воркер" as n_cdc
note over n_app, n_api : Тариф каждого аккаунта закеширован на десять минут
n_app -> n_api : GET /v1/accounts/4821/plan HTTP/1.1
n_api --> n_app : HTTP/1.1 200 OK
note over n_api, n_cache : Клиент заплатил, а кеш всё ещё говорит Free
n_api -> n_cache : 10:00:00 UPDATE accounts SET plan = 'pro' WHERE id = 4821; COMMIT
note over n_api, n_db : После commit удали ключ
n_api -> n_db : PATCH /v1/accounts/4821/plan {"plan": "pro"}
note over n_api, n_cache : Медленный читатель записывает старое значение обратно
n_api -> n_cache : [дубль] acct:4821:plan two requests, one key
note over n_api, n_cache : Удали ещё раз чуть позже
n_api -> n_cache : W COMMIT; DEL acct:4821:plan; schedule DEL in 500 ms
note over n_api, n_cache : Лиз: кеш отклоняет запись, которой не ждал
n_api -> n_cache : R get acct:4821:plan -> MISS, lease 7731
note over n_batch, n_db : Писатель, который никогда не вызывает API
n_batch -> n_db : -- billing job, 02:00 every night
note over n_cdc, n_db : Инвалидация из журнала изменений базы
n_cdc ->> n_db : change accounts lsn 0/5B10A2C8
n_db -->> n_cdc : DEL acct:4821:plan acct:4821:limits -> (integer) 2
note over n_api, n_cache : Все ждут одну пересборку
n_api -> n_cache : 11:00:00.000 config:tariffs expired (read 18 000/s by every request)
note over n_api, n_cache : Отдавай старое значение, пока один запрос его обновляет
n_api -> n_cache : GET config:tariffs (EX 3600)
n_cache --> n_api : 11:00:00.001 past fresh_until: answer with this value now
note over n_api, n_cache : Кешируй и «не найдено»
n_api -> n_cache : GET acct:4821:limits -> (nil)
@enduml

PlantUML: компоненты

@startuml
left to right direction
agent "Веб-приложение" as n_app
component "API аккаунтов" as n_api
stack "Кеш" as n_cache
database "База аккаунтов" as n_db
collections "Биллинг-джоб" as n_batch
collections "CDC-воркер" as n_cdc
n_app --> n_api : вызов
n_api --> n_cache : вызов
n_api --> n_db : вызов
n_batch --> n_db
n_cdc --> n_db : асинхронно
n_cdc --> n_cache
@enduml

Итог

Шесть правил инвалидации кеша.

1) TTL лишь ограничивает, как долго данные неверны; оставь его как страховку. 2) После записи удаляй ключ после commit, а не пиши новое значение. 3) Медленный читатель может вернуть старое значение после удаления: двойное удаление сужает окно, лиз или проверка версии закрывают его. 4) Инвалидируй из журнала изменений, чтобы были покрыты все писатели, и коммить смещение журнала только после удаления. 5) Горячие ключи отдавай старыми, пока один запрос их обновляет, и добавляй к TTL джиттер. 6) Кешируй «не найдено» с коротким TTL и инвалидируй его при вставке.

Показатели: в начале и в конце

ПоказательВ началеВ конце
Устаревшие записи в кеш0/день0/день
Самое долгое устаревание0 с0 с
Чтения из базы900/с300/с
Доля попаданий в кеш94%98%
Задержка p996 мс6 мс

Шаги

  1. Кейс Тариф каждого аккаунта закеширован на десять минут

    Каждая страница веб-приложения спрашивает у API аккаунтов, на каком тарифе аккаунт: 15 000 чтений в секунду.

  2. Проблема Клиент заплатил, а кеш всё ещё говорит Free

    В 10:00 аккаунт 4821 переходит на Pro, и база делает commit.

  3. Решение После commit удали ключ

    Теперь API удаляет ключ сразу после commit транзакции.

  4. Проблема Медленный читатель записывает старое значение обратно

    Читатель R промахивается и читает строку, пока там ещё free.

  5. Решение Удали ещё раз чуть позже

    Дешёвое решение: после первого удаления писатель планирует второе через 500 мс.

  6. Решение Лиз: кеш отклоняет запись, которой не ждал

    С лизом промах возвращает токен.

  7. Проблема Писатель, который никогда не вызывает API

    Каждую ночь в 02:00 биллинг-джоб понижает тариф аккаунтам, у которых закончилась оплата: 1 900 строк одним UPDATE.

  8. Решение Инвалидация из журнала изменений базы

    CDC-воркер читает журнал изменений базы.

  9. Проблема Все ждут одну пересборку

    Каждый запрос читает ещё и config:tariffs, 18 000 раз в секунду.

  10. Решение Отдавай старое значение, пока один запрос его обновляет

    Теперь у значения два срока жизни.

  11. Решение Кешируй и «не найдено»

    Каждая страница спрашивает ещё и пользовательские лимиты аккаунта, а у 96% аккаунтов их нет.

  12. Итоги Итог

    Шесть правил инвалидации кеша.

Термины

Инвалидация кеша
Удаление старой копии из кеша, когда данные изменились. Ключ удаляют после коммита, и следующее чтение берёт свежее значение.
Stale-while-revalidate
У значения в кеше мягкий и жёсткий TTL: после мягкого старое значение отдают сразу, а один запрос обновляет его в фоне. Никто не ждёт пересборки.
Негативное кеширование
Кеширование ответа «не найдено» с коротким TTL, чтобы поиск несуществующей строки не ходил в базу каждый раз. При вставке строки эту запись нужно удалить.
Лиз в кеше
Токен, который выдаётся вместе с промахом: запись принимается только с действующим токеном, а удаление ключа его отменяет. Медленный читатель не может вернуть старое значение.
Двойное удаление
Удаление ключа кеша сразу после записи и ещё раз с небольшой задержкой, чтобы убрать старое значение, которое успел вернуть медленный читатель. Сужает окно, но не закрывает его.