Шпаргалка · Масштабирование
Инвалидация кеша
Проблема
API аккаунтов держит тариф каждого аккаунта в кеше перед базой. С одним только TTL клиент, который только что заплатил, до десяти минут остаётся на старом тарифе. Удаление ключа после записи чинит обычный случай, но оставляет гонку: после удаления в кеш снова записывается старое значение. Двойное удаление, лизы и инвалидация из журнала изменений базы закрывают эти дыры одну за другой, а на стороне чтения горячий ключ отдаётся устаревшим, пока один запрос его обновляет, и кешируются даже строки, которых нет.
Чему вы научитесь
- Почему TTL ограничивает, сколько данные остаются неверными, но не делает их верными, и чем удаление после записи отличается от записи нового значения в кеш
- Гонка медленного читателя и писателя, после которой в кеше остаётся старое значение, и три способа её закрыть: двойное удаление, версии, лизы
- Инвалидация из журнала изменений базы (CDC), чтобы писатели, которые не ходят через API, не оставляли кеш устаревшим
- Stale-while-revalidate с джиттером для горячего ключа и негативное кеширование для запросов, которые ничего не находят
Диаграмма как код
Итоговая схема урока в виде текста: вставьте её в Jira, GitLab, GitHub, Notion или документацию, там Mermaid рисуется сам. Есть варианты для D2 и PlantUML (Confluence, IntelliJ).
Mermaid: схема
flowchart LR
n_app(["Веб-приложение"])
n_api["API аккаунтов"]
n_cache{{"Кеш"}}
n_db[("База аккаунтов")]
n_batch("Биллинг-джоб")
n_cdc("CDC-воркер")
n_app -->|"вызов"| n_api
n_api -->|"вызов"| n_cache
n_api -->|"вызов"| n_db
n_batch --> n_db
n_cdc -->|"асинхронно"| n_db
n_cdc --> n_cacheMermaid: последовательность запросов
sequenceDiagram
participant n_app as Веб-приложение
participant n_api as API аккаунтов
participant n_cache as Кеш
participant n_db as База аккаунтов
participant n_batch as Биллинг-джоб
participant n_cdc as CDC-воркер
Note over n_app,n_api: Тариф каждого аккаунта закеширован на десять минут
n_app->>n_api: GET /v1/accounts/4821/plan HTTP/1.1
n_api-->>n_app: HTTP/1.1 200 OK
Note over n_api,n_cache: Клиент заплатил, а кеш всё ещё говорит Free
n_api->>n_cache: 10:00:00 UPDATE accounts SET plan = 'pro' WHERE id = 4821#59; COMMIT
Note over n_api,n_db: После commit удали ключ
n_api->>n_db: PATCH /v1/accounts/4821/plan {#34;plan#34;: #34;pro#34;}
Note over n_api,n_cache: Медленный читатель записывает старое значение обратно
n_api->>n_cache: acct:4821:plan two requests, one key
Note over n_api,n_cache: Удали ещё раз чуть позже
n_api->>n_cache: W COMMIT#59; DEL acct:4821:plan#59; schedule DEL in 500 ms
Note over n_api,n_cache: Лиз: кеш отклоняет запись, которой не ждал
n_api->>n_cache: R get acct:4821:plan -#62; MISS, lease 7731
Note over n_batch,n_db: Писатель, который никогда не вызывает API
n_batch->>n_db: -- billing job, 02:00 every night
Note over n_cdc,n_db: Инвалидация из журнала изменений базы
n_cdc->>n_db: change accounts lsn 0/5B10A2C8
n_db-->>n_cdc: DEL acct:4821:plan acct:4821:limits -#62; (integer) 2
Note over n_api,n_cache: Все ждут одну пересборку
n_api->>n_cache: 11:00:00.000 config:tariffs expired (read 18 000/s by every request)
Note over n_api,n_cache: Отдавай старое значение, пока один запрос его обновляет
n_api->>n_cache: GET config:tariffs (EX 3600)
n_cache-->>n_api: 11:00:00.001 past fresh_until: answer with this value now
Note over n_api,n_cache: Кешируй и «не найдено»
n_api->>n_cache: GET acct:4821:limits -#62; (nil)D2
direction: right
n_app: "Веб-приложение" {
shape: rectangle
}
n_api: "API аккаунтов" {
shape: rectangle
}
n_cache: "Кеш" {
shape: hexagon
}
n_db: "База аккаунтов" {
shape: cylinder
}
n_batch: "Биллинг-джоб" {
shape: rectangle
style.multiple: true
}
n_cdc: "CDC-воркер" {
shape: rectangle
style.multiple: true
}
n_app -> n_api: "вызов"
n_api -> n_cache: "вызов"
n_api -> n_db: "вызов"
n_batch -> n_db
n_cdc -> n_db: "асинхронно"
n_cdc -> n_cachePlantUML: последовательность запросов
@startuml
participant "Веб-приложение" as n_app
participant "API аккаунтов" as n_api
collections "Кеш" as n_cache
database "База аккаунтов" as n_db
participant "Биллинг-джоб" as n_batch
participant "CDC-воркер" as n_cdc
note over n_app, n_api : Тариф каждого аккаунта закеширован на десять минут
n_app -> n_api : GET /v1/accounts/4821/plan HTTP/1.1
n_api --> n_app : HTTP/1.1 200 OK
note over n_api, n_cache : Клиент заплатил, а кеш всё ещё говорит Free
n_api -> n_cache : 10:00:00 UPDATE accounts SET plan = 'pro' WHERE id = 4821; COMMIT
note over n_api, n_db : После commit удали ключ
n_api -> n_db : PATCH /v1/accounts/4821/plan {"plan": "pro"}
note over n_api, n_cache : Медленный читатель записывает старое значение обратно
n_api -> n_cache : [дубль] acct:4821:plan two requests, one key
note over n_api, n_cache : Удали ещё раз чуть позже
n_api -> n_cache : W COMMIT; DEL acct:4821:plan; schedule DEL in 500 ms
note over n_api, n_cache : Лиз: кеш отклоняет запись, которой не ждал
n_api -> n_cache : R get acct:4821:plan -> MISS, lease 7731
note over n_batch, n_db : Писатель, который никогда не вызывает API
n_batch -> n_db : -- billing job, 02:00 every night
note over n_cdc, n_db : Инвалидация из журнала изменений базы
n_cdc ->> n_db : change accounts lsn 0/5B10A2C8
n_db -->> n_cdc : DEL acct:4821:plan acct:4821:limits -> (integer) 2
note over n_api, n_cache : Все ждут одну пересборку
n_api -> n_cache : 11:00:00.000 config:tariffs expired (read 18 000/s by every request)
note over n_api, n_cache : Отдавай старое значение, пока один запрос его обновляет
n_api -> n_cache : GET config:tariffs (EX 3600)
n_cache --> n_api : 11:00:00.001 past fresh_until: answer with this value now
note over n_api, n_cache : Кешируй и «не найдено»
n_api -> n_cache : GET acct:4821:limits -> (nil)
@endumlPlantUML: компоненты
@startuml
left to right direction
agent "Веб-приложение" as n_app
component "API аккаунтов" as n_api
stack "Кеш" as n_cache
database "База аккаунтов" as n_db
collections "Биллинг-джоб" as n_batch
collections "CDC-воркер" as n_cdc
n_app --> n_api : вызов
n_api --> n_cache : вызов
n_api --> n_db : вызов
n_batch --> n_db
n_cdc --> n_db : асинхронно
n_cdc --> n_cache
@endumlИтог
Шесть правил инвалидации кеша.
1) TTL лишь ограничивает, как долго данные неверны; оставь его как страховку. 2) После записи удаляй ключ после commit, а не пиши новое значение. 3) Медленный читатель может вернуть старое значение после удаления: двойное удаление сужает окно, лиз или проверка версии закрывают его. 4) Инвалидируй из журнала изменений, чтобы были покрыты все писатели, и коммить смещение журнала только после удаления. 5) Горячие ключи отдавай старыми, пока один запрос их обновляет, и добавляй к TTL джиттер. 6) Кешируй «не найдено» с коротким TTL и инвалидируй его при вставке.
Показатели: в начале и в конце
| Показатель | В начале | В конце |
|---|---|---|
| Устаревшие записи в кеш | 0/день | 0/день |
| Самое долгое устаревание | 0 с | 0 с |
| Чтения из базы | 900/с | 300/с |
| Доля попаданий в кеш | 94% | 98% |
| Задержка p99 | 6 мс | 6 мс |
Шаги
- Кейс Тариф каждого аккаунта закеширован на десять минут
Каждая страница веб-приложения спрашивает у API аккаунтов, на каком тарифе аккаунт: 15 000 чтений в секунду.
- Проблема Клиент заплатил, а кеш всё ещё говорит Free
В 10:00 аккаунт 4821 переходит на Pro, и база делает commit.
- Решение После commit удали ключ
Теперь API удаляет ключ сразу после commit транзакции.
- Проблема Медленный читатель записывает старое значение обратно
Читатель R промахивается и читает строку, пока там ещё
free. - Решение Удали ещё раз чуть позже
Дешёвое решение: после первого удаления писатель планирует второе через 500 мс.
- Решение Лиз: кеш отклоняет запись, которой не ждал
С лизом промах возвращает токен.
- Проблема Писатель, который никогда не вызывает API
Каждую ночь в 02:00 биллинг-джоб понижает тариф аккаунтам, у которых закончилась оплата: 1 900 строк одним
UPDATE. - Решение Инвалидация из журнала изменений базы
CDC-воркер читает журнал изменений базы.
- Проблема Все ждут одну пересборку
Каждый запрос читает ещё и
config:tariffs, 18 000 раз в секунду. - Решение Отдавай старое значение, пока один запрос его обновляет
Теперь у значения два срока жизни.
- Решение Кешируй и «не найдено»
Каждая страница спрашивает ещё и пользовательские лимиты аккаунта, а у 96% аккаунтов их нет.
- Итоги Итог
Шесть правил инвалидации кеша.
Термины
- Инвалидация кеша
- Удаление старой копии из кеша, когда данные изменились. Ключ удаляют после коммита, и следующее чтение берёт свежее значение.
- Stale-while-revalidate
- У значения в кеше мягкий и жёсткий TTL: после мягкого старое значение отдают сразу, а один запрос обновляет его в фоне. Никто не ждёт пересборки.
- Негативное кеширование
- Кеширование ответа «не найдено» с коротким TTL, чтобы поиск несуществующей строки не ходил в базу каждый раз. При вставке строки эту запись нужно удалить.
- Лиз в кеше
- Токен, который выдаётся вместе с промахом: запись принимается только с действующим токеном, а удаление ключа его отменяет. Медленный читатель не может вернуть старое значение.
- Двойное удаление
- Удаление ключа кеша сразу после записи и ещё раз с небольшой задержкой, чтобы убрать старое значение, которое успел вернуть медленный читатель. Сужает окно, но не закрывает его.