Шпаргалка · Целые системы
Проектируем сокращатель ссылок
Проблема
На входе длинная ссылка, на выходе короткий код, а каждый клик — это редирект. Собираем сервис по шагам: оценки, короткие коды, редирект, кэш, реплики, аналитика кликов, алиасы и срок жизни.
Чему вы научитесь
- Как оценить read-heavy сервис по нескольким числам
- Почему счётчик + base62 лучше хэша от URL
- 301 или 302: чем жертвуете в каждом случае
- Где кэш, реплики и очередь снимают нагрузку с базы
Диаграмма как код
Итоговая схема урока в виде текста: вставьте её в Jira, GitLab, GitHub, Notion или документацию, там Mermaid рисуется сам. Есть варианты для D2 и PlantUML (Confluence, IntelliJ).
Mermaid: схема
flowchart LR
n_user(["Браузер"])
n_api["API ссылок"]
n_db[("База ссылок (primary)")]
n_cache{{"Кэш ссылок"}}
n_replica[("Реплика для чтения")]
n_queue[["Очередь кликов"]]
n_worker("Воркер кликов")
n_stats[("База статистики")]
n_user --> n_api
n_api --> n_db
n_user --> n_api
n_api -.-> n_user
n_api --> n_cache
n_api --> n_replica
n_db --> n_replica
n_api --> n_queue
n_queue --> n_worker
n_worker --> n_stats
n_worker --> n_dbMermaid: последовательность запросов
sequenceDiagram
participant n_user as Браузер
participant n_api as API ссылок
participant n_db as База ссылок (primary)
participant n_cache as Кэш ссылок
participant n_replica as Реплика для чтения
participant n_queue as Очередь кликов
Note over n_user,n_api: Что строим и какого размера
n_user->>n_api: POST /api/links HTTP/1.1
n_api-->>n_user: HTTP/1.1 201 Created
Note over n_api,n_db: Хэш от URL даёт коллизии
n_api->>n_db: INSERT INTO links (code, long_url)
n_db-->>n_api: ERROR: duplicate key value
Note over n_api,n_db: Счётчик + base62: коллизий не бывает по построению
n_api->>n_db: UPDATE id_blocks SET next_id = next_id + 1000
n_db-->>n_api: next_id = 125001000
Note over n_user,n_api: Редирект: 302, а не 301
n_user->>n_api: GET /8sujL HTTP/1.1
n_api-->>n_user: HTTP/1.1 302 Found
Note over n_api,n_db: Каждый клик — чтение из базы
n_api->>n_db: SELECT long_url, expires_at FROM links
n_db-->>n_api: (1 row)
Note over n_api,n_cache: Кэш перед базой
n_api->>n_cache: GET link:8sujL
n_cache-->>n_api: #34;https://shop.example.com/sale/42#34;
Note over n_db,n_replica: Промахи кэша — в реплику
n_db->>n_replica: SELECT now() - pg_last_xact_replay_timestamp()
n_replica-->>n_db: lag = 00:00:00.180
Note over n_api,n_db: Считаем клики в таблице ссылок
n_api->>n_db: UPDATE links SET clicks = clicks + 1
n_db-->>n_api: UPDATE 1
Note over n_api,n_queue: Клики — в очередь, считает воркер
n_api->>n_queue: PRODUCE clicks key=8sujL partition=7
n_queue-->>n_api: ack offset=88341201
Note over n_api,n_db: Свои алиасы: одно пространство имён, два источника
n_api->>n_db: INSERT INTO links (code, long_url, expires_at)
n_db-->>n_api: (0 rows)
Note over n_api,n_cache: Ссылки со сроком жизни
n_api->>n_cache: SET link:spring-sale https://shop.example.com/s EX 3600
n_cache-->>n_api: OKD2
direction: right
n_user: "Браузер" {
shape: rectangle
}
n_api: "API ссылок" {
shape: rectangle
}
n_db: "База ссылок (primary)" {
shape: cylinder
}
n_cache: "Кэш ссылок" {
shape: hexagon
}
n_replica: "Реплика для чтения" {
shape: cylinder
}
n_queue: "Очередь кликов" {
shape: queue
}
n_worker: "Воркер кликов" {
shape: rectangle
style.multiple: true
}
n_stats: "База статистики" {
shape: cylinder
}
n_user -> n_api
n_api -> n_db
n_user -> n_api
n_api -> n_user {
style.stroke-dash: 3
}
n_api -> n_cache
n_api -> n_replica
n_db -> n_replica
n_api -> n_queue
n_queue -> n_worker
n_worker -> n_stats
n_worker -> n_dbPlantUML: последовательность запросов
@startuml
participant "Браузер" as n_user
participant "API ссылок" as n_api
database "База ссылок (primary)" as n_db
collections "Кэш ссылок" as n_cache
database "Реплика для чтения" as n_replica
queue "Очередь кликов" as n_queue
note over n_user, n_api : Что строим и какого размера
n_user -> n_api : POST /api/links HTTP/1.1
n_api --> n_user : HTTP/1.1 201 Created
note over n_api, n_db : Хэш от URL даёт коллизии
n_api -> n_db : INSERT INTO links (code, long_url)
n_db --> n_api : ERROR: duplicate key value
note over n_api, n_db : Счётчик + base62: коллизий не бывает по построению
n_api -> n_db : UPDATE id_blocks SET next_id = next_id + 1000
n_db --> n_api : next_id = 125001000
note over n_user, n_api : Редирект: 302, а не 301
n_user -> n_api : GET /8sujL HTTP/1.1
n_api --> n_user : HTTP/1.1 302 Found
note over n_api, n_db : Каждый клик — чтение из базы
n_api -> n_db : SELECT long_url, expires_at FROM links
n_db --> n_api : (1 row)
note over n_api, n_cache : Кэш перед базой
n_api -> n_cache : GET link:8sujL
n_cache --> n_api : "https://shop.example.com/sale/42"
note over n_db, n_replica : Промахи кэша — в реплику
n_db -> n_replica : SELECT now() - pg_last_xact_replay_timestamp()
n_replica --> n_db : lag = 00:00:00.180
note over n_api, n_db : Считаем клики в таблице ссылок
n_api -> n_db : UPDATE links SET clicks = clicks + 1
n_db --> n_api : UPDATE 1
note over n_api, n_queue : Клики — в очередь, считает воркер
n_api -> n_queue : PRODUCE clicks key=8sujL partition=7
n_queue --> n_api : ack offset=88341201
note over n_api, n_db : Свои алиасы: одно пространство имён, два источника
n_api -> n_db : INSERT INTO links (code, long_url, expires_at)
n_db --> n_api : (0 rows)
note over n_api, n_cache : Ссылки со сроком жизни
n_api -> n_cache : SET link:spring-sale https://shop.example.com/s EX 3600
n_cache --> n_api : OK
@endumlPlantUML: компоненты
@startuml
left to right direction
agent "Браузер" as n_user
component "API ссылок" as n_api
database "База ссылок (primary)" as n_db
stack "Кэш ссылок" as n_cache
database "Реплика для чтения" as n_replica
queue "Очередь кликов" as n_queue
collections "Воркер кликов" as n_worker
database "База статистики" as n_stats
n_user --> n_api
n_api --> n_db
n_user --> n_api
n_api ..> n_user
n_api --> n_cache
n_api --> n_replica
n_db --> n_replica
n_api --> n_queue
n_queue --> n_worker
n_worker --> n_stats
n_worker --> n_db
@endumlИтог
Путь редиректа и есть продукт: делайте его коротким и держите primary в стороне.
1) Сначала оценка: 40 записей/с, 4 000 чтений/с, 3 ТБ. 2) Счётчик блоками + base62 даёт уникальные коды без повторов. 3) 302 оставляет каждый клик видимым. 4) Кэш для горячих ссылок, реплики для промахов, очередь для подсчёта кликов. 5) Алиасы делят таблицу, но не форму кода; срок жизни ограничивает TTL кэша.
Показатели: в начале и в конце
| Показатель | В начале | В конце |
|---|---|---|
| Редирект p99 | 30 мс | 12 мс |
| Чтения с primary | 300/с | 20/с |
| Коллизии кодов | 0/день | 0/день |
Шаги
- Кейс Что строим и какого размера
Два вызова:
POST /api/linksпревращает длинный URL в короткий код,GET /<code>перенаправляет на него. - Проблема Хэш от URL даёт коллизии
Первая идея: взять MD5 от длинного URL, закодировать в base62 и оставить первые 7 символов.
- Решение Счётчик + base62: коллизий не бывает по построению
Каждой ссылке — уникальное число, закодированное в base62: 125000417 превращается в
8sujL. - Кейс Редирект: 302, а не 301
Клик приходит как
GET /8sujL. - Проблема Каждый клик — чтение из базы
Трафик достигает 4 000 редиректов/с из оценки.
- Решение Кэш перед базой
API сначала спрашивает в кэше
link:<code>. - Решение Промахи кэша — в реплику
Оставшиеся промахи уходят в реплику для чтения, которая получает поток изменений с primary.
- Проблема Считаем клики в таблице ссылок
Маркетингу нужно число кликов.
- Решение Клики — в очередь, считает воркер
Теперь редирект только публикует маленькое событие и отвечает.
- Кейс Свои алиасы: одно пространство имён, два источника
Пользователи хотят читаемые ссылки вроде
/spring-sale. - Решение Ссылки со сроком жизни
У ссылки может быть
expires_at. - Итоги Итоги
Путь редиректа и есть продукт: делайте его коротким и держите primary в стороне.
Термины
- Base62-код
- Каждой ссылке дают уникальный номер и кодируют его в короткую строку из букв и цифр. Разные номера всегда дают разные коды, поэтому коллизий, как у хеша, не бывает.