mufassall

Шпаргалка · Целые системы

Проектируем сокращатель ссылок

13 мин · Средний · mufassall.dtwin.uz/ru/l/design-url-shortener/

← Открыть урок

Проблема

На входе длинная ссылка, на выходе короткий код, а каждый клик — это редирект. Собираем сервис по шагам: оценки, короткие коды, редирект, кэш, реплики, аналитика кликов, алиасы и срок жизни.

Чему вы научитесь

  • Как оценить read-heavy сервис по нескольким числам
  • Почему счётчик + base62 лучше хэша от URL
  • 301 или 302: чем жертвуете в каждом случае
  • Где кэш, реплики и очередь снимают нагрузку с базы
Итоговая сцена
45%35%15%30%20%40%20%

Диаграмма как код

Итоговая схема урока в виде текста: вставьте её в Jira, GitLab, GitHub, Notion или документацию, там Mermaid рисуется сам. Есть варианты для D2 и PlantUML (Confluence, IntelliJ).

Mermaid: схема

flowchart LR
  n_user(["Браузер"])
  n_api["API ссылок"]
  n_db[("База ссылок (primary)")]
  n_cache{{"Кэш ссылок"}}
  n_replica[("Реплика для чтения")]
  n_queue[["Очередь кликов"]]
  n_worker("Воркер кликов")
  n_stats[("База статистики")]
  n_user --> n_api
  n_api --> n_db
  n_user --> n_api
  n_api -.-> n_user
  n_api --> n_cache
  n_api --> n_replica
  n_db --> n_replica
  n_api --> n_queue
  n_queue --> n_worker
  n_worker --> n_stats
  n_worker --> n_db

Mermaid: последовательность запросов

sequenceDiagram
  participant n_user as Браузер
  participant n_api as API ссылок
  participant n_db as База ссылок (primary)
  participant n_cache as Кэш ссылок
  participant n_replica as Реплика для чтения
  participant n_queue as Очередь кликов
  Note over n_user,n_api: Что строим и какого размера
  n_user->>n_api: POST /api/links HTTP/1.1
  n_api-->>n_user: HTTP/1.1 201 Created
  Note over n_api,n_db: Хэш от URL даёт коллизии
  n_api->>n_db: INSERT INTO links (code, long_url)
  n_db-->>n_api: ERROR: duplicate key value
  Note over n_api,n_db: Счётчик + base62: коллизий не бывает по построению
  n_api->>n_db: UPDATE id_blocks SET next_id = next_id + 1000
  n_db-->>n_api: next_id = 125001000
  Note over n_user,n_api: Редирект: 302, а не 301
  n_user->>n_api: GET /8sujL HTTP/1.1
  n_api-->>n_user: HTTP/1.1 302 Found
  Note over n_api,n_db: Каждый клик — чтение из базы
  n_api->>n_db: SELECT long_url, expires_at FROM links
  n_db-->>n_api: (1 row)
  Note over n_api,n_cache: Кэш перед базой
  n_api->>n_cache: GET link:8sujL
  n_cache-->>n_api: #34;https://shop.example.com/sale/42#34;
  Note over n_db,n_replica: Промахи кэша — в реплику
  n_db->>n_replica: SELECT now() - pg_last_xact_replay_timestamp()
  n_replica-->>n_db: lag = 00:00:00.180
  Note over n_api,n_db: Считаем клики в таблице ссылок
  n_api->>n_db: UPDATE links SET clicks = clicks + 1
  n_db-->>n_api: UPDATE 1
  Note over n_api,n_queue: Клики — в очередь, считает воркер
  n_api->>n_queue: PRODUCE clicks key=8sujL partition=7
  n_queue-->>n_api: ack offset=88341201
  Note over n_api,n_db: Свои алиасы: одно пространство имён, два источника
  n_api->>n_db: INSERT INTO links (code, long_url, expires_at)
  n_db-->>n_api: (0 rows)
  Note over n_api,n_cache: Ссылки со сроком жизни
  n_api->>n_cache: SET link:spring-sale https://shop.example.com/s EX 3600
  n_cache-->>n_api: OK

D2

direction: right

n_user: "Браузер" {
  shape: rectangle
}
n_api: "API ссылок" {
  shape: rectangle
}
n_db: "База ссылок (primary)" {
  shape: cylinder
}
n_cache: "Кэш ссылок" {
  shape: hexagon
}
n_replica: "Реплика для чтения" {
  shape: cylinder
}
n_queue: "Очередь кликов" {
  shape: queue
}
n_worker: "Воркер кликов" {
  shape: rectangle
  style.multiple: true
}
n_stats: "База статистики" {
  shape: cylinder
}

n_user -> n_api
n_api -> n_db
n_user -> n_api
n_api -> n_user {
  style.stroke-dash: 3
}
n_api -> n_cache
n_api -> n_replica
n_db -> n_replica
n_api -> n_queue
n_queue -> n_worker
n_worker -> n_stats
n_worker -> n_db

PlantUML: последовательность запросов

@startuml
participant "Браузер" as n_user
participant "API ссылок" as n_api
database "База ссылок (primary)" as n_db
collections "Кэш ссылок" as n_cache
database "Реплика для чтения" as n_replica
queue "Очередь кликов" as n_queue
note over n_user, n_api : Что строим и какого размера
n_user -> n_api : POST /api/links HTTP/1.1
n_api --> n_user : HTTP/1.1 201 Created
note over n_api, n_db : Хэш от URL даёт коллизии
n_api -> n_db : INSERT INTO links (code, long_url)
n_db --> n_api : ERROR: duplicate key value
note over n_api, n_db : Счётчик + base62: коллизий не бывает по построению
n_api -> n_db : UPDATE id_blocks SET next_id = next_id + 1000
n_db --> n_api : next_id = 125001000
note over n_user, n_api : Редирект: 302, а не 301
n_user -> n_api : GET /8sujL HTTP/1.1
n_api --> n_user : HTTP/1.1 302 Found
note over n_api, n_db : Каждый клик — чтение из базы
n_api -> n_db : SELECT long_url, expires_at FROM links
n_db --> n_api : (1 row)
note over n_api, n_cache : Кэш перед базой
n_api -> n_cache : GET link:8sujL
n_cache --> n_api : "https://shop.example.com/sale/42"
note over n_db, n_replica : Промахи кэша — в реплику
n_db -> n_replica : SELECT now() - pg_last_xact_replay_timestamp()
n_replica --> n_db : lag = 00:00:00.180
note over n_api, n_db : Считаем клики в таблице ссылок
n_api -> n_db : UPDATE links SET clicks = clicks + 1
n_db --> n_api : UPDATE 1
note over n_api, n_queue : Клики — в очередь, считает воркер
n_api -> n_queue : PRODUCE clicks key=8sujL partition=7
n_queue --> n_api : ack offset=88341201
note over n_api, n_db : Свои алиасы: одно пространство имён, два источника
n_api -> n_db : INSERT INTO links (code, long_url, expires_at)
n_db --> n_api : (0 rows)
note over n_api, n_cache : Ссылки со сроком жизни
n_api -> n_cache : SET link:spring-sale https://shop.example.com/s EX 3600
n_cache --> n_api : OK
@enduml

PlantUML: компоненты

@startuml
left to right direction
agent "Браузер" as n_user
component "API ссылок" as n_api
database "База ссылок (primary)" as n_db
stack "Кэш ссылок" as n_cache
database "Реплика для чтения" as n_replica
queue "Очередь кликов" as n_queue
collections "Воркер кликов" as n_worker
database "База статистики" as n_stats
n_user --> n_api
n_api --> n_db
n_user --> n_api
n_api ..> n_user
n_api --> n_cache
n_api --> n_replica
n_db --> n_replica
n_api --> n_queue
n_queue --> n_worker
n_worker --> n_stats
n_worker --> n_db
@enduml

Итог

Путь редиректа и есть продукт: делайте его коротким и держите primary в стороне.

1) Сначала оценка: 40 записей/с, 4 000 чтений/с, 3 ТБ. 2) Счётчик блоками + base62 даёт уникальные коды без повторов. 3) 302 оставляет каждый клик видимым. 4) Кэш для горячих ссылок, реплики для промахов, очередь для подсчёта кликов. 5) Алиасы делят таблицу, но не форму кода; срок жизни ограничивает TTL кэша.

Показатели: в начале и в конце

ПоказательВ началеВ конце
Редирект p9930 мс12 мс
Чтения с primary300/с20/с
Коллизии кодов0/день0/день

Шаги

  1. Кейс Что строим и какого размера

    Два вызова: POST /api/links превращает длинный URL в короткий код, GET /<code> перенаправляет на него.

  2. Проблема Хэш от URL даёт коллизии

    Первая идея: взять MD5 от длинного URL, закодировать в base62 и оставить первые 7 символов.

  3. Решение Счётчик + base62: коллизий не бывает по построению

    Каждой ссылке — уникальное число, закодированное в base62: 125000417 превращается в 8sujL.

  4. Кейс Редирект: 302, а не 301

    Клик приходит как GET /8sujL.

  5. Проблема Каждый клик — чтение из базы

    Трафик достигает 4 000 редиректов/с из оценки.

  6. Решение Кэш перед базой

    API сначала спрашивает в кэше link:<code>.

  7. Решение Промахи кэша — в реплику

    Оставшиеся промахи уходят в реплику для чтения, которая получает поток изменений с primary.

  8. Проблема Считаем клики в таблице ссылок

    Маркетингу нужно число кликов.

  9. Решение Клики — в очередь, считает воркер

    Теперь редирект только публикует маленькое событие и отвечает.

  10. Кейс Свои алиасы: одно пространство имён, два источника

    Пользователи хотят читаемые ссылки вроде /spring-sale.

  11. Решение Ссылки со сроком жизни

    У ссылки может быть expires_at.

  12. Итоги Итоги

    Путь редиректа и есть продукт: делайте его коротким и держите primary в стороне.

Термины

Base62-код
Каждой ссылке дают уникальный номер и кодируют его в короткую строку из букв и цифр. Разные номера всегда дают разные коды, поэтому коллизий, как у хеша, не бывает.