Шпаргалка · Поставка
Тестирование
Проблема
Небольшой магазин выкатывает каждое изменение прямо покупателям, и баги находят покупатели. Добавляем тесты слой за слоем, смотрим, что каждый слой ловит и что пропускает, и делаем CI воротами перед деплоем.
Чему вы научитесь
- Пирамида тестов: много быстрых unit-тестов, меньше интеграционных, несколько end-to-end
- Почему мок базы прячет настоящие баги и как их находит настоящая база в контейнере
- Контрактные тесты: поймать сломанный API между двумя командами до деплоя
- Отчего тест становится flaky и как CI превращает тесты в ворота деплоя
Диаграмма как код
Итоговая схема урока в виде текста: вставьте её в Jira, GitLab, GitHub, Notion или документацию, там Mermaid рисуется сам. Есть варианты для D2 и PlantUML (Confluence, IntelliJ).
Mermaid: схема
flowchart LR
n_dev(("Разработчик"))
n_shopper(("Покупатель"))
n_orders["Сервис заказов"]
n_pricing["Сервис цен"]
n_db[("База")]
n_ci("CI-раннер")
n_testdb[("Тестовая база")]
n_browser(["Тестовый браузер"])
n_shopper --> n_orders
n_orders --> n_pricing
n_orders --> n_db
n_dev --> n_ci
n_ci --> n_testdb
n_ci --> n_pricing
n_ci --> n_browser
n_browser --> n_orders
n_ci --> n_ordersMermaid: последовательность запросов
sequenceDiagram
actor n_shopper as Покупатель
participant n_orders as Сервис заказов
actor n_dev as Разработчик
participant n_ci as CI-раннер
participant n_db as База
participant n_testdb as Тестовая база
participant n_pricing as Сервис цен
participant n_browser as Тестовый браузер
Note over n_shopper,n_orders: Тестируют покупатели
n_shopper->>n_orders: POST /orders HTTP/1.1
n_orders-->>n_shopper: HTTP/1.1 201 Created
Note over n_dev,n_ci: Unit-тесты: одна функция, миллисекунды
n_dev->>n_ci: $ test unit price
Note over n_orders,n_db: Тесты зелёные, запрос к базе сломан
n_orders->>n_db: INSERT INTO orders (order_no, user_id, total)
n_db-->>n_orders: ERROR: there is no unique or exclusion constraint
Note over n_ci,n_testdb: Интеграционные тесты с настоящей базой в контейнере
n_ci->>n_testdb: $ test integration
Note over n_orders,n_pricing: Другая команда переименовала поле
n_orders->>n_pricing: GET /prices/sku_77 HTTP/1.1
n_pricing-->>n_orders: HTTP/1.1 200 OK
Note over n_ci,n_pricing: Контрактные тесты между сервисами
n_ci->>n_pricing: $ contract verify --provider pricing
Note over n_ci,n_browser: Несколько end-to-end тестов управляют настоящим браузером
n_ci->>n_browser: $ test e2e checkout
Note over n_ci,n_browser: Тест, который падает раз из двенадцати
n_ci->>n_browser: $ test e2e checkout
Note over n_browser,n_orders: Свои данные на тест, ожидание условия
n_browser->>n_orders: POST /test/seed HTTP/1.1
n_orders-->>n_browser: HTTP/1.1 201 Created
Note over n_ci,n_orders: CI как ворота перед деплоем
n_ci->>n_orders: pipeline orders@a91c2eD2
direction: right
n_dev: "Разработчик" {
shape: person
}
n_shopper: "Покупатель" {
shape: person
}
n_orders: "Сервис заказов" {
shape: rectangle
}
n_pricing: "Сервис цен" {
shape: rectangle
}
n_db: "База" {
shape: cylinder
}
n_ci: "CI-раннер" {
shape: rectangle
style.multiple: true
}
n_testdb: "Тестовая база" {
shape: cylinder
}
n_browser: "Тестовый браузер" {
shape: rectangle
}
n_shopper -> n_orders
n_orders -> n_pricing
n_orders -> n_db
n_dev -> n_ci
n_ci -> n_testdb
n_ci -> n_pricing
n_ci -> n_browser
n_browser -> n_orders
n_ci -> n_ordersPlantUML: последовательность запросов
@startuml
actor "Покупатель" as n_shopper
participant "Сервис заказов" as n_orders
actor "Разработчик" as n_dev
participant "CI-раннер" as n_ci
database "База" as n_db
database "Тестовая база" as n_testdb
participant "Сервис цен" as n_pricing
participant "Тестовый браузер" as n_browser
note over n_shopper, n_orders : Тестируют покупатели
n_shopper -> n_orders : POST /orders HTTP/1.1
n_orders --> n_shopper : HTTP/1.1 201 Created
note over n_dev, n_ci : Unit-тесты: одна функция, миллисекунды
n_dev -> n_ci : $ test unit price
note over n_orders, n_db : Тесты зелёные, запрос к базе сломан
n_orders -> n_db : INSERT INTO orders (order_no, user_id, total)
n_db --> n_orders : ERROR: there is no unique or exclusion constraint
note over n_ci, n_testdb : Интеграционные тесты с настоящей базой в контейнере
n_ci -> n_testdb : $ test integration
note over n_orders, n_pricing : Другая команда переименовала поле
n_orders -> n_pricing : GET /prices/sku_77 HTTP/1.1
n_pricing --> n_orders : HTTP/1.1 200 OK
note over n_ci, n_pricing : Контрактные тесты между сервисами
n_ci -> n_pricing : $ contract verify --provider pricing
note over n_ci, n_browser : Несколько end-to-end тестов управляют настоящим браузером
n_ci -> n_browser : $ test e2e checkout
note over n_ci, n_browser : Тест, который падает раз из двенадцати
n_ci -> n_browser : [повтор] $ test e2e checkout
note over n_browser, n_orders : Свои данные на тест, ожидание условия
n_browser -> n_orders : POST /test/seed HTTP/1.1
n_orders --> n_browser : HTTP/1.1 201 Created
note over n_ci, n_orders : CI как ворота перед деплоем
n_ci -> n_orders : pipeline orders@a91c2e
@endumlPlantUML: компоненты
@startuml
left to right direction
actor "Разработчик" as n_dev
actor "Покупатель" as n_shopper
component "Сервис заказов" as n_orders
component "Сервис цен" as n_pricing
database "База" as n_db
collections "CI-раннер" as n_ci
database "Тестовая база" as n_testdb
agent "Тестовый браузер" as n_browser
n_shopper --> n_orders
n_orders --> n_pricing
n_orders --> n_db
n_dev --> n_ci
n_ci --> n_testdb
n_ci --> n_pricing
n_ci --> n_browser
n_browser --> n_orders
n_ci --> n_orders
@endumlИтог
Каждый слой тестов ловит то, что не может поймать слой ниже.
1) Много unit-тестов на логику, за миллисекунды. 2) Интеграционные тесты с настоящей базой в контейнере, а не с моком. 3) Контрактные тесты между сервисами, проверяются в CI провайдера. 4) Несколько end-to-end тестов на главные пути. 5) Нестабильные тесты лечатся изолированными данными и ожиданием условия. 6) Всё это гоняет CI, быстрые слои первыми, и деплоятся только зелёные сборки.
Показатели: в начале и в конце
| Показатель | В начале | В конце |
|---|---|---|
| Баги, дошедшие до покупателей | 9 | 1 |
| Время CI | 0 с | 165 с |
| Нестабильные прогоны | 0% | 0,5% |
Шаги
- Проблема Тестируют покупатели
Разработчик меняет код скидки и деплоит его прямо с ноутбука.
- Решение Unit-тесты: одна функция, миллисекунды
У расчёта цены теперь есть unit-тесты: простые входные данные, ожидаемое число.
- Проблема Тесты зелёные, запрос к базе сломан
Код заказов сохраняет через
ON CONFLICT, чтобы повторный заказ игнорировался. - Решение Интеграционные тесты с настоящей базой в контейнере
Теперь CI поднимает настоящую базу в одноразовом контейнере, накатывает те же миграции, что и в продакшене, и гоняет код репозитория против неё.
- Проблема Другая команда переименовала поле
Команда цен переименовала
priceвunit_amount. - Решение Контрактные тесты между сервисами
Команда заказов записывает, что ей нужно от сервиса цен: такой запрос и поле
priceцелым числом. - Решение Несколько end-to-end тестов управляют настоящим браузером
CI запускает браузер и проходит checkout как человек: открывает корзину, жмёт Pay, ждёт подтверждения.
- Проблема Тест, который падает раз из двенадцати
Checkout иногда падает и проходит при повторе.
- Решение Свои данные на тест, ожидание условия
Каждый тест теперь создаёт своего пользователя и пустую корзину и потом удаляет их.
- Решение CI как ворота перед деплоем
Каждый push гоняет слои по порядку: сначала unit, потом интеграционные, контрактные и end-to-end.
- Итоги Итоги
Каждый слой тестов ловит то, что не может поймать слой ниже.