mufassall

Шпаргалка · Поставка

Тестирование

12 мин · Начальный · mufassall.dtwin.uz/ru/l/testing/

← Открыть урок

Проблема

Небольшой магазин выкатывает каждое изменение прямо покупателям, и баги находят покупатели. Добавляем тесты слой за слоем, смотрим, что каждый слой ловит и что пропускает, и делаем CI воротами перед деплоем.

Чему вы научитесь

  • Пирамида тестов: много быстрых unit-тестов, меньше интеграционных, несколько end-to-end
  • Почему мок базы прячет настоящие баги и как их находит настоящая база в контейнере
  • Контрактные тесты: поймать сломанный API между двумя командами до деплоя
  • Отчего тест становится flaky и как CI превращает тесты в ворота деплоя
Итоговая сцена

Диаграмма как код

Итоговая схема урока в виде текста: вставьте её в Jira, GitLab, GitHub, Notion или документацию, там Mermaid рисуется сам. Есть варианты для D2 и PlantUML (Confluence, IntelliJ).

Mermaid: схема

flowchart LR
  n_dev(("Разработчик"))
  n_shopper(("Покупатель"))
  n_orders["Сервис заказов"]
  n_pricing["Сервис цен"]
  n_db[("База")]
  n_ci("CI-раннер")
  n_testdb[("Тестовая база")]
  n_browser(["Тестовый браузер"])
  n_shopper --> n_orders
  n_orders --> n_pricing
  n_orders --> n_db
  n_dev --> n_ci
  n_ci --> n_testdb
  n_ci --> n_pricing
  n_ci --> n_browser
  n_browser --> n_orders
  n_ci --> n_orders

Mermaid: последовательность запросов

sequenceDiagram
  actor n_shopper as Покупатель
  participant n_orders as Сервис заказов
  actor n_dev as Разработчик
  participant n_ci as CI-раннер
  participant n_db as База
  participant n_testdb as Тестовая база
  participant n_pricing as Сервис цен
  participant n_browser as Тестовый браузер
  Note over n_shopper,n_orders: Тестируют покупатели
  n_shopper->>n_orders: POST /orders HTTP/1.1
  n_orders-->>n_shopper: HTTP/1.1 201 Created
  Note over n_dev,n_ci: Unit-тесты: одна функция, миллисекунды
  n_dev->>n_ci: $ test unit price
  Note over n_orders,n_db: Тесты зелёные, запрос к базе сломан
  n_orders->>n_db: INSERT INTO orders (order_no, user_id, total)
  n_db-->>n_orders: ERROR: there is no unique or exclusion constraint
  Note over n_ci,n_testdb: Интеграционные тесты с настоящей базой в контейнере
  n_ci->>n_testdb: $ test integration
  Note over n_orders,n_pricing: Другая команда переименовала поле
  n_orders->>n_pricing: GET /prices/sku_77 HTTP/1.1
  n_pricing-->>n_orders: HTTP/1.1 200 OK
  Note over n_ci,n_pricing: Контрактные тесты между сервисами
  n_ci->>n_pricing: $ contract verify --provider pricing
  Note over n_ci,n_browser: Несколько end-to-end тестов управляют настоящим браузером
  n_ci->>n_browser: $ test e2e checkout
  Note over n_ci,n_browser: Тест, который падает раз из двенадцати
  n_ci->>n_browser: $ test e2e checkout
  Note over n_browser,n_orders: Свои данные на тест, ожидание условия
  n_browser->>n_orders: POST /test/seed HTTP/1.1
  n_orders-->>n_browser: HTTP/1.1 201 Created
  Note over n_ci,n_orders: CI как ворота перед деплоем
  n_ci->>n_orders: pipeline orders@a91c2e

D2

direction: right

n_dev: "Разработчик" {
  shape: person
}
n_shopper: "Покупатель" {
  shape: person
}
n_orders: "Сервис заказов" {
  shape: rectangle
}
n_pricing: "Сервис цен" {
  shape: rectangle
}
n_db: "База" {
  shape: cylinder
}
n_ci: "CI-раннер" {
  shape: rectangle
  style.multiple: true
}
n_testdb: "Тестовая база" {
  shape: cylinder
}
n_browser: "Тестовый браузер" {
  shape: rectangle
}

n_shopper -> n_orders
n_orders -> n_pricing
n_orders -> n_db
n_dev -> n_ci
n_ci -> n_testdb
n_ci -> n_pricing
n_ci -> n_browser
n_browser -> n_orders
n_ci -> n_orders

PlantUML: последовательность запросов

@startuml
actor "Покупатель" as n_shopper
participant "Сервис заказов" as n_orders
actor "Разработчик" as n_dev
participant "CI-раннер" as n_ci
database "База" as n_db
database "Тестовая база" as n_testdb
participant "Сервис цен" as n_pricing
participant "Тестовый браузер" as n_browser
note over n_shopper, n_orders : Тестируют покупатели
n_shopper -> n_orders : POST /orders HTTP/1.1
n_orders --> n_shopper : HTTP/1.1 201 Created
note over n_dev, n_ci : Unit-тесты: одна функция, миллисекунды
n_dev -> n_ci : $ test unit price
note over n_orders, n_db : Тесты зелёные, запрос к базе сломан
n_orders -> n_db : INSERT INTO orders (order_no, user_id, total)
n_db --> n_orders : ERROR: there is no unique or exclusion constraint
note over n_ci, n_testdb : Интеграционные тесты с настоящей базой в контейнере
n_ci -> n_testdb : $ test integration
note over n_orders, n_pricing : Другая команда переименовала поле
n_orders -> n_pricing : GET /prices/sku_77 HTTP/1.1
n_pricing --> n_orders : HTTP/1.1 200 OK
note over n_ci, n_pricing : Контрактные тесты между сервисами
n_ci -> n_pricing : $ contract verify --provider pricing
note over n_ci, n_browser : Несколько end-to-end тестов управляют настоящим браузером
n_ci -> n_browser : $ test e2e checkout
note over n_ci, n_browser : Тест, который падает раз из двенадцати
n_ci -> n_browser : [повтор] $ test e2e checkout
note over n_browser, n_orders : Свои данные на тест, ожидание условия
n_browser -> n_orders : POST /test/seed HTTP/1.1
n_orders --> n_browser : HTTP/1.1 201 Created
note over n_ci, n_orders : CI как ворота перед деплоем
n_ci -> n_orders : pipeline orders@a91c2e
@enduml

PlantUML: компоненты

@startuml
left to right direction
actor "Разработчик" as n_dev
actor "Покупатель" as n_shopper
component "Сервис заказов" as n_orders
component "Сервис цен" as n_pricing
database "База" as n_db
collections "CI-раннер" as n_ci
database "Тестовая база" as n_testdb
agent "Тестовый браузер" as n_browser
n_shopper --> n_orders
n_orders --> n_pricing
n_orders --> n_db
n_dev --> n_ci
n_ci --> n_testdb
n_ci --> n_pricing
n_ci --> n_browser
n_browser --> n_orders
n_ci --> n_orders
@enduml

Итог

Каждый слой тестов ловит то, что не может поймать слой ниже.

1) Много unit-тестов на логику, за миллисекунды. 2) Интеграционные тесты с настоящей базой в контейнере, а не с моком. 3) Контрактные тесты между сервисами, проверяются в CI провайдера. 4) Несколько end-to-end тестов на главные пути. 5) Нестабильные тесты лечатся изолированными данными и ожиданием условия. 6) Всё это гоняет CI, быстрые слои первыми, и деплоятся только зелёные сборки.

Показатели: в начале и в конце

ПоказательВ началеВ конце
Баги, дошедшие до покупателей91
Время CI0 с165 с
Нестабильные прогоны0%0,5%

Шаги

  1. Проблема Тестируют покупатели

    Разработчик меняет код скидки и деплоит его прямо с ноутбука.

  2. Решение Unit-тесты: одна функция, миллисекунды

    У расчёта цены теперь есть unit-тесты: простые входные данные, ожидаемое число.

  3. Проблема Тесты зелёные, запрос к базе сломан

    Код заказов сохраняет через ON CONFLICT, чтобы повторный заказ игнорировался.

  4. Решение Интеграционные тесты с настоящей базой в контейнере

    Теперь CI поднимает настоящую базу в одноразовом контейнере, накатывает те же миграции, что и в продакшене, и гоняет код репозитория против неё.

  5. Проблема Другая команда переименовала поле

    Команда цен переименовала price в unit_amount.

  6. Решение Контрактные тесты между сервисами

    Команда заказов записывает, что ей нужно от сервиса цен: такой запрос и поле price целым числом.

  7. Решение Несколько end-to-end тестов управляют настоящим браузером

    CI запускает браузер и проходит checkout как человек: открывает корзину, жмёт Pay, ждёт подтверждения.

  8. Проблема Тест, который падает раз из двенадцати

    Checkout иногда падает и проходит при повторе.

  9. Решение Свои данные на тест, ожидание условия

    Каждый тест теперь создаёт своего пользователя и пустую корзину и потом удаляет их.

  10. Решение CI как ворота перед деплоем

    Каждый push гоняет слои по порядку: сначала unit, потом интеграционные, контрактные и end-to-end.

  11. Итоги Итоги

    Каждый слой тестов ловит то, что не может поймать слой ниже.