mufassall

Шпаргалка · Бизнес-процессы

Журнал аудита

14 мин · Средний · mufassall.dtwin.uz/ru/l/audit-log/

← Открыть урок

Проблема

Кто-то в бэк-офисе поменял клиенту банковский счёт, следующая выплата ушла чужому человеку, и никто не может доказать, кто это сделал. В уроке строится журнал аудита, который отвечает, кто что сделал, когда, откуда и как было до и после, и который переживает сбои, растущую таблицу и инсайдера с доступом к базе.

Чему вы научитесь

  • Что содержит событие аудита и почему оно пишется в той же транзакции, что и изменение
  • Вынос аудита в отдельное хранилище только на добавление через outbox, с помесячными партициями
  • Как хеш-цепочка и подписанные контрольные точки делают подделку заметной
  • Персональные данные в аудите, отдельная роль на чтение, хранение на WORM-хранилище и расследование по request id
Итоговая сцена

Диаграмма как код

Итоговая схема урока в виде текста: вставьте её в Jira, GitLab, GitHub, Notion или документацию, там Mermaid рисуется сам. Есть варианты для D2 и PlantUML (Confluence, IntelliJ).

Mermaid: схема

flowchart LR
  n_admin(("Сотрудник бэк-офиса"))
  n_api["API бэк-офиса"]
  n_db[("База клиентов")]
  n_relay("Ретранслятор аудита")
  n_auditdb[("Хранилище аудита")]
  n_signer>"Сервис подписи"]
  n_archive[("WORM-архив")]
  n_investigator(("Расследователь"))
  n_admin --> n_api
  n_api --> n_db
  n_db --> n_relay
  n_relay --> n_auditdb
  n_auditdb --> n_signer
  n_auditdb --> n_archive
  n_investigator --> n_auditdb

Mermaid: последовательность запросов

sequenceDiagram
  participant n_api as API бэк-офиса
  participant n_db as База клиентов
  participant n_relay as Ретранслятор аудита
  participant n_auditdb as Хранилище аудита
  actor n_insider as Инсайдер
  participant n_signer as Сервис подписи
  actor n_investigator as Расследователь
  participant n_archive as WORM-архив
  Note over n_api,n_db: Реквизиты поменялись, а кто поменял, неизвестно
  n_api->>n_db: UPDATE customers
  n_db-->>n_api: UPDATE 1
  Note over n_api,n_db: Одно событие аудита на каждое бизнес-действие
  n_api->>n_db: audit_event
  Note over n_api,n_db: Через два года таблица аудита захватила базу
  n_api->>n_db: db stats, two years later
  Note over n_api,n_db: Та же транзакция, отдельное хранилище: outbox
  n_api->>n_db: BEGIN#59;
  n_db-->>n_api: COMMIT
  Note over n_relay,n_auditdb: Только добавление, одна партиция на месяц
  n_relay->>n_auditdb: CREATE TABLE audit_events (... , at timestamptz)
  Note over n_insider,n_auditdb: Человек с правами суперпользователя удаляет строку
  n_insider->>n_auditdb: -- superuser session, 23:52
  n_auditdb-->>n_insider: DELETE 1
  Note over n_relay,n_auditdb: Каждая запись хранит хеш предыдущей
  n_relay->>n_auditdb: audit-verify partition=2026_11 (hourly)
  Note over n_auditdb,n_signer: Подписанные контрольные точки закрепляют цепочку
  n_auditdb->>n_signer: POST /v1/sign HTTP/1.1
  n_signer-->>n_auditdb: HTTP/1.1 200 OK
  Note over n_investigator,n_auditdb: В аудите персональные данные: минимизируйте и закройте чтение
  n_investigator->>n_auditdb: CREATE ROLE audit_reader#59;
  Note over n_auditdb,n_archive: Срок хранения: старые месяцы уходят на WORM-хранилище
  n_auditdb->>n_archive: export audit_events_2025_10 -#62; archive/2025/10/events.jsonl.zst
  Note over n_investigator,n_auditdb: Расследование: один request id, вся история
  n_investigator->>n_auditdb: SELECT at, actor_id, action, target, ip
  n_auditdb-->>n_investigator: 09:41:07.312 #124; u_17 #124; customer.bank_account.update #124; customer:c_1187

D2

direction: right

n_admin: "Сотрудник бэк-офиса" {
  shape: person
}
n_api: "API бэк-офиса" {
  shape: rectangle
}
n_db: "База клиентов" {
  shape: cylinder
}
n_relay: "Ретранслятор аудита" {
  shape: rectangle
  style.multiple: true
}
n_auditdb: "Хранилище аудита" {
  shape: cylinder
}
n_signer: "Сервис подписи" {
  shape: cloud
}
n_archive: "WORM-архив" {
  shape: stored_data
}
n_investigator: "Расследователь" {
  shape: person
}

n_admin -> n_api
n_api -> n_db
n_db -> n_relay
n_relay -> n_auditdb
n_auditdb -> n_signer
n_auditdb -> n_archive
n_investigator -> n_auditdb

PlantUML: последовательность запросов

@startuml
participant "API бэк-офиса" as n_api
database "База клиентов" as n_db
participant "Ретранслятор аудита" as n_relay
database "Хранилище аудита" as n_auditdb
actor "Инсайдер" as n_insider
boundary "Сервис подписи" as n_signer
actor "Расследователь" as n_investigator
database "WORM-архив" as n_archive
note over n_api, n_db : Реквизиты поменялись, а кто поменял, неизвестно
n_api -> n_db : UPDATE customers
n_db --> n_api : UPDATE 1
note over n_api, n_db : Одно событие аудита на каждое бизнес-действие
n_api -> n_db : audit_event
note over n_api, n_db : Через два года таблица аудита захватила базу
n_api -> n_db : db stats, two years later
note over n_api, n_db : Та же транзакция, отдельное хранилище: outbox
n_api -> n_db : BEGIN;
n_db --> n_api : COMMIT
note over n_relay, n_auditdb : Только добавление, одна партиция на месяц
n_relay -> n_auditdb : CREATE TABLE audit_events (... , at timestamptz)
note over n_insider, n_auditdb : Человек с правами суперпользователя удаляет строку
n_insider -> n_auditdb : -- superuser session, 23:52
n_auditdb --> n_insider : DELETE 1
note over n_relay, n_auditdb : Каждая запись хранит хеш предыдущей
n_relay -> n_auditdb : audit-verify partition=2026_11 (hourly)
note over n_auditdb, n_signer : Подписанные контрольные точки закрепляют цепочку
n_auditdb -> n_signer : POST /v1/sign HTTP/1.1
n_signer --> n_auditdb : HTTP/1.1 200 OK
note over n_investigator, n_auditdb : В аудите персональные данные: минимизируйте и закройте чтение
n_investigator -> n_auditdb : CREATE ROLE audit_reader;
note over n_auditdb, n_archive : Срок хранения: старые месяцы уходят на WORM-хранилище
n_auditdb -> n_archive : export audit_events_2025_10 -> archive/2025/10/events.jsonl.zst
note over n_investigator, n_auditdb : Расследование: один request id, вся история
n_investigator -> n_auditdb : SELECT at, actor_id, action, target, ip
n_auditdb --> n_investigator : 09:41:07.312 | u_17 | customer.bank_account.update | customer:c_1187
@enduml

PlantUML: компоненты

@startuml
left to right direction
actor "Сотрудник бэк-офиса" as n_admin
component "API бэк-офиса" as n_api
database "База клиентов" as n_db
collections "Ретранслятор аудита" as n_relay
database "Хранилище аудита" as n_auditdb
cloud "Сервис подписи" as n_signer
storage "WORM-архив" as n_archive
actor "Расследователь" as n_investigator
n_admin --> n_api
n_api --> n_db
n_db --> n_relay
n_relay --> n_auditdb
n_auditdb --> n_signer
n_auditdb --> n_archive
n_investigator --> n_auditdb
@enduml

Итог

Шесть правил журнала аудита.

1) Одно событие на бизнес-действие: кто, действие, над чем, время, до и после, request id. 2) Пишите его в той же транзакции, что и изменение, и доставляйте через outbox: потерянная запись хуже медленной. 3) Держите его в отдельном хранилище только на добавление, с помесячными партициями. 4) Сцепляйте записи хешами и регулярно подписывайте голову ключом вне базы. 5) Минимизируйте персональные данные и выделите чтению отдельную роль, которая тоже аудируется. 6) Переносите старые месяцы на хранилище с однократной записью, сверяя с контрольными точками.

Показатели: в начале и в конце

ПоказательВ началеВ конце
Изменения без автора14/день0/день
API p9545 мс58 мс
Аудит на быстрых дисках0 ГБ380 ГБ
Незамеченные подделки00

Шаги

  1. Проблема Реквизиты поменялись, а кто поменял, неизвестно

    Клиент жалуется, что выплата за месяц не пришла.

  2. Решение Одно событие аудита на каждое бизнес-действие

    Теперь каждое бизнес-действие пишет событие: кто, какое действие, над чем, когда, значение до и после, из какого запроса и из какой сети.

  3. Проблема Через два года таблица аудита захватила базу

    Каждое действие пишет строку, и ничего не удаляется.

  4. Решение Та же транзакция, отдельное хранилище: outbox

    API по-прежнему пишет событие в бизнес-транзакции, но в маленькую таблицу audit_outbox.

  5. Решение Только добавление, одна партиция на месяц

    В хранилище аудита одна таблица, разбитая на месячные партиции.

  6. Проблема Человек с правами суперпользователя удаляет строку

    Права останавливают приложения, но не суперпользователя базы.

  7. Решение Каждая запись хранит хеш предыдущей

    Каждое событие хранит prev_hash, а его собственный хеш покрывает предыдущий хеш и канонические байты события.

  8. Решение Подписанные контрольные точки закрепляют цепочку

    Аккуратный инсайдер может удалить строку и пересобрать все хеши после неё.

  9. Решение В аудите персональные данные: минимизируйте и закройте чтение

    Журнал аудита собирает, кто что сделал и с кем, значит, сам является персональными данными.

  10. Решение Срок хранения: старые месяцы уходят на WORM-хранилище

    Правила требуют хранить аудит несколько лет, но прошлогодние события на быстрых дисках никому не нужны.

  11. Кейс Расследование: один request id, вся история

    Возвращаемся к выплате.

  12. Итоги Итог

    Шесть правил журнала аудита.

Термины

Журнал аудита
Журнал бизнес-действий только на добавление: кто, что сделал, над чем, когда, откуда, до и после.
Хеш-цепочка
Каждая запись хранит хеш предыдущей, поэтому изменение или удаление одной записи ломает все последующие связи.
WORM-хранилище
«Записал один раз, читай много»: хранилище с object lock. До конца срока хранения данные никто не удалит и не перезапишет.