Анонимайзером называется функционал, который может обезличивать чувствительные / конфиденциальные / персональные данные из документа, превращая их в закодированные элементы формата [JEYABG].
Перед отправкой текста в нейросеть текст можно выполнить локальную предобработку текста на наличие чувствительных данных. Найденные данные шифруются и после этого текст можно отправлять в нейросеть.
Доступны два режима обработки:
Сквозной режим
При включенной кнопке анонимайзера весь текст очищается при отправке в GPT. В данном случае нельзя предварительно проверить, что очистилось, текст очищается и отправляется автоматически.
При данном типе очистки исходные значения и шифры сохраняются локально на сервере расположения ПО Докзилла (без отправки в сторонние системы) только для целей обратной подстановки при получении ответа от нейросети.
Предусмотрено 2 типа сквозного режима:
включаемый сквозной анонимайзер, когда пользователь сам контролирует необходимость включения анонимайзера
обязательный сквозной анонимайзер, когда анонимайзер включен администратором в настройках системы, и пользователь не может выключить анонимайзер.
Предварительная валидация
При включении кнопки весь текст очищается, можно проверить качество очистки и доочистить критичные части самостоятельно.
После работы с текстом через GPT данные исходные можно вставить назад. Если выйти из документа, а потом вернуться, то настройка “очищенности” сохранится. То есть если текст очищен, вы ушли из него и вернулись, текст будет по-прежнему очищен и кнопка анонимайзера включена.
При данном типе очистки исходные значения и шифры сохраняются в базу данных на период, пока кнопка анонимайзера включена. Когда кнопка выключается, значения вставляются назад и база очищается.
Для предварительной валидации доступны два типа возврата данных:
- локальный возврат данных - возвращает исходные данные только в ответе, который распечатался в окне
- глобальный возврат данных - возвращает данные во всем тексте.
Как пользоваться анонимайзером:
1. Пользователь выбирает текст к отправке и нажимает на тип анонимайзера, который ему доступен (сквозной или с ручной валидацией). При обязательном анонимайзере все происходит автоматически.
2. Текст проходит локальную предобработку, а соотношение шифров и исходных данных сохраняется локально.
3. Обезличенный текст уходит на обработку в нейросеть.
4. Возвращается обработанный текст ответа.
5. После того, как нейросеть закончила писать ответ, производится обратная подстановка исходных данных в зависимости от исходного режима очистки - либо автоматически, либо по инициативе пользователя.
Обратите внимание:
Анонимайзер не может обезличивать сканы, поскольку тексты сканов не редактируются
Анонимайзер не работает в режиме работы модуля проверки договоров, поскольку проверка точных дат, сумм и прочих сущностей будет невозможна ввиду обезличенности.
Ниже список данных, которые умеет шифровать анонимайзер:
- наименования организаций
- имена людей
- реквизиты
- числа, даты, суммы, проценты
- паспортные данные, СНИЛС
- кадастровые номера
- коды закупки
- телефоны, email
- адреса
- номера документов и прочие номера
- некоторые термины
Анонимайзер работает локально на сервере, никуда не отправляя данные на обработку. Если Doczilla устанавливается на сервер клиента, то вся обработка происходит на сервере клиента. Данные вовне уходят только после локальной предобработки анонимайзером.
Сейчас анонимайзер работает только с русским языком, поскольку движок обезличивания работает на локально развернутой небольшой языковой модели, хорошо работающий с русским языком, а также учитывает локальные особенности реквизитов, паспортных данных и тд.