«Сбер» разработал голосовой бот с ИИ для борьбы с мошенниками, способного анализировать аудио и видеовызовы на смартфоне пользователя, включая те, которые происходят через мессенджеры.
Патент № 2802533 в реестре Федерального института промышленной собственности
Под названием «Способ и система анализа голосовых вызовов для выявления и предотвращения социальной инженерии с использованием голосового бота» был запатентован компьютерный метод анализа аудиодиалогов, выполняемый с помощью процессора и включающий следующие этапы:
- Захват входящего аудиопотока с устройства пользователя от вызывающей стороны.
- Создание синтетического голосового аудиопотока, выступающего в роли собеседника в диалоге с вызывающей стороной.
- Преобразование входящего аудиопотока в векторную форму.
- Обработка преобразованного аудиопотока с использованием первой модели машинного обучения для обнаружения мошеннической активности.
- Транскрибирование аудиопотока и его анализ с помощью второй модели машинного обучения для анализа диалога вызывающей стороны, включая семантическую информацию и паттерны диалога, такие как выбор слов, структура фраз, паузы и длительность фраз.
- Классификация входящего аудиопотока на основе обработки первой и второй моделями машинного обучения.
- Отображение статуса классификации на дисплее устройства пользователя.
Этот технический подход повышает точность и эффективность выявления мошенничества во входящих аудиовызовах путем сочетания анализа аудиопотока и семантики диалога, как указано в патенте.
Бот может быть использован в двух режимах. В первом режиме ИИ взаимодействует с мошенниками по телефону, чтобы определить их мошеннические намерения, а затем уведомляет пользователя о прекращении атаки.
Читайте также: Маркетплейс Ozon первым в мире вводит онлайн-продажи автомобилей
Во втором режиме ИИ анализирует аудиосигнатуры на предмет определенных паттернов, таких как банковские карты и личные данные пользователя, и вмешивается в разговор, чтобы предотвратить инцидент и предупредить клиента об опасности.
