Диаризация спикеров: технологии определения кто что сказал в аудиозаписях

Диаризация спикеров — это процесс сегментации аудиопотока и кластеризации полученных сегментов по идентичности говорящего, отвечающий на вопрос «кто что сказал и когда?». Технология позволяет автоматически атрибутировать реплики конкретным участникам беседы, трансформируя непрерывную аудиозапись в структурированный лог диалога. Применяется для анализа звонков в контакт-центрах, протоколирования совещаний и индексации медиаконтента.

Основными вызовами при внедрении диаризации являются наличие фоновых шумов, перекрытие речи несколькими участниками и переменное качество записи. Решение этих задач требует использования продвинутых алгоритмов обработки сигналов и моделей машинного обучения для надежного выделения акустических признаков, таких как мел-частотные кепстральные коэффициенты (MFCC) и i-векторы.

Результатом работы системы диаризации спикеров является временная разметка аудиозаписи, где каждому сегменту присвоен уникальный идентификатор спикера. Эта информация критически важна для последующей обработки данных: она обеспечивает контекст для систем автоматического распознавания речи (ASR) и повышает точность дальнейшего анализа, например, извлечения сущностей или анализа тональности.

Цель и основы технологии

Диаризация спикеров представляет собой технологический процесс автоматического определения того, кто, что и когда говорил в аудиозаписи. Она сегментирует непрерывный аудиопоток на речевые участки, а затем группирует эти участки по идентичности говорящего. Конечным результатом является временная метка для каждого речевого сегмента, которому присвоен уникальный идентификатор спикера (например, "Спикер_1", "Спикер_2" и так далее).

Основная цель диаризации спикеров заключается в преобразовании неструктурированных аудиоданных в упорядоченную, контекстуализированную информацию. Это позволяет системам и аналитикам точно понимать динамику диалога, приписывать реплики конкретным участникам и, в конечном итоге, извлекать более глубокие ценные сведения.

Основы технологии диаризации: Ключевые принципы

В основе технологии диаризации спикеров лежит способность систем анализировать и различать уникальные акустические характеристики голосов. Каждому человеку присущи индивидуальные особенности тембра, интонации, ритма речи, которые система "учится" идентифицировать как принадлежащие одному и тому же спикеру.

Процесс диаризации обычно включает несколько последовательных этапов, каждый из которых играет свою роль в преобразовании аудиосигнала в структурированную информацию о спикерах.

Основные концептуальные компоненты систем диаризации спикеров представлены в таблице:

Важно отметить, что диаризация спикеров не является системой распознавания конкретных личностей по голосу. Она присваивает анонимные метки (например, "Спикер_A", "Спикер_Б"), не идентифицируя имя или персональные данные человека. Для идентификации личности по голосу требуется дополнительная технология – верификация или идентификация спикера, которая сопоставляет анонимный голос с базой данных известных голосовых профилей.

Таким образом, основы технологии диаризации закладывают фундамент для создания структурированного представления аудиоданных, что позволяет компаниям извлекать ценную информацию и автоматизировать процессы, связанные с анализом речевого взаимодействия.

Основные этапы диаризации: От аудиосигнала до разделения голосов

Процесс диаризации спикеров представляет собой многоступенчатый алгоритм, который преобразует необработанную аудиозапись в структурированный лог диалога с привязкой реплик к конкретным участникам. Каждый этап имеет решающее значение для обеспечения точности и надежности конечного результата, поскольку ошибки на одной стадии могут накопительно повлиять на последующие.

Эффективная диаризация спикеров требует последовательного выполнения следующих ключевых шагов, каждый из которых добавляет уровень обработки и анализа к исходному аудиосигналу:

Предварительная обработка аудиоданных: Подготовка к анализу

Начальный этап диаризации спикеров сосредоточен на подготовке исходного аудиосигнала для дальнейшего анализа. Предварительная обработка данных критически важна для минимизации воздействия факторов, снижающих качество записи, и повышения точности последующих алгоритмов. Она включает в себя нормализацию уровня громкости, удаление постоянной составляющей и применение фильтров для подавления фоновых шумов и эха.

Нормализация аудиосигнала обеспечивает приведение громкости всех участков записи к единообразному уровню, что важно для стабильной работы алгоритмов извлечения акустических признаков. Подавление шумов и акустического эха, особенно актуально для записей из контакт-центров или переговорных комнат, улучшает отношение сигнал/шум, позволяя системе более четко выделять речевые фрагменты и акустические характеристики голоса. Качественная предварительная обработка напрямую влияет на снижение коэффициента ошибки диаризации (DER) и повышает экономическую эффективность за счет уменьшения потребности в ручной доработке.

Детекция речевой активности (Voice Activity Detection, VAD): Отделение речи от шума

Детекция речевой активности (VAD) является основополагающим этапом, на котором аудиопоток сегментируется на участки, содержащие человеческую речь, и участки с неречевыми звуками (тишина, шум, музыка). Точное определение границ речи позволяет сосредоточить вычислительные ресурсы на анализе только соответствующих сегментов, игнорируя фоновые шумы, которые могут искажать результаты кластеризации.

Алгоритмы VAD анализируют такие параметры, как энергия сигнала, частотный спектр и нулевые пересечения, чтобы отличить речь от других звуков. Современные решения VAD часто используют модели на основе глубокого обучения, способные эффективно работать даже в условиях переменчивого акустического фона и низкого отношения сигнал/шум. Эффективная детекция речевой активности минимизирует объем данных для последующей обработки и предотвращает ошибочное приписывание шумов или музыки к голосу спикера, что критично для повышения общей точности диаризации спикеров.

Извлечение акустических признаков: Кодирование уникальности голоса

После детектирования речевых сегментов следующим этапом является извлечение акустических признаков. На этой стадии каждый короткий речевой сегмент (обычно от 10 до 30 мс) преобразуется в набор числовых векторов, которые количественно описывают уникальные характеристики голоса спикера. Эти признаки, такие как мел-частотные кепстральные коэффициенты (MFCC), i-векторы и x-векторы, являются компактным и эффективным представлением тембра, интонации и прочих индивидуальных особенностей голоса.

Цель извлечения акустических признаков — создать "отпечаток" голоса, который будет максимально различаться между разными спикерами и оставаться стабильным для одного и того же спикера, несмотря на изменения в интонации, громкости или скорости речи. Качество извлеченных признаков напрямую определяет способность системы диаризации спикеров различать голоса, даже если они акустически схожи. Этот этап является краеугольным для дальнейшей кластеризации и корректного присвоения идентификаторов спикерам.

Сегментация и кластеризация: Группировка голосов

После извлечения акустических признаков происходит два взаимосвязанных процесса: дальнейшая сегментация и кластеризация. Исходные речевые сегменты, выделенные VAD, могут содержать речь нескольких спикеров или резкие изменения голоса одного спикера. Поэтому производится более тонкая сегментация на короткие, акустически однородные участки. Затем эти участки, представленные своими акустическими векторами, подаются на вход алгоритма кластеризации.

Кластеризация — это процесс группировки похожих акустических векторов. Каждый образовавшийся кластер представляет голос одного уникального спикера. Популярные алгоритмы кластеризации включают иерархическую агломеративную кластеризацию (Hierarchical Agglomerative Clustering, HAC), K-Means или методы на основе спектральной кластеризации. Результатом этого этапа является набор кластеров, каждый из которых ассоциирован с анонимным идентификатором спикера (например, "Спикер_A", "Спикер_Б"), и временные метки, указывающие, какой спикер говорил в какой момент времени. Это создает первичное структурирование диалога, выделяя участников разговора.

Повторное обнаружение спикера (Speaker Re-Identification): Учет длительных диалогов

В продолжительных аудиозаписях спикеры могут делать паузы, прерываться другими участниками или временно отсутствовать, а затем снова вступать в диалог. Задача повторного обнаружения спикера состоит в том, чтобы корректно связать новые речевые сегменты с уже идентифицированными спикерами, а не создавать для них новые анонимные идентификаторы. Это обеспечивает целостность и последовательность диаризации на протяжении всей записи.

Механизмы повторного обнаружения спикера используют уже построенные профили голосов (кластеры) и сравнивают с ними акустические признаки новых речевых сегментов. Если новый сегмент достаточно похож на один из существующих профилей, он присваивается этому спикеру. Это критически важно для создания читаемых стенограмм и точной аналитики, так как позволяет отслеживать вклад каждого участника в дискуссию, независимо от длительности беседы. Без этого этапа в логах могли бы появляться дублирующие идентификаторы для одного и того же человека.

Пост-обработка и уточнение: Финальная разметка

Завершающий этап диаризации спикеров включает пост-обработку и уточнение результатов. На этом этапе применяются различные эвристики и алгоритмы для сглаживания временных границ сегментов, разрешения коротких перекрытий речи, коррекции мелких ошибок кластеризации и устранения артефактов, таких как очень короткие сегменты, ошибочно отнесенные к другому спикеру.

Примеры задач пост-обработки:

• Слияние коротких сегментов: Объединение коротких речевых сегментов одного спикера, разделенных очень короткими паузами, для создания более естественных и непрерывных реплик.
• Разрешение перекрытий: Идентификация и разграничение сегментов, где два или более спикера говорят одновременно. Некоторые продвинутые системы могут пытаться разделить речь, приписывая каждому спикеру свою часть перекрытия.
• Фильтрация шумов и неречевых артефактов: Окончательное удаление любых неречевых звуков, которые могли быть ошибочно классифицированы как речь.

Результатом пост-обработки является финальная, максимально точная временная разметка аудиозаписи, где каждому речевому сегменту присвоен уникальный идентификатор спикера. Эти данные готовы для дальнейшего использования системами автоматического распознавания речи (ASR) или аналитическими платформами, обеспечивая высокую степень структурированности и удобства для интерпретации.

Сводная таблица этапов диаризации спикеров

Для наглядности и понимания роли каждого компонента в процессе диаризации спикеров, ниже представлена таблица с описанием основных этапов и их ключевой бизнес-ценности:

Акустические признаки и модели голоса: Как системы распознают спикеров (MFCC, i-векторы, x-векторы)

Для эффективной диаризации спикеров ключевым является способность системы различать голоса разных людей и идентифицировать одного и того же человека на протяжении всей аудиозаписи. Это достигается за счет извлечения и анализа акустических признаков голоса, которые представляют собой числовое описание уникальных характеристик речи. Эти признаки служат основой для создания моделей голоса, позволяющих алгоритмам машинного обучения эффективно кластеризовать речевые сегменты по принадлежности к конкретному спикеру.

Преобразование необработанного аудиосигнала в информативные акустические признаки необходимо, поскольку прямой анализ звуковых волн слишком сложен и чувствителен к шумам и переменным условиям записи. Акустические признаки, такие как мел-частотные кепстральные коэффициенты (MFCC), i-векторы и x-векторы, абстрагируют суть голоса, делая его машиночитаемым и удобным для сравнения.

Мел-частотные кепстральные коэффициенты (MFCC): Основа акустического анализа

Мел-частотные кепстральные коэффициенты, или MFCC, являются одними из наиболее распространенных и фундаментальных акустических признаков, используемых в обработке речи, включая диаризацию спикеров. Эти коэффициенты эффективно представляют тембральные характеристики голоса, имитируя нелинейное восприятие частот человеческим ухом.

Процесс извлечения MFCC включает несколько этапов: предварительное акцентирование (усиление высокочастотных компонентов), разбиение аудиосигнала на короткие, перекрывающиеся фреймы, применение оконной функции (например, Хамминга) для уменьшения спектральных утечек, выполнение быстрого преобразования Фурье (FFT) для получения спектра мощности, фильтрация через мел-шкалу фильтров (что соответствует человеческому слуху), взятие логарифма и, наконец, применение дискретного косинусного преобразования (DCT) для получения кепстральных коэффициентов. Полученные MFCC являются компактным и робастным представлением спектральной огибающей речи, которая в значительной степени определяется формой речевого тракта каждого человека.

Несмотря на свою относительную простоту и вычислительную эффективность, MFCC хорошо зарекомендовали себя в задачах распознавания и диаризации речи, особенно в условиях относительно чистого звука. Они обеспечивают стабильную основу для дальнейших более сложных моделей голоса, позволяя системам диаризации формировать первичное представление о различиях между голосами.

i-векторы: Компактное представление голоса с высокой дискриминационной способностью

i-векторы (identity vectors) представляют собой более продвинутое и компактное представление голоса по сравнению с MFCC. Они являются низкоразмерными векторами фиксированной длины, которые кодируют всю релевантную информацию о спикере и канале передачи речи в одном унифицированном пространстве.

Технология i-векторов развилась из моделей UBM-GMM (Universal Background Model — Gaussian Mixture Model / Универсальная фоновая модель — Гауссова смешанная модель), которые описывали распределение акустических признаков голоса. i-векторы извлекаются путем моделирования "пространства общей изменчивости" (Total Variability Space), которое описывает, как акустические характеристики голоса изменяются от спикера к спикеру и от записи к записи. Для каждого речевого сегмента рассчитывается факторная матрица, которая проецирует высокоразмерные статистические характеристики (например, средние статистики Баума-Велча) в это низкоразмерное i-пространство. Полученный i-вектор является компактным "отпечатком" голоса, который более устойчив к шумам и акустическим вариациям, чем сырые MFCC.

Основное преимущество i-векторов для диаризации спикеров заключается в их способности эффективно сравнивать голоса. Благодаря фиксированной длине и компактности, они позволяют использовать простые метрики расстояния (например, косинусное расстояние) и мощные классификаторы, такие как PLDA (Probabilistic Linear Discriminant Analysis / Вероятностный линейный дискриминантный анализ), для точного определения схожести голосов. Это существенно повышает точность кластеризации и повторного обнаружения спикера, снижая вероятность ошибок в длинных диалогах и сложных акустических условиях.

x-векторы: Революция с помощью глубокого обучения

x-векторы представляют собой современный стандарт в области акустических признаков для диаризации и распознавания спикеров, основанный на глубоких нейронных сетях. Они являются эмбеддингами (векторными представлениями) голоса, которые извлекаются из скрытых слоев глубоких нейронных сетей, обученных на больших объемах речевых данных.

Архитектура нейронной сети, обычно используемая для извлечения x-векторов, это Нейронная сеть с задержкой времени (Time-Delay Neural Network / TDNN) или её варианты. Сеть обучается на задаче классификации спикеров, где на вход подаются последовательности MFCC-признаков, а на выходе она должна определить, какому из множества известных спикеров принадлежит голос. В процессе обучения сеть "учится" выделять наиболее дискриминационные признаки голоса, которые отличают одного человека от другого. x-векторы извлекаются из специально спроектированного "статистического" или "пулингового" слоя сети, который агрегирует информацию со всех временных фреймов речевого сегмента в единый вектор.

Преимущества x-векторов перед i-векторами и MFCC существенны:

• Высшая точность: Глубокие нейронные сети способны улавливать более сложные и нелинейные зависимости в акустическом сигнале, что приводит к значительному повышению точности различения спикеров, особенно в шумных условиях и при коротких речевых фрагментах.
• Робастность: x-векторы более устойчивы к фоновым шумам, реверберации и изменениям канала записи, что делает их идеальными для реальных сценариев использования (например, телефонные звонки, записи совещаний).
• Масштабируемость: Модели на основе глубокого обучения легко масштабируются и могут быть дообучены на данных, специфичных для конкретного бизнеса, для дальнейшего повышения производительности.

В контексте диаризации спикеров x-векторы используются для эффективного сравнения речевых сегментов, что позволяет с высокой точностью кластеризовать голоса и осуществлять повторное обнаружение спикера. Их внедрение существенно улучшило качество автоматического протоколирования и аналитики разговоров, особенно в сложных многоголосых сценариях.

Сравнительный анализ акустических признаков и моделей

Выбор акустических признаков и моделей голоса напрямую влияет на эффективность и вычислительную стоимость системы диаризации спикеров. Для понимания преимуществ и ограничений каждого подхода, ниже представлена сравнительная таблица MFCC, i-векторов и x-векторов.

Таким образом, выбор подходящих акустических признаков и моделей голоса является фундаментальным решением при разработке или внедрении систем диаризации спикеров. От этого выбора зависит не только техническая производительность системы (точность, скорость), но и её применимость в конкретных бизнес-сценариях, а также общая экономическая эффективность решения.

Сложности диаризации: Преодоление шума, перекрытий речи и переменного качества аудио

Эффективная диаризация спикеров, несмотря на развитие технологий, сталкивается с рядом фундаментальных сложностей, которые существенно влияют на точность и надежность систем. Эти вызовы продиктованы особенностями реальных акустических условий, в которых осуществляется запись речи. Преодоление шума, корректная обработка перекрытий речи и адаптация к переменному качеству аудио — ключевые аспекты, которые определяют практическую ценность и экономическую эффективность решения.

Без адресной работы с этими проблемами даже самые продвинутые алгоритмы могут давать значительные ошибки, что приведет к неверной атрибуции реплик, снижению точности автоматического распознавания речи (ASR) и искажению аналитических отчетов. Системы диаризации должны быть спроектированы с учетом этих факторов для обеспечения стабильной производительности в различных сценариях использования.

Борьба с фоновыми шумами и акустическими искажениями

Фоновые шумы и акустические искажения представляют собой одну из наиболее распространенных и серьезных сложностей диаризации спикеров. Наличие неречевых звуков в аудиозаписи может значительно снизить качество извлеченных акустических признаков, приводя к ошибочной сегментации, неверной кластеризации и, как следствие, к неправильному присвоению реплик спикерам.

Виды шумов и их влияние

Источники шумов многообразны и включают:

• Постоянные шумы: Гудение вентиляторов, систем кондиционирования, фоновый шум уличного движения. Такие шумы могут быть относительно легко подавлены, но все же влияют на спектральные характеристики голоса.
• Нестационарные шумы: Стук клавиатуры, звонки телефонов, смех, кашель, музыка на заднем плане. Эти шумы динамичны и требуют более сложных алгоритмов подавления, поскольку их характеристики быстро меняются.
• Акустическое эхо и реверберация: Отражение звука от поверхностей в помещении, особенно актуальное для конференц-связи или записей в больших комнатах. Эхо создает копии речевого сигнала с задержкой, что может быть интерпретировано системой как дополнительная речь или искажение исходного голоса.
• Шумы канала связи: Искажения, вносимые телефонными линиями, низкокачественными микрофонами или плохими аудиокодеками. Они могут менять тембр голоса и добавлять артефакты, затрудняющие распознавание спикеров.

Влияние шумов проявляется в снижении отношения сигнал/шум, что затрудняет детектирование речевой активности (VAD), искажает уникальные акустические признаки голоса (MFCC, i-векторы, x-векторы) и снижает дискриминационную способность моделей голоса. Это ведет к увеличению коэффициента ошибки диаризации (DER) и требует дополнительных усилий для ручной коррекции.

Техники шумоподавления и повышения робастности

Для преодоления негативного влияния шумов применяются различные методы, направленные на очистку аудиосигнала и повышение робастности системы диаризации к акустическим искажениям:

• Предварительная обработка аудио:
  • Шумоподавление: Использование алгоритмов фильтрации (например, на основе спектрального вычитания, Винеровской фильтрации или более продвинутых методов на глубоких нейронных сетях) для удаления фоновых шумов до этапа извлечения признаков.
  • Акустическое эхоподавление (AEC): Применение алгоритмов для идентификации и устранения эхо-сигналов, которые могут возникать, например, при записи звонков в контакт-центрах.
  • Нормализация громкости: Приведение уровня громкости аудио к стандартизированному диапазону, что помогает унифицировать входные данные для алгоритмов.
• Робастное извлечение акустических признаков:
  • Использование признаков, которые менее чувствительны к шумам. Например, x-векторы, извлеченные с помощью глубоких нейронных сетей, обученных на зашумленных данных, демонстрируют высокую робастность.
  • Применение техник нормализации признаков (например, нормализация среднего и дисперсии кепстральных коэффициентов, CMVN), которые компенсируют изменения, вызванные каналом связи и фоновым шумом.
• Адаптация моделей:
  • Обучение моделей диаризации на больших и разнообразных датасетах, включающих записи в различных акустических условиях и с различными типами шумов.
  • Использование методов адаптации домена, когда предобученная модель дообучается на небольшом объеме данных, специфичных для целевой среды (например, данных конкретного контакт-центра).

Применение этих техник обеспечивает более точное выделение речи, улучшает качество акустических признаков и, как результат, значительно повышает общую точность диаризации спикеров, сокращая количество ошибок атрибуции.

Решение проблемы перекрытия речи: Когда говорят несколько спикеров одновременно

Перекрытие речи, или одновременная речь нескольких спикеров, является одной из наиболее сложных проблем для систем диаризации. В реальных диалогах, особенно в многосторонних беседах, совещаниях или телефонных конференциях, участники часто говорят одновременно. Такая ситуация резко снижает точность большинства традиционных алгоритмов диаризации, которые предполагают наличие только одного активного спикера в каждый момент времени.

Суть проблемы перекрытия речи

Проблема перекрытия речи заключается в том, что акустический сигнал становится суперпозицией голосов нескольких участников. Для системы это означает, что извлеченные акустические признаки в таких сегментах содержат информацию сразу о нескольких спикерах, что делает их непригодными для однозначной кластеризации. Без специальных механизмов система может либо игнорировать такие сегменты, либо ошибочно присваивать их одному из спикеров, либо даже создавать новый, фантомный кластер.

Последствия игнорирования или некорректной обработки перекрытий включают:

• Неполная стенограмма: Пропущенные реплики, важные для контекста диалога.
• Ошибки атрибуции: Присвоение части реплики одного спикера другому.
• Снижение качества ASR: Системы распознавания речи работают значительно хуже в условиях перекрытия, так как им трудно выделить отдельные слова из смешанного потока.
• Искажение аналитики: Неверная статистика по длительности разговора каждого спикера, некорректный анализ тональности и извлечение сущностей.

Подходы к обработке перекрывающихся речевых сегментов

Современные системы диаризации используют ряд продвинутых техник для обнаружения и обработки перекрытий речи:

• Детекция перекрытия:
  • Специализированные алгоритмы, часто основанные на глубоких нейронных сетях, анализируют акустические признаки и предсказывают вероятность одновременной речи. Такие модели обучаются на датасетах с разметкой перекрытий.
  • Они позволяют системе идентифицировать временные интервалы, где перекрытие происходит, и исключить их из процесса основной кластеризации или передать на специализированную обработку.
• Разделение источников / Слепое разделение источников:
  • Технологии, целью которых является разделение смешанного акустического сигнала на отдельные потоки речи каждого спикера. Примерами являются ICA (Анализ независимых компонент) или методы на основе глубокого обучения, такие как TasNet или Conv-TasNet.
  • После разделения каждый поток обрабатывается как речь одного спикера, что позволяет применить стандартные алгоритмы диаризации и распознавания. Однако эта задача крайне вычислительно затратна и сложна, особенно при наличии только одного микрофона.
• Кластеризация многоголосых сегментов:
  • Некоторые подходы пытаются кластеризовать даже перекрывающиеся сегменты, используя более сложные метрики схожести, которые учитывают наличие нескольких голосовых компонентов.
  • Для таких сегментов могут быть созданы специальные "гибридные" метки, указывающие на активность нескольких спикеров (например, "Спикер_A и Спикер_Б").
• Адаптивные модели диаризации:
  • Современные end-to-end системы диаризации, построенные на глубоких нейронных сетях, могут обучаться обрабатывать перекрытия напрямую, интегрируя детекцию перекрытия и разделение голосов в единую архитектуру. Они выдают вероятности активности для каждого спикера в каждом временном фрейме, даже при одновременной речи.

Внедрение механизмов обработки перекрытий речи значительно повышает общую точность диаризации, обеспечивая более полную и корректную атрибуцию реплик в сложных диалогах. Это критически важно для построения точных стенограмм и глубокой аналитики многосторонних переговоров.

Адаптация к переменному качеству аудио

Переменное качество аудио является еще одним существенным фактором, усложняющим диаризацию спикеров. Аудиозаписи могут поступать из самых разных источников, каждый из которых имеет свои уникальные акустические характеристики и особенности. Различия в оборудовании, акустике помещения и форматах записи приводят к значительным колебаниям в качестве сигнала, что требует от системы диаризации высокой адаптивности.

Источники ухудшения качества аудио

Источники переменного качества аудио включают:

• Разнообразие микрофонов: От низкокачественных микрофонов смартфонов до профессиональных конференц-систем. Каждый тип микрофона имеет свою частотную характеристику и чувствительность.
• Различные каналы записи: Телефонные линии (с ограниченной полосой пропускания), VoIP-звонки, локальные записи в переговорных комнатах, студийные записи. Каждый канал вносит свои искажения и ограничения.
• Акустика помещения: Разные размеры комнат, наличие или отсутствие звукопоглощающих материалов, уровень фонового шума — все это влияет на реверберацию и общее качество звука.
• Кодеки сжатия: Использование различных аудиокодеков (MP3, AAC, Opus, G.711) и степеней сжатия может приводить к потере информации и появлению артефактов, особенно при низких битрейтах.
• Расстояние до микрофона: Изменение расстояния говорящего от микрофона влияет на громкость, соотношение прямого и отраженного звука, что может быть ошибочно интерпретировано системой.

Несоответствие акустических условий между обучающими данными и реальными записями может привести к значительному падению производительности диаризации. Системы, обученные на чистых данных, могут плохо справляться с зашумленными или искаженными записями.

Стратегии для обеспечения стабильности диаризации

Для обеспечения стабильной и высокой точности диаризации спикеров в условиях переменного качества аудио применяются следующие стратегии:

• Робастное извлечение признаков: Использование x-векторов, которые демонстрируют высокую устойчивость к вариациям канала и шумам благодаря обучению глубоких нейронных сетей на больших и разнообразных датасетах.
• Нормализация и аугментация данных:
  • Нормализация данных: Применение различных видов нормализации (например, нормализация громкости, эквализация) для стандартизации входного аудиосигнала.
  • Аугментация данных: Искусственное увеличение объема обучающих данных путем добавления различных типов шумов, реверберации и искажений канала к чистым речевым записям. Это помогает моделям стать более устойчивыми к реальным условиям.
• Адаптация домена:
  • Дообучение предобученных моделей на небольшом объеме размеченных данных, полученных в специфических акустических условиях целевого домена (например, записи из конкретного контакт-центра или студии). Это позволяет модели "привыкнуть" к уникальным характеристикам нового окружения.
  • Методы, такие как Перенос обучения (Transfer Learning), позволяют эффективно использовать знания, полученные на больших общих датасетах, для решения задач в более узких, специфичных доменах.
• Использование мультимодальных данных:
  • В некоторых сценариях, где доступно видео, можно использовать информацию с камеры (например, детекция лиц, положение говорящего) для повышения точности диаризации, особенно в условиях сложной акустики.

Инвестиции в технологии, способные адаптироваться к переменному качеству аудио, напрямую трансформируются в снижение операционных расходов за счет уменьшения необходимости в ручной доработке и повышении надежности автоматических систем аналитики.

Современные подходы и алгоритмы диаризации: Глубокое обучение и сквозные системы

Развитие технологий машинного обучения и, в частности, глубокого обучения, привело к значительному прорыву в области диаризации спикеров, позволив преодолеть многие ограничения традиционных алгоритмов. Современные подходы переходят от многоступенчатых конвейеров, состоящих из независимых модулей, к более интегрированным, сквозным системам. Эти инновации обеспечивают беспрецедентную точность и робастность даже в сложных акустических условиях, таких как наличие фоновых шумов, реверберации и, что особенно важно, перекрытия речи.

Ключевая бизнес-ценность внедрения таких систем заключается в существенном повышении качества автоматической обработки аудиоданных: снижении коэффициента ошибки диаризации (DER), улучшении точности автоматического распознавания речи (ASR) и, как следствие, углублении аналитики разговоров. Это приводит к сокращению операционных затрат на ручную верификацию и расширению возможностей для автоматизации бизнес-процессов.

Эволюция от традиционных к глубоким нейронным сетям в диаризации

Традиционные системы диаризации, основанные на гауссовых смешанных моделях (GMM), универсальных фоновых моделях (UBM) и i-векторах в сочетании с иерархической агломеративной кластеризацией (HAC), долгое время были стандартом отрасли. Эти подходы хорошо справлялись в относительно чистых акустических условиях, но демонстрировали ограничения при столкновении со сложностями реального мира.

Основные ограничения классических методов, которые стали катализатором перехода к глубоким нейронным сетям, включают:

• Чувствительность к шумам и искажениям: Низкая робастность традиционных акустических признаков (например, MFCC) к изменениям канала связи и фоновым шумам.
• Проблемы с перекрытием речи: Неспособность эффективно обрабатывать сегменты, где несколько спикеров говорят одновременно, что приводит к пропуску информации или неверной атрибуции.
• Ограниченная дискриминационная способность: Трудности с различением спикеров с похожими голосами, особенно при коротких репликах.
• "Конвейерная" архитектура: Зависимость от точности каждого предыдущего модуля, где ошибки накапливаются и распространяются по всем этапам диаризации.

Глубокое обучение позволило разработать более мощные и гибкие модели, способные извлекать высокодискриминационные акустические признаки (такие как x-векторы) и моделировать сложные нелинейные зависимости в аудиосигнале. Это привело к значительному улучшению производительности на всех этапах диаризации, делая системы более надежными и точными для практического применения.

Компоненты диаризации, усиленные глубоким обучением

Внедрение глубоких нейронных сетей трансформировало каждый ключевой этап процесса диаризации спикеров, значительно повысив их индивидуальную и общую эффективность. Это привело к созданию более робастных и точных систем, способных работать в сложных условиях.

Детекция речевой активности (VAD) на основе глубокого обучения

Традиционные алгоритмы детекции речевой активности (VAD), основанные на энергетических порогах или гауссовых моделях, часто страдают от ложных срабатываний в шумной среде или пропускают тихие речевые фрагменты. Современные системы VAD используют глубокие нейронные сети (например, сверточные нейронные сети — CNN, рекуррентные нейронные сети — RNN или их комбинации), обученные на обширных наборах данных, содержащих разнообразные сценарии речи и шума. Эти модели способны более точно отделять речь от неречевых звуков, даже при низком отношении сигнал/шум, благодаря своей способности улавливать сложные временные и частотные паттерны.

Бизнес-ценность улучшенной VAD заключается в сокращении "пустых" сегментов, передаваемых на дальнейшую обработку, и предотвращении ошибочного включения шумов в профили спикеров. Это напрямую повышает точность последующей кластеризации и, как следствие, общую точность диаризации.

Извлечение акустических признаков нового поколения: x-векторы

Как уже упоминалось, x-векторы представляют собой эмбеддинги голоса, извлекаемые из скрытых слоев глубоких нейронных сетей, обученных на задаче классификации спикеров. Эти векторы значительно превосходят MFCC и i-векторы по своей дискриминационной способности и робастности к акустическим вариациям. Нейронные сети (например, нейронные сети с задержкой по времени — TDNN или трансформер-подобные архитектуры), используемые для их извлечения, обучаются на огромных массивах данных, что позволяет им выделять наиболее информативные и устойчивые характеристики голоса.

x-векторы являются краеугольным камнем современных систем диаризации, поскольку они обеспечивают высококачественное представление голоса, которое:

• Позволяет эффективно различать даже акустически схожие голоса.
• Устойчиво к изменениям канала связи, фоновым шумам и реверберации.
• Сохраняет свою идентифицирующую способность даже при очень коротких речевых сегментах.

Использование x-векторов существенно снижает коэффициент ошибки диаризации (DER), особенно в сложных и реальных сценариях, где качество аудио может быть непредсказуемым.

Кластеризация на основе глубоких эмбеддингов и метрик схожести

После извлечения x-векторов для каждого речевого сегмента, задача кластеризации голосов остается, но теперь она выполняется с гораздо более информативными признаками. Вместо традиционной иерархической агломеративной кластеризации (HAC) с простыми метриками расстояния, современные подходы используют:

• PLDA (вероятностный линейный дискриминантный анализ), который позволяет моделировать распределение x-векторов для каждого спикера и канала, обеспечивая более точную оценку схожести голосов.
• Обучаемые метрики расстояния: Нейронные сети могут быть обучены для прямого сравнения x-векторов, определяя, принадлежат ли они одному и тому же спикеру (например, с использованием контрастивных или тройных функций потерь).
• Спектральная кластеризация: Применение к матрице схожести, построенной на основе x-векторов, что позволяет более эффективно группировать данные даже в нелинейных пространствах.

Эти методы значительно повышают точность разделения голосов, минимизируя ошибки слияния (когда разные спикеры ошибочно объединяются в один кластер) и ошибки разделения (когда один спикер разбивается на несколько кластеров). Результат — более точные стенограммы и более надежная атрибуция реплик.

Глубокое обучение для обработки перекрытия речи

Обработка перекрытия речи — один из наиболее сложных аспектов диаризации, где глубокое обучение продемонстрировало впечатляющие результаты. Современные подходы включают:

• Детекция перекрытия с использованием нейронных сетей: Специализированные модели CNN или RNN могут быть обучены для точного определения временных интервалов, где несколько спикеров говорят одновременно, используя контекст и акустические паттерны.
• Разделение источников речи: Глубокие нейронные сети (например, TasNet, Conv-TasNet) способны разделять смешанный акустический сигнал на отдельные потоки для каждого спикера. После разделения, каждый изолированный поток может быть диаризован стандартными методами. Хотя эта задача вычислительно затратна, она критически важна для полной расшифровки сложных многосторонних бесед.
• Сквозные модели с поддержкой перекрытий: Некоторые сквозные системы диаризации (описаны ниже) напрямую обучаются выдавать вероятности активности для каждого спикера в каждом временном фрейме, даже при одновременной речи, интегрируя детекцию и разделение в одну архитектуру.

Эффективное решение проблемы перекрытия речи кардинально меняет качество диаризации для многосторонних разговоров, обеспечивая полноту стенограмм и точность аналитики даже в условиях активного взаимодействия нескольких участников.

Сквозные системы диаризации: Сквозная оптимизация

Наиболее радикальным современным подходом является разработка сквозных систем диаризации. Вместо построения цепочки независимых модулей (VAD, извлечение признаков, кластеризация), сквозная модель представляет собой единую нейронную сеть, которая принимает на вход сырой аудиосигнал или низкоуровневые акустические признаки и выдает финальную разметку спикеров. Целью таких систем является оптимизация всего процесса диаризации как единого целого.

Принципы работы сквозных систем

Архитектуры сквозных систем часто основаны на рекуррентных нейронных сетях (RNN), сверточных сетях (CNN) или, что все чаще, на трансформер-подобных моделях. Ключевые особенности:

• Прямое обучение: Модель обучается напрямую от входного аудио к выходной разметке спикеров, минимизируя общую ошибку диаризации, а не ошибки отдельных компонентов.
• Интегрированная обработка: Все этапы, включая детекцию речи, извлечение признаков, кластеризацию и даже обработку перекрытий, неявно выполняются внутри единой нейронной сети.
• Отсутствие промежуточных этапов: Нет необходимости вручную настраивать параметры для каждого модуля в конвейере.
• Контекстуальный анализ: Благодаря способности нейронных сетей улавливать долгосрочные зависимости, сквозные системы могут использовать контекст всего диалога для более точной атрибуции.

На выходе такая система может выдавать либо временные метки с идентификаторами спикеров, либо вероятности активности каждого спикера в каждом временном фрейме, что позволяет обрабатывать перекрытия.

Преимущества сквозного подхода

Внедрение сквозных систем диаризации предлагает значительные преимущества для бизнеса и технических специалистов:

• Высшая точность: За счет совместной оптимизации всех компонентов системы достигается минимальный коэффициент ошибки диаризации (DER), особенно в сложных условиях.
• Упрощение архитектуры: Единая модель значительно проще в развертывании, управлении и масштабировании, чем набор отдельных модулей.
• Улучшенная робастность: Модели обучаются на разнообразных данных, что делает их более устойчивыми к шумам, реверберации и изменениям качества записи.
• Эффективная обработка перекрытий: Сквозные системы изначально могут быть спроектированы для определения и разделения одновременной речи, что критично для полной аналитики.
• Меньшая зависимость от ручной настройки: Сокращается время на инженерию признаков и точную подгонку параметров, что снижает затраты на разработку и поддержку.

Эти преимущества делают сквозные системы диаризации предпочтительным выбором для высоконагруженных корпоративных решений, где требуется максимальная точность и надежность.

Вызовы и требования к внедрению сквозных систем

Несмотря на явные преимущества, внедрение сквозных систем диаризации сопряжено с определенными вызовами:

• Требования к данным: Для обучения высокопроизводительных сквозных моделей необходимы очень большие объемы размеченных аудиоданных, охватывающих широкий спектр акустических условий и диалоговых сценариев. Разметка таких наборов данных может быть дорогостоящей и трудоемкой.
• Вычислительная сложность обучения: Обучение глубоких нейронных сетей требует значительных вычислительных ресурсов (мощные GPU), что может быть недоступно для всех компаний.
• "Черный ящик" моделей: Из-за сложности внутренних процессов глубоких нейронных сетей интерпретация их решений может быть затруднена, что усложняет отладку и тонкую настройку.

Тем не менее, эти вызовы компенсируются доступностью облачных вычислительных ресурсов и развитием фреймворков с открытым исходным кодом для глубокого обучения, которые упрощают разработку и развертывание таких систем.

Сравнительный анализ традиционных и современных подходов к диаризации

Для принятия обоснованного решения о выборе технологии диаризации необходимо понимать ключевые различия между традиционными, модульными подходами и современными сквозными системами на основе глубокого обучения. Ниже представлена сравнительная таблица, отражающая основные характеристики и бизнес-ценность каждого подхода.

Таким образом, современные подходы к диаризации, основанные на глубоком обучении и сквозных системах, представляют собой значительный шаг вперед. Они позволяют бизнесу извлекать более полную и точную информацию из аудиоданных, что напрямую влияет на качество обслуживания клиентов, эффективность внутренних операций и стратегическое принятие решений.

Метрики оценки эффективности диаризации: Коэффициент ошибки (DER) и JER

Для объективной оценки производительности систем диаризации спикеров и сравнения различных алгоритмов необходимы стандартизированные метрики. Эти метрики позволяют количественно измерить точность, с которой система определяет, кто и когда говорил, а также выявлять основные типы ошибок. Наиболее распространёнными и широко используемыми показателями являются коэффициент ошибки диаризации (Diarization Error Rate, DER) и Jaccard Error Rate (JER). Понимание этих метрик крайне важно для определения адекватности системы бизнес-задачам и для принятия решений по её оптимизации.

Коэффициент ошибки диаризации (Diarization Error Rate, DER): Комплексный показатель

Коэффициент ошибки диаризации (DER) представляет собой стандартную и наиболее полную метрику для оценки качества работы системы диаризации спикеров. Он измеряет совокупность ошибок, совершаемых системой, относительно эталонной (истинно размеченной) аудиозаписи. DER выражается в процентах, и чем ниже его значение, тем выше точность диаризации. Высокий DER напрямую указывает на необходимость ручной доработки стенограмм, что увеличивает операционные издержки.

DER учитывает три основных типа ошибок, суммируя их длительность относительно общей длительности речи в эталонной разметке:

• Пропущенная речь (Missed Speech, MS)

  Пропущенная речь (Missed Speech, MS) относится к тем сегментам речи в эталонной разметке, которые система диаризации не смогла обнаружить или распознать как речь. Это означает, что система пропустила высказывания реального спикера, не присвоив им идентификатор. Такие ошибки приводят к неполным стенограммам и потере важной информации в аналитике разговоров.

• Ошибочно детектированная речь (False Alarm Speech, FA)

  Ошибочно детектированная речь (False Alarm Speech, FA) возникает, когда система диаризации ошибочно классифицирует неречевые участки аудио (например, фоновый шум, музыку, тишину) как речь спикера и присваивает им идентификатор. Эти ложные срабатывания засоряют стенограмму и аналитические отчёты, создавая несуществующие реплики и искажая временную шкалу активности спикеров.

• Ошибка принадлежности спикеру (Speaker Error, SE)

  Ошибка принадлежности спикеру (Speaker Error, SE) является наиболее специфичной для диаризации ошибкой, при которой система верно определяет наличие речи, но ошибочно присваивает её не тому спикеру. Это происходит, когда сегмент речи одного спикера ошибочно кластеризуется с речью другого, или когда система разделяет речь одного человека на несколько анонимных идентификаторов. Такая ошибка критически влияет на точность атрибуции реплик и анализ взаимодействия между участниками.

Коэффициент ошибки диаризации (DER) рассчитывается по следующей формуле:

DER = (MS + FA + SE) / Total_Speech_Duration

Где:

• MS — суммарная длительность пропущенной речи.
• FA — суммарная длительность ошибочно детектированной речи.
• SE — суммарная длительность ошибок принадлежности спикеру.
• Total_Speech_Duration — общая длительность речи в эталонной разметке.

Бизнес-ценность DER заключается в его всеобъемлющем характере. Низкий DER свидетельствует о высокой надёжности системы, что напрямую снижает затраты на ручную коррекцию, повышает точность автоматического распознавания речи (ASR) и обеспечивает более глубокую и достоверную аналитику разговоров, например, в контакт-центрах или при протоколировании совещаний.

Jaccard Error Rate (JER): Оценка перекрытий и точности сегментации

Jaccard Error Rate (JER) — это метрика, которая дополняет DER, предлагая альтернативный взгляд на точность диаризации, особенно в условиях перекрытия речи. Она основана на коэффициенте Жаккара (Jaccard Index), который измеряет схожесть или различие двух наборов элементов. В контексте диаризации, JER фокусируется на сравнении временных интервалов, в которых система определила активность спикера, с эталонными временными интервалами для каждого спикера.

Коэффициент Жаккара для пары спикеров (эталонный и гипотетический) рассчитывается как отношение длительности пересечения их речевых сегментов к длительности объединения этих сегментов. Формально, для спикера A (эталон) и спикера B (система):

Jaccard(A, B) = Duration(Intersection(A, B)) / Duration(Union(A, B))

Jaccard Error Rate (JER) представляет собой среднее значение (1 - Jaccard Index) по всем оптимально сопоставленным парам спикеров, нормированное по длительности речевых сегментов. Если DER показывает общую «плохость» диаризации, то JER более тонко оценивает точность временной сегментации и способность системы обрабатывать ситуации, когда несколько спикеров говорят одновременно.

Ключевые преимущества JER:

• Чувствительность к перекрытиям: JER более эффективно штрафует систему за ошибки в сегментах перекрывающейся речи, где DER может быть менее информативным. Он явно учитывает, насколько хорошо система справляется с идентификацией всех активных спикеров в моменты одновременной речи.
• Оценка границ: JER лучше отражает точность определения временных границ речевых сегментов.
• Оценка при коротких репликах: Может быть более стабильным для очень коротких речевых фрагментов по сравнению с DER, который может быть сильно искажён небольшими временными ошибками на коротких отрезках.

Высокий JER указывает на проблемы с точной временной разметкой и/или обработкой многоголосых сегментов. Для бизнеса это означает, что стенограммы могут быть фрагментированными, а аналитика, основанная на временной активности каждого спикера (например, длительность активной речи клиента или оператора), будет менее достоверной. Использование JER помогает выявить области для улучшения алгоритмов, особенно тех, что касаются детекции перекрытия речи и тонкой сегментации.

Сравнение и выбор метрик для оценки диаризации

Выбор между DER и JER, или их совместное использование, зависит от конкретных задач и приоритетов бизнеса. Обе метрики предоставляют ценную информацию, но акцентируют внимание на разных аспектах производительности системы диаризации.

Ниже представлена сравнительная таблица, подчёркивающая ключевые различия и области применения DER и JER:

Рекомендации по выбору и интерпретации:

• Для общей оценки: DER является основным показателем. Он даёт комплексное представление о работе системы. Значения DER ниже 10% считаются очень хорошими для сложных реальных условий (например, телефонные разговоры), тогда как для чистых студийных записей ожидаются значения ниже 5%.
• Для систем с многосторонними диалогами: Если ваш сценарий включает частые перекрытия речи (совещания, групповые звонки), обязательно используйте JER в дополнение к DER. Это поможет понять, насколько хорошо система справляется с идентификацией всех говорящих одновременно.
• Для улучшения VAD: Если DER высок из-за больших значений MS или FA, это указывает на проблемы с детекцией речевой активности, требующие оптимизации VAD-модуля.
• Для кластеризации: Если основной вклад в DER вносит SE, то необходимо улучшать алгоритмы извлечения акустических признаков (например, переход на x-векторы) и кластеризации голосов.
• Абсолютные значения: При интерпретации метрик всегда учитывайте контекст и сложность аудиоданных. DER в 20% может быть приемлемым для очень зашумлённых телефонных звонков с плохим качеством, но катастрофически высоким для студийной записи.

Факторы, влияющие на интерпретацию метрик

Точная интерпретация DER и JER требует учёта нескольких ключевых факторов, которые могут существенно влиять на измеряемую производительность системы диаризации спикеров.

• Качество эталонной разметки

  Качество эталонной (ground truth) разметки является фундаментальным фактором. Любые ошибки, неточности или неоднозначности в ручной разметке, используемой для сравнения, будут напрямую искажать значения DER и JER. Низкокачественная эталонная разметка может привести к тому, что даже идеально работающая система будет иметь высокий показатель ошибок, или, наоборот, неточности эталона могут маскировать реальные проблемы. Поэтому крайне важно использовать высококачественные, проверенные и стандартизированные наборы данных для тестирования и бенчмаркинга.

• Влияние детекции речевой активности (VAD)

  Начальный этап детекции речевой активности (VAD) оказывает значительное влияние на итоговый DER, поскольку ошибки VAD (пропущенная речь и ошибочно детектированная речь) являются прямыми компонентами этой метрики. Если VAD-модуль работает плохо, он может либо пропустить короткие реплики спикера (увеличивая MS), либо ошибочно классифицировать шум как речь (увеличивая FA). Поэтому, анализируя DER, всегда следует рассматривать его компоненты (MS, FA, SE) по отдельности, чтобы понять, какой этап является «бутылочным горлышком». Системы с более робастным VAD, часто основанным на глубоком обучении, обеспечивают более низкий вклад ошибок MS и FA в общий DER.

• Проблема коротких речевых сегментов

  Короткие речевые сегменты, особенно те, что имеют длительность менее одной секунды, представляют собой особую сложность для диаризации. Для таких сегментов системам труднее извлечь достаточное количество акустических признаков для надёжной идентификации спикера. Это может приводить к увеличению ошибок разделения (один спикер ошибочно разбивается на несколько идентификаторов) или ошибок слияния (короткие реплики разных спикеров объединяются). Как следствие, DER и JER могут значительно возрастать на записях с большим количеством коротких реплик, особенно в динамичных диалогах. Разработка алгоритмов, способных эффективно работать с короткими сегментами (например, x-векторы с мощными классификаторами), является ключевым направлением для повышения общей точности.

• Перекрытие речи и количество спикеров

  Чем больше спикеров одновременно разговаривают и чем выше доля перекрывающейся речи в аудиозаписи, тем сложнее задача для системы диаризации и тем выше будут значения DER и JER. Традиционные системы часто испытывают значительные трудности в таких условиях, тогда как современные сквозные решения, специально разработанные для обработки перекрытий, показывают лучшие результаты. Для сценариев с большим количеством участников и частыми перекрытиями (например, записи совещаний с 5+ участниками), высокие значения ошибок являются ожидаемыми, и крайне важно оценивать системы, используя метрики, чувствительные к перекрытиям, такие как JER.

• Акустические условия и качество аудио

  Качество записи (наличие шумов, реверберации, узкополосные каналы связи, как в телефонных звонках) напрямую влияет на извлекаемые акустические признаки и, соответственно, на точность диаризации. Системы, обученные на чистых данных, могут показывать значительно худшие результаты на зашумлённых записях. При интерпретации метрик всегда необходимо учитывать акустический домен, из которого получены тестовые данные. Для реальных сценариев, таких как записи контакт-центров или переговоры в сложных помещениях, ожидаются более высокие значения DER по сравнению с академическими бенчмарками на чистых наборах данных. Это требует использования робастных моделей и стратегий адаптации домена для достижения приемлемой производительности в реальных условиях эксплуатации.

Учёт этих факторов позволяет не только объективно оценивать эффективность диаризации, но и направлять усилия по улучшению системы на наиболее критичные компоненты и проблемы.

Список литературы

1. Snyder, D., Garcia-Romero, D., Povey, D., & Khudanpur, S. X-vectors: Robust DNN embeddings for speaker recognition // 2018 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP). — IEEE, 2018. — P. 5329-5333.
2. Dehak, N., Kenny, P., Devanne, R., Ouellet, P., & Garcia-Romero, D. Front-end processing for speaker verification // IEEE Transactions on Audio, Speech, and Language Processing. — 2011. — Vol. 19, № 4. — P. 788-798.
3. Kenny, P. Bayesian speaker verification with i-vectors and probabilistic linear discriminant analysis // Odyssey 2010 The Speaker and Language Recognition Workshop. — 2010. — P. 1-8.
4. Povey, D., Ghoshal, A., Boulianne, G., Burget, L., Glembek, O., Karafiat, N., ... & Zheng, Y. The Kaldi speech recognition toolkit // 2011 IEEE Workshop on Automatic Speech Recognition & Understanding. — IEEE, 2011. — P. 1-4.
5. Park, T. J., Ravanelli, M., Khurana, S., & Povey, D. A unified framework for speaker diarization // 2022 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP). — IEEE, 2022. — P. 7977-7981.