Human-in-the-loop (HITL): человек в контуре ии-систем

Концепция Human-in-the-Loop (HITL) представляет собой методологию разработки и эксплуатации систем искусственного интеллекта (ИИ), при которой человек участвует в процессе принятия решений или улучшении производительности модели. Это позволяет решать задачи, где автономные ИИ-системы демонстрируют недостаточную точность, сталкиваются с неоднозначностью данных или требуют экспертной оценки для валидации результатов. Типичные сценарии включают разметку данных для обучения моделей, верификацию результатов предиктивных алгоритмов и обработку граничных случаев, которые система не может классифицировать с высокой достоверностью.

Внедрение Human-in-the-Loop обусловлено несколькими факторами. Современные модели машинного обучения часто требуют больших объемов высококачественных размеченных данных; без участия человека этот процесс либо становится невозможным, либо генерирует данные с низкой релевантностью. Например, для повышения точности классификации изображений с 85% до 99% может потребоваться нелинейное увеличение объема размеченных данных, что эффективно масштабируется только с участием экспертов. Кроме того, HITL-системы способны снижать риск систематических ошибок и предвзятости, присущих полностью автономным алгоритмам, путем введения человеческого контроля на критических этапах.

Архитектура Human-in-the-Loop включает модули для распределения задач между людьми-операторами, механизмы сбора и агрегации их ответов, а также подсистемы для интеграции этих данных обратно в цикл обучения или логику принятия решений ИИ-системы. Это обеспечивает непрерывное совершенствование алгоритмов и адаптацию к изменяющимся условиям. Использование гибридных подходов, где Human-in-the-Loop служит для уточнения и валидации, позволяет эффективно обрабатывать до 20% наиболее сложных или критически важных запросов, тогда как остальные 80% обрабатываются автономно.

Практическое применение Human-in-the-Loop распространяется от модерации контента и медицинской диагностики до разработки беспилотных автомобилей и кибербезопасности. Например, в финансах системы HITL помогают анализировать сложные транзакции для выявления мошенничества, где уровень ложных срабатываний автономных систем достигает 15-20%, требуя человеческого вмешательства. Это позволяет не только повышать надежность решений, но и снижать операционные затраты, предотвращая ошибки, которые могли бы привести к финансовым потерям или репутационному ущербу.

Что такое Human-in-the-Loop (HITL): Основные принципы и определения

Human-in-the-Loop (HITL) — это подход к разработке и эксплуатации ИИ-систем, который систематически интегрирует человеческий интеллект в контур обработки данных и принятия решений. Этот подход обеспечивает непрерывное совершенствование алгоритмов и повышение надёжности результатов за счёт использования экспертных знаний и когнитивных способностей человека, особенно в случаях, когда полностью автономные ИИ-модели сталкиваются с неопределённостью, сложными граничными условиями или требуют высокого уровня точности и этического контроля. Суть Human-in-the-Loop заключается не только в исправлении ошибок ИИ, но и в создании мощного симбиоза, где каждая сторона усиливает другую, обеспечивая высокую масштабируемость и адаптивность решений.

Фундаментальные принципы Human-in-the-Loop

Эффективность любой HITL-системы базируется на нескольких ключевых принципах, которые определяют её архитектуру и функциональность. Эти принципы обеспечивают оптимальное взаимодействие человека и машины, направленное на достижение поставленных бизнес-целей.

• Итеративное обучение и улучшение: Человек предоставляет высококачественные размеченные данные или корректирует результаты ИИ, которые затем используются для переобучения или тонкой настройки модели. Это обеспечивает постоянное совершенствование ИИ-алгоритмов, позволяя им адаптироваться к новым сценариям и снижать количество ошибок с течением времени. Например, в задачах компьютерного зрения эксперт может исправлять ошибки сегментации, и эти исправления сразу же поступают в контур для обновления модели.

• Оптимизация точности: Основная цель Human-in-the-Loop заключается в повышении точности решений, которые не могут быть достигнуты исключительно автономными ИИ-системами. Человек обрабатывает те случаи, где ИИ показывает низкую уверенность, тем самым поднимая общий уровень производительности системы до требуемых порогов. Это критически важно в сферах, где цена ошибки высока, например, в медицинской диагностике или автономном вождении.

• Обработка граничных случаев: ИИ-модели часто демонстрируют низкую производительность на данных, которые значительно отличаются от обучающей выборки или относятся к неопределённым категориям. Человек в контуре Human-in-the-Loop специально нацелен на обработку таких "пограничных" ситуаций, размечая их и тем самым расширяя диапазон знаний модели. Это позволяет системе быть более устойчивой и надёжной в реальных условиях эксплуатации.

• Снижение предвзятости: Человеческий контроль является важным инструментом для выявления и снижения предвзятости (смещения) в данных и алгоритмах ИИ. Эксперты могут обнаруживать и корректировать несбалансированные или некорректные метки, предотвращая распространение систематических ошибок, которые могут привести к дискриминационным или неэтичным результатам. Это особенно актуально для систем, влияющих на решения о людях, таких как кредитный скоринг или системы найма.

• Адаптивность к изменениям: Динамическая среда и постоянно меняющиеся данные требуют от ИИ-систем способности к адаптации. Human-in-the-Loop позволяет быстро реагировать на новые тенденции, изменения в регуляторных требованиях или появление новых типов данных, оперативно интегрируя человеческую экспертизу для переобучения и обновления моделей. Это обеспечивает актуальность и эффективность ИИ-решений на протяжении всего жизненного цикла.

Ключевые компоненты HITL-систем

Архитектура Human-in-the-Loop системы включает несколько взаимосвязанных компонентов, каждый из которых выполняет свою уникальную функцию, обеспечивая бесшовное взаимодействие человека и ИИ. Понимание этих компонентов критически важно для проектирования эффективных гибридных решений.

Роли человека в контуре Human-in-the-Loop

В зависимости от задачи и уровня зрелости ИИ-системы, человек может выполнять различные функции в цикле Human-in-the-Loop. Эти роли требуют разного уровня экспертизы и ответственности, но все они критически важны для повышения эффективности гибридной системы.

• Разметка данных: Операторы вручную классифицируют, тегируют или сегментируют неразмеченные данные (текст, изображения, аудио, видео). Это формирует высококачественные обучающие выборки для первоначального обучения или дообучения ИИ-моделей. Например, разметка медицинских изображений для диагностики или классификация комментариев для модерации контента.

• Верификация и валидация: Человек проверяет и подтверждает корректность результатов, сгенерированных ИИ. Это может включать проверку предсказаний модели, оценку качества сгенерированного контента или подтверждение идентификации объектов. Такая роль снижает риски ложных срабатываний и повышает доверие к автономным решениям.

• Принятие решений в сложных случаях: Когда ИИ-система не может принять решение с достаточной уверенностью (например, из-за неполных данных, неоднозначности или отсутствия аналогов в обучающей выборке), задача передаётся человеку. Эксперт использует свои знания и опыт для принятия окончательного решения, которое затем может быть использовано для обучения ИИ.

• Коррекция ошибок: Человек выявляет и исправляет ошибки, допущенные ИИ-системой. Эти исправления имеют двойную ценность: они обеспечивают корректность текущего результата и одновременно служат ценным источником данных для последующего переобучения модели, помогая ей избегать подобных ошибок в будущем.

• Обучение ИИ: В более широком смысле, все вышеперечисленные действия являются формой обучения или донастройки ИИ. Человек передаёт свои знания системе, позволяя ей не просто обрабатывать информацию, но и "учиться" на примерах, которые требуют глубокого понимания контекста или нюансов, недоступных для чисто алгоритмического подхода.

Бизнес-ценность Human-in-the-Loop

Внедрение Human-in-the-Loop систем предоставляет значимые конкурентные преимущества и стратегическую ценность для бизнеса, позволяя решать сложные задачи с высоким уровнем надёжности и эффективности. Это не просто инструмент для исправления ошибок, а стратегический подход к управлению качеством и инновациями в эпоху ИИ.

• Повышение качества данных и моделей: Постоянное участие человека в процессе разметки и верификации напрямую улучшает качество обучающих данных, что критически важно для производительности ИИ-моделей. Это приводит к более точным предсказаниям, классификациям и снижению частоты ошибок, что особенно ценно в приложениях с высокими требованиями к надёжности.

• Снижение операционных рисков и ошибок: Человеческий контроль на критических этапах позволяет значительно снизить вероятность дорогостоящих ошибок, вызванных автономными ИИ-системами. Например, в финансах HITL предотвращает ошибочные блокировки легитимных транзакций или пропуск мошенничества, а в медицине — неверные диагнозы.

• Ускорение вывода продуктов на рынок для сложных решений: Возможность быстро включать экспертные знания в процесс разработки и тестирования ИИ-решений позволяет быстрее достигать требуемого уровня производительности и безопасности. Это особенно актуально для инновационных продуктов, где ИИ сталкивается с новыми типами данных или ранее неисследованными сценариями.

• Масштабируемость процессов, требующих экспертной оценки: HITL-системы позволяют масштабировать задачи, которые традиционно требовали значительных человеческих ресурсов. ИИ выполняет основную часть работы, а человек фокусируется на наиболее сложных и критически важных случаях, что оптимизирует использование экспертного времени и ресурсов.

• Повышение доверия к ИИ-системам: Прозрачность и контролируемость, обеспечиваемые Human-in-the-Loop, повышают доверие пользователей и регуляторов к ИИ-решениям. Знание о том, что человек контролирует критические аспекты и может исправлять ошибки, снимает опасения относительно "чёрного ящика" ИИ, что способствует более широкому внедрению технологий искусственного интеллекта.

Зачем нужен человек: Преимущества Human-in-the-Loop (HITL) перед автономным ИИ

Внедрение Human-in-the-Loop (HITL) систем обусловлено фундаментальными ограничениями, с которыми сталкиваются полностью автономные ИИ-решения в реальных условиях эксплуатации. Несмотря на впечатляющие достижения в области машинного обучения, существуют сценарии, где человеческий интеллект и опыт остаются незаменимыми. Интеграция человека в контур ИИ не просто исправляет ошибки, но и обеспечивает уровень надёжности, адаптивности и этичности, недостижимый для машин в отрыве от экспертной оценки. Это позволяет эффективно решать задачи, где требуется высокая степень точности, понимание контекста или принятие решений в условиях неопределённости.

Когда автономный ИИ демонстрирует ограничения

Полностью автономные ИИ-системы эффективно справляются с рутинными, хорошо структурированными задачами при наличии больших объёмов размеченных данных. Однако их эффективность снижается в условиях, требующих глубокого контекстуального понимания, обработки редких событий или адаптации к быстро меняющимся реалиям. В таких ситуациях ИИ демонстрирует ряд характерных ограничений, которые могут привести к неоптимальным или даже критически ошибочным результатам.

• Сложность данных и неопределённость: ИИ-модели по своей природе экстраполируют знания из обучающих данных. Если данные неоднозначны, неполны, содержат скрытые паттерны, или если входные данные значительно отличаются от обучающей выборки (данные, находящиеся вне обучающего распределения), ИИ может демонстрировать низкую уверенность, ошибочные предсказания или полную неспособность классифицировать объект. Человеческий мозг, напротив, способен интегрировать разрозненные сведения, интуитивно определять контекст и принимать обоснованные решения даже при наличии неопределённости.

• Отсутствие обучающих данных для редких событий: Для многих критически важных задач (например, обнаружение кибератак нового типа, редких заболеваний или аномалий в сложных системах) просто не существует достаточного объёма данных для полноценного обучения ИИ. Автономные системы будут либо генерировать высокий процент ложных срабатываний, либо пропускать истинные события. Человек-эксперт способен распознавать эти редкие случаи, опираясь на глубокие знания предметной области и опыт, даже при минимальном количестве примеров.

• Требования к высоким стандартам безопасности и этики: В таких сферах, как медицинская диагностика, беспилотный транспорт или системы правосудия, цена ошибки ИИ может быть чрезвычайно высока. Автономные решения могут непреднамеренно воспроизводить или усиливать социальные предвзятости, присутствующие в обучающих данных, что приводит к неэтичным или дискриминационным результатам. Человеческий надзор становится критически важным для обеспечения справедливости, прозрачности и соответствия регуляторным нормам, предотвращая негативные социальные последствия.

Ключевые преимущества Human-in-the-Loop над автономными системами

Интеграция человека в контур искусственного интеллекта даёт гибридным системам ряд неоспоримых преимуществ перед их полностью автономными аналогами, делая их более надёжными, гибкими и этичными. Эти преимущества проявляются на всех этапах жизненного цикла ИИ-решений, от обучения до эксплуатации.

Непревзойдённая точность и устойчивость к ошибкам

Человек в Human-in-the-Loop-системе является конечным арбитром в ситуациях, где ИИ-модель испытывает трудности или демонстрирует низкую уверенность. Экспертная проверка и корректировка результатов ИИ позволяют довести точность системы до требуемого уровня, что особенно критично для сфер с высокой ценой ошибки. Например, в банковском секторе, где автономные системы обнаружения мошенничества могут давать 15-20% ложных срабатываний, человеческая верификация сокращает эти показатели до минимума, предотвращая финансовые потери и повышая лояльность клиентов. Это обеспечивает устойчивость к ошибкам, которая недостижима для автономных алгоритмов.

Эффективная обработка граничных и аномальных случаев

Автономные ИИ-модели часто демонстрируют снижение производительности на данных, которые лежат вне основного распределения обучающей выборки или представляют собой уникальные, "пограничные" сценарии. Human-in-the-Loop позволяет целенаправленно направлять такие случаи к человеку, который способен интерпретировать сложные нюансы и принимать обоснованные решения. Эти решения затем интегрируются обратно в обучающую выборку, значительно расширяя "знания" ИИ и повышая его способность справляться с ранее неопределёнными ситуациями. Это критично для систем, работающих в динамичной и непредсказуемой среде.

Снижение алгоритмической предвзятости и обеспечение справедливости

ИИ-модели склонны воспроизводить и даже усиливать предвзятости, содержащиеся в обучающих данных, что может приводить к дискриминационным или несправедливым решениям. Человек в контуре HITL выступает в роли цензора, способного выявлять и корректировать такие систематические ошибки. Эксперты могут анализировать результаты ИИ на предмет справедливости, выявлять несбалансированные классификации и предлагать меры по снижению предвзятости. Это позволяет создавать более этичные и социально ответственные ИИ-системы, соответствующие нормативным требованиям и ожиданиям общества.

Гибкая адаптация к динамической среде

Мир вокруг нас постоянно меняется: появляются новые продукты, угрозы, нормативные акты и пользовательские запросы. Автономные ИИ-системы, обученные на старых данных, быстро устаревают. Human-in-the-Loop обеспечивает механизм быстрой адаптации: когда ИИ сталкивается с новыми данными, его неуверенные предсказания передаются человеку, который быстро размечает или корректирует их. Это позволяет оперативно переобучать модель на актуальных данных, поддерживая её релевантность и высокую производительность на протяжении всего жизненного цикла. Такая гибкость критически важна для конкурентоспособности в быстро меняющихся рыночных условиях.

Повышение доверия и соответствие регуляторным требованиям

Знание о том, что критически важные решения ИИ находятся под контролем человека, значительно повышает доверие пользователей, заинтересованных сторон и регуляторов к системе. Human-in-the-Loop делает процесс принятия решений более прозрачным и объяснимым, что особенно важно в регулируемых отраслях, таких как медицина, финансы или юриспруденция. Соблюдение принципов "человек в контуре" способствует выполнению требований таких регламентов, как GDPR (General Data Protection Regulation) или аналогичных стандартов, предусматривающих человеческий надзор за автоматизированными решениями, имеющими значительные последствия для людей.

Генерация качественных данных для непрерывного обучения

Одним из ключевых преимуществ HITL является способность непрерывно генерировать высококачественные размеченные данные. Каждый раз, когда человек корректирует ошибку ИИ или принимает решение в сложном случае, эти данные автоматически поступают в контур обратной связи для переобучения модели. Это создаёт самосовершенствующийся цикл, где человеческое вмешательство не только улучшает текущий результат, но и постоянно обогащает обучающую выборку. В долгосрочной перспективе это позволяет ИИ-системе со временем снижать потребность в человеческом вмешательстве, фокусируя его на всё более сложных и редких задачах.

Для наглядности, сравним ключевые аспекты полностью автономного ИИ и Human-in-the-Loop систем.

Как работает Human-in-the-Loop (HITL): Архитектура и этапы взаимодействия

Human-in-the-Loop (HITL) система функционирует как динамический цикл, в котором ИИ-алгоритмы и человеческий интеллект взаимодействуют для решения задач, требующих высокой точности, адаптивности и способности обрабатывать сложные или неопределённые сценарии. Этот процесс представляет собой непрерывный контур, где каждый этап улучшает последующий, приводя к эволюционному совершенствованию как автономной части, так и общего качества принимаемых решений. Основная идея заключается в стратегическом использовании человеческого времени и экспертизы для обработки наиболее сложных случаев, в то время как рутинные операции автоматизированы.

Архитектурные компоненты Human-in-the-Loop систем

Эффективная система Human-in-the-Loop строится на модульной архитектуре, которая обеспечивает бесшовное взаимодействие между машиной и человеком. Каждый компонент выполняет специфическую функцию, способствующую общей цели непрерывного улучшения и высокой надёжности гибридного интеллекта.

• Модуль приёма данных и первичной обработки: Отвечает за сбор данных из различных источников, их очистку, нормализацию и подготовку для анализа. Это может включать преобразование форматов, фильтрацию шума или начальную предобработку, прежде чем данные поступят в ИИ-модель. Бизнес-ценность заключается в обеспечении качества и согласованности входных данных, что критически важно для работы как ИИ, так и человека.

• Модуль ИИ (автоматизированная обработка): Ядро системы, выполняющее основную часть работы: классификацию, распознавание, генерацию или предсказание. Этот модуль обрабатывает подавляющее большинство входных данных, на которых модель демонстрирует высокую уверенность в своих решениях. Он обеспечивает масштабирование и скорость обработки рутинных задач, освобождая человеческие ресурсы для более комплексной работы.

• Механизм определения неопределённости и сложности: Критически важный компонент, который анализирует выходные данные ИИ-модели. Он выявляет случаи, где уверенность модели ниже заданного порогового значения, где возникают конфликты предсказаний или где задача по своей природе требует человеческой экспертизы (например, по регуляторным или этическим причинам). Использование этого механизма позволяет минимизировать ложные срабатывания и сократить количество обращений к человеку, фокусируя его внимание на действительно важных задачах.

• Модуль маршрутизации задач человеку: После идентификации сложных случаев, этот модуль направляет их к соответствующим человеческим операторам или группам экспертов. Он может учитывать специализацию операторов, их текущую загрузку, срочность задачи и сложность, чтобы обеспечить оптимальное распределение работы. Это позволяет эффективно управлять потоком задач, сокращая время отклика и повышая производительность труда.

• Интерфейс оператора (рабочее место): Специализированное программное обеспечение, предоставляющее человеку всю необходимую информацию и инструменты для эффективного выполнения задачи. Это может быть интерфейс для разметки изображений, редактирования текста, проверки транзакций или принятия сложных решений. Удобный и интуитивно понятный интерфейс снижает когнитивную нагрузку на оператора и минимизирует вероятность ошибок, повышая скорость и качество работы.

• Модуль сбора и объединения человеческих решений: Собирает и консолидирует ответы от одного или нескольких операторов. Включает механизмы для разрешения конфликтов (например, через голосование большинства, повторную проверку другим экспертом или оценку квалификации оператора), а также для проверки данных на предмет качества и согласованности. Этот модуль гарантирует высокое качество размеченных данных, которые будут использоваться для обратной связи.

• Контур обратной связи и переобучения: Интегрирует проверенные и валидированные человеческие решения обратно в цикл ИИ-модели. Эти данные используются для дообучения, тонкой настройки или полного переобучения алгоритмов. Это непрерывный процесс, который позволяет ИИ учиться на ошибках и новых данных, постоянно совершенствуя свою производительность и снижая зависимость от будущего человеческого вмешательства. Бизнес-ценность — постоянное улучшение качества продукта и снижение операционных затрат в долгосрочной перспективе.

Этапы взаимодействия в цикле Human-in-the-Loop

Рабочий процесс Human-in-the-Loop можно представить как последовательность этапов, образующих непрерывный цикл совершенствования. Этот цикл гарантирует, что человеческое вмешательство происходит точно там, где оно необходимо, и приносит максимальную пользу.

1. Инициация и автоматическая обработка: Поток данных поступает в систему Human-in-the-Loop. Модуль ИИ первично обрабатывает эти данные, применяя свои алгоритмы для классификации, предсказания или генерации решений. На этом этапе ИИ обрабатывает все случаи, в которых он демонстрирует высокую уверенность или которые относятся к хорошо изученным шаблонам. Это обеспечивает быструю и масштабируемую обработку основного объёма данных.

2. Выявление и маршрутизация сложных случаев: Механизм определения неопределённости анализирует результаты ИИ. Если уверенность модели ниже заданного порога, или если случай определён как "граничный", аномальный, либо требующий экспертной оценки по заранее определённым правилам, то задача передаётся в модуль маршрутизации. Этот модуль определяет наиболее подходящего оператора или группу для выполнения задачи.

3. Человеческое вмешательство и принятие решений: Выбранный оператор получает задачу через специализированный интерфейс. Человек анализирует данные, проверяет предсказания ИИ, размечает неклассифицированные элементы, корректирует ошибки или принимает окончательное решение в сложных ситуациях, используя свой опыт и знания предметной области. Этот этап обеспечивает внесение высококачественной человеческой экспертизы.

4. Сбор и проверка человеческих данных: Решения, принятые человеком (или группой людей), собираются и проходят проверку в модуле сбора. Это может включать сравнение нескольких человеческих ответов на одну и ту же задачу для обеспечения согласованности или проверку качества внесённых данных. Цель — гарантировать, что обратная связь от человека является точной и надёжной.

5. Обратная связь и переобучение модели: Проверенные человеческие данные и принятые решения интегрируются в обучающую выборку. Модуль обратной связи использует эти новые данные для дообучения ИИ-модели, позволяя ей учиться на ранее сложных или ошибочных случаях. Это замыкает цикл, обеспечивая непрерывное совершенствование ИИ, его адаптацию к новым условиям и снижение потребности в человеческом вмешательстве для аналогичных будущих задач.

Механизмы определения необходимости человеческого вмешательства

Эффективность Human-in-the-Loop системы во многом зависит от того, насколько точно она может определять, когда именно требуется вмешательство человека. Существует несколько ключевых механизмов для идентификации таких ситуаций.

• Пороговые значения уверенности: ИИ-модели часто предоставляют метрику уверенности для своих предсказаний. Если уверенность модели в конкретном решении ниже заранее установленного порога (например, 90% для классификации), система автоматически передаёт эту задачу человеку. Это позволяет обрабатывать только те случаи, где ИИ действительно не уверен, оптимизируя использование человеческих ресурсов. Пример: ИИ-модель классифицирует спам с уверенностью 98%, но потенциально мошенническое письмо - с 65%. Последнее направляется человеку.

• Активное обучение: Этот подход фокусируется на выборе наиболее информативных примеров для ручной разметки. Система активно ищет данные, которые находятся близко к границам классов, являются аномальными или могут принести наибольшую пользу для переобучения модели. Вместо случайного выбора, человек размечает те данные, которые максимально способствуют улучшению производительности ИИ. Это значительно сокращает объём ручной работы, сохраняя высокую эффективность обучения.

• Несоответствие правил и эвристики: Помимо алгоритмической уверенности, система может использовать набор заранее определённых бизнес-правил или эвристик. Если предсказание ИИ противоречит одному из этих правил (например, автоматическая выдача кредита клиенту с низкой кредитной историей, что запрещено политикой банка), или если оно попадает в категорию, требующую обязательной человеческой проверки (например, сумма транзакции превышает определённый лимит), задача автоматически направляется эксперту. Это обеспечивает соблюдение регуляторных норм и корпоративных политик.

• Мониторинг производительности и дрейфа данных: Системы Human-in-the-Loop постоянно отслеживают производительность ИИ-модели в реальном времени, а также изменения в распределении входящих данных. Значительное снижение точности, рост числа неопределённых случаев или обнаружение дрейфа данных (когда характеристики входных данных меняются со временем) сигнализирует о необходимости человеческого вмешательства. Это может быть как разметка новых данных для переобучения, так и анализ причин изменения производительности.

• Случайная выборка и аудит качества: Для обеспечения общего качества и выявления скрытых проблем, которые не обнаруживаются другими механизмами, система может периодически направлять случайную выборку обработанных ИИ-системой задач человеку для аудита. Это позволяет контролировать качество работы ИИ и операторов, выявлять новые типы ошибок или предвзятости, а также подтверждать общую надёжность системы.

Пример рабочего процесса Human-in-the-Loop: Модерация контента

Для наглядности рассмотрим, как концепция Human-in-the-Loop реализуется в процессе модерации пользовательского контента, например, комментариев или изображений в социальной сети. Этот пример демонстрирует взаимодействие всех описанных компонентов и этапов HITL.