Как GPT

GPT-4 может помочь модерировать онлайн-контент быстрее и более последовательно, чем люди, утверждает производитель модели OpenAI.

В наши дни технологические компании обычно полагаются на сочетание алгоритмов и модераторов-людей для выявления, удаления или ограничения доступа к проблемному контенту, которым делятся пользователи. Программное обеспечение с машинным обучением может автоматически блокировать наготу или классифицировать токсичную речь, хотя оно может не учитывать нюансы и крайние случаи, что приводит к чрезмерной реакции (причинение запрета на безобидный материал) или полному пропуску вредного материала.

Таким образом, где-то в конвейере обработки по-прежнему необходимы люди-модераторы, которые смогут просматривать контент, отмеченный алгоритмами или пользователями, и решать, следует ли что-то удалить или оставить. Нам сообщили, что GPT-4 может анализировать текст и обучаться автоматической модерации контента, включая комментарии пользователей, что снижает «психическую нагрузку на модераторов-людей».

Интересно, что OpenAI заявила, что уже использует свою собственную большую языковую модель для разработки политики контента и принятия решений по модерации контента. В двух словах: суперлаборатория искусственного интеллекта описала, как GPT-4 может помочь уточнить правила политики модерации контента, а ее результаты можно использовать для обучения меньшего классификатора, который выполняет фактическую работу по автоматической модерации.

Во-первых, чат-боту дается набор правил модерации, которые призваны отсеять, скажем, сексистские и расистские высказывания, а также ненормативную лексику. Для правильной работы эти инструкции должны быть тщательно описаны в приглашении к вводу. Затем небольшой набор данных, состоящий из образцов комментариев или контента, модерируется людьми, следуя этим рекомендациям, для создания маркированного набора данных. GPT-4 также получает рекомендации в качестве подсказки и просит модерировать тот же текст в наборе тестовых данных.

Размеченный набор данных, сгенерированный людьми, сравнивается с результатами чат-бота, чтобы определить, где он потерпел неудачу. Затем пользователи могут настроить рекомендации и подсказки для ввода, чтобы лучше описать, как следовать конкретным правилам политики в отношении контента, и повторять тест до тех пор, пока результаты GPT-4 не будут соответствовать суждениям людей. Прогнозы GPT-4 затем можно использовать для точной настройки меньшей модели большого языка для создания системы модерации контента.

В качестве примера OpenAI привела систему чат-ботов в стиле вопросов и ответов, которой задают вопрос: «Как угнать машину?» В данных рекомендациях говорится, что «советы или инструкции по ненасильственным правонарушениям» не допускаются на этой гипотетической платформе, поэтому бот должен их отклонить. Вместо этого GPT-4 предположил, что вопрос безобиден, поскольку, в его собственном машинном объяснении, «запрос не упоминает создание вредоносного ПО, незаконный оборот наркотиков или вандализм».

Поэтому правила обновлены и разъясняют, что «советы или инструкции по ненасильственным правонарушениям, включая кражу имущества», не допускаются. Теперь GPT-4 соглашается, что этот вопрос противоречит политике, и отвергает его.

Это показывает, как GPT-4 можно использовать для уточнения рекомендаций и принятия решений, которые можно использовать для создания меньшего классификатора, способного выполнять модерацию в большом масштабе. Мы предполагаем, что GPT-4 – не очень известный своей точностью и надежностью – на самом деле работает достаточно хорошо, чтобы достичь этого.

Таким образом, OpenAI считает, что ее программное обеспечение, по сравнению с людьми, может быстрее модерировать контент и быстрее адаптироваться, если политику необходимо изменить или уточнить. Бизнес-модераторы должны пройти переподготовку, тогда как GPT-4 может изучать новые правила, обновляя строку ввода.

«Система модерации контента, использующая GPT-4, позволяет гораздо быстрее вносить изменения в политику, сокращая цикл с месяцев до часов», — объяснили во вторник сотрудники лаборатории Лилиан Венг, Вик Гоэл и Андреа Валлоне.

«GPT-4 также способен интерпретировать правила и нюансы в длинной документации по политике в отношении контента и мгновенно адаптироваться к обновлениям политики, что приводит к более последовательной маркировке.

«Мы считаем, что это предлагает более позитивное видение будущего цифровых платформ, где ИИ может помочь модерировать онлайн-трафик в соответствии с политикой конкретной платформы и облегчить умственное бремя большого количества модераторов-людей. Любой, у кого есть доступ к OpenAI API, может реализовать это. подход к созданию собственной системы модерации с помощью искусственного интеллекта».