CriticGPT от OpenAI обнаруживает ошибки в выводе кода GPT-4
Узнайте, как CriticGPT помогает тренерам-людям, обнаруживая ошибки в коде и выявляя упущенные из виду ошибки в данных обучения ChatGPT.
OpenAI представила CriticGPT, модель, предназначенную для помощи тренерам в анализе результатов кодирования GPT-4. В своей статье под названием «Критики LLM помогают выявлять ошибки LLM» исследователи OpenAI подробно описывают, как CriticGPT обучался с использованием обучения с подкреплением на основе обратной связи от человека (RLHF), аналогичного ChatGPT. Преподаватели обучают модели, используя образцы кода, намеренно содержащие ошибки, что позволяет ей выявлять и критиковать ошибки кодирования в различных контекстах. Ожидается, что этот инструмент будет очень полезен преподавателям, которые могут не заметить ошибки программирования, допущенные большими языковыми моделями (LLM).
В ходе тестирования CriticGPT продемонстрировал свою способность обнаруживать как намеренно вставленные, так и естественные ошибки в результатах кодирования ChatGPT. Исследователи обнаружили, что в 63% случаев, связанных с естественными ошибками, тренеры предпочитали всестороннюю критику CriticGPT критике, созданной человеком, отмечая меньшее количество галлюцинаций и меньшее количество бесполезных отзывов. В документе также представлен метод Force Sampling Beam Search (FSBS), который расширяет возможности CriticGPT генерировать подробные проверки кода на основе конкретных задач обучения ИИ, позволяя преподавателям при необходимости корректировать обнаружение ошибок и тщательность.
CriticGPT помогает тренерам обнаруживать ошибки
CriticGPT доказывает свою ценность не только в обнаружении ошибок в коде, сгенерированном ИИ, но и в обнаружении ошибок, упущенных людьми-аннотаторами в обучающих данных ChatGPT. Исследователи сообщают, что модель выявила ошибки в 24% ранее считавшихся безошибочными данных.
Однако CriticGPT имеет ограничения, особенно при решении очень сложных задач, поскольку он обучен кратким ответам ChatGPT. Будущие версии направлены на улучшение возможностей. Хотя галлюцинации случаются нечасто, они все же возможны и потенциально могут ввести в заблуждение комментаторов.
