Компания OpenAI объявила о намерении приобрести платформу безопасности Promptfoo, которая помогает компаниям выявлять и устранять уязвимости в системах искусственного интеллекта на этапе разработки. Об этом сообщает Qazinform.com.

По данным компании, по мере того как предприятия все активнее внедряют ИИ-агентов в реальные рабочие процессы, возрастает необходимость обеспечивать безопасность, соответствие требованиям и предсказуемое поведение таких систем. Инструменты Promptfoo позволят тестировать ИИ-агентов, выявлять потенциальные риски до их внедрения и сохранять прозрачные записи для управления и отчетности.

Платформа, созданная под руководством Ян Вебстер и Майкл Д’Анджело, поддерживает популярную библиотеку с открытым исходным кодом и интерфейс командной строки для оценки и тестирования приложений на базе больших языковых моделей. В OpenAI заявили, что продолжат поддерживать открытый исходный код проекта, одновременно развивая его корпоративные возможности в платформе Frontier.

Как отметил технический директор B2B-приложений компании Шринивас Нараянан, Promptfoo обладает значительным инженерным опытом в оценке, тестировании и обеспечении безопасности ИИ-систем на уровне предприятий. По его словам, интеграция этих решений поможет компаниям разворачивать более безопасные и надежные ИИ-приложения.

Среди ключевых функций, которые появятся в Frontier, — встроенное тестирование безопасности, автоматические проверки и «красные команды» для выявления таких рисков, как prompt-инъекции, джейлбрейки, утечки данных и нарушения политик использования.

Проверки безопасности планируется интегрировать непосредственно в процессы разработки, чтобы выявлять и устранять риски на ранних этапах. Кроме того, инструменты отчетности и отслеживания помогут компаниям документировать тестирование и соблюдать требования по управлению и комплаенсу.

Ранее Qazinform сообщал, что количество удалений мобильного приложения ChatGPT в США резко выросло после новостей о партнерстве OpenAI с Министерство обороны США.