Многие ведущие модели искусственного интеллекта не соответствуют ключевым требованиям будущего европейского законодательства в области кибербезопасности и недискриминационного вывода данных. Это показала новая система тестирования LatticeFlow LLM Checker, разработанная швейцарским стартапом LatticeFlow AI совместно с исследовательскими институтами. Об этом пишет Reuters.
Тестирование оценило модели от Alibaba, Anthropic, OpenAI, Meta (признана в России экстремистской и запрещена) и Mistral по шкале от 0 до 1 по десяткам критериев, включая техническую надежность и безопасность. Средний балл большинства составил 0,75 и выше, однако в отдельных категориях результаты оказались низкими.
Так, GPT-3.5 Turbo от OpenAI получила лишь 0,46 за недискриминационный вывод данных. Модель Llama 2 компании Meta набрала 0,42 в тестировании на устойчивость к кибератакам. Самый высокий средний балл 0,89 у Claude 3 Opus от Anthropic.
«С большим фокусом на оптимизацию для соблюдения нормативов, поставщики моделей могут хорошо подготовиться к нормативным требованиям», — отметил CEO LatticeFlow Петар Цанков.
Несоблюдение Акта об ИИ ЕС грозит штрафами до €35 млн или 7% годового глобального оборота для компаний.
До этого стало известно, что в Евросоюзе проведут проверку появления в смартфонах Samsung нейросети от Google.
Ранее Евросоюз поддержал закон о регулировании ИИ.