Как узнать, написан ли код ИИ?

Практические признаки распознавания кода, созданного ИИ, и текстов, от структурных особенностей до вопросов, на которых генерируемые работы дают сбой.

Инструкторы, рекрутеры и организаторы CTF постоянно задают что-то в этом роде. Нет единого надёжного детектора, но есть закономерности, которые появляются достаточно часто, чтобы быть полезными, особенно когда ты оцениваешь партию отправок, а не один изолированный файл.

Структурные особенности генерируемого кода

Генерируемый код склонен к переизбытку комментариев определённого рода: комментариев, которые пересказывают, что делает строка (# увеличить счётчик), а не почему она существует. Человеческий код в условиях нехватки времени пропускает очевидные комментарии и объясняет только странные части. Генерируемый код также имеет тенденцию к единообразной длине функций и стабильной, идеально учебниковой обработке ошибок везде, даже в местах, где человек поленился бы или воспользовался бы сокращением, которое выучил из предыдущего бага.

Ещё один признак: имена переменных и функций, которые одновременно слишком описательны и слишком обобщены. calculate_total_price_with_tax вместо calc_total или какого-нибудь сокращения, к которому сходится реальная кодовая база. Реальные проекты накапливают нарушения в соглашениях об именовании со временем, когда к файлу прикасаются разные люди. Один файл с подозрительно стабильными соглашениями об именовании на протяжении 300 строк, якобы написанный новичком, стоит проверить ещё раз.

Спроси о частях, которые не работают

Самый быстрый практический способ — попросить человека объяснить конкретное решение, которое не очевидно из прочтения кода, что-то вроде

Написано с помощью ИИ, проверено и опубликовано Михалом Пильхом (CISSP), Korra Studio.