Comment détecter si du code a été généré par une IA ?

Les instructeurs, les responsables du recrutement et les organisateurs de CTF posent tous une version de cette question. Il n'existe pas de détecteur unique fiable, mais il y a des motifs qui apparaissent assez souvent pour être utiles, particulièrement quand vous évaluez un lot de soumissions plutôt qu'un seul fichier isolé.

Indices structurels dans le code généré

Le code généré tend à sur-commenter d'une manière spécifique : des commentaires qui reformulent ce que fait la ligne (# incrémenter le compteur) plutôt que d'expliquer pourquoi elle existe. Le code écrit par un humain sous pression de temps omet les commentaires évidents et explique seulement les parties bizarres. Le code généré tend aussi vers une longueur de fonction uniforme et une gestion des erreurs cohérente et parfaite comme dans les manuels, même dans les endroits où une personne aurait été paresseuse ou aurait utilisé un raccourci appris d'un bogue précédent.

Autre indice : des noms de variables et de fonctions légèrement trop descriptifs et génériques à la fois. calculate_total_price_with_tax au lieu de calc_total ou n'importe quel raccourci auquel converge une vrai base de code. Les vrais projets accumulent des incohérences de nommage au fil du temps à mesure que différentes personnes modifient le fichier. Un seul fichier avec des conventions de nommage suspectes cohérentes sur 300 lignes, écrit supposément par un débutant, mérite un second coup d'œil.

Poser des questions sur les parties qui ne s'exécutent pas

La vérification pratique la plus rapide est de demander à la personne d'expliquer une décision spécifique qui n'est pas évidente à la lecture du code, quelque chose comme