The Huge Power and Potential Danger of AI-Generated Code
En juin 2021, GitHub a annoncé COPILOT, une sorte d'achèvement automatique pour le code informatique alimenté par la technologie de génération de texte d'Openai. Il a fourni un aperçu précoce du potentiel impressionnant de l'intelligence artificielle générative pour automatiser un travail précieux. Deux ans plus tard, Copilot est l'un des exemples les plus matures de la façon dont la technologie peut assumer des tâches qui devaient auparavant être effectuées à la main.
Cette semaine GitHub a publié un rapportsur la base des données de près d'un million de programmeurs payant pour utiliser Copilot, qui montre comment le codage de l'IA génératif transformationnel est devenu. En moyenne, ils ont accepté les suggestions de l'assistant de l'IA environ 30% du temps, ce qui suggère que le système est remarquablement bon pour prédire le code utile.
Le tableau de frappe ci-dessus montre comment les utilisateurs ont tendance à accepter davantage de suggestions de Copilot car ils passent plus de mois à utiliser l'outil. Le rapport conclut également que les codeurs améliorés par l'IA voient leur productivité augmenter avec le temps, en fonction du fait que Une étude de copilote précédente ont rapporté un lien entre le nombre de suggestions acceptées et la productivité d'un programmeur. Le nouveau rapport de Github indique que les plus grands gains de productivité ont été observés parmi les développeurs moins expérimentés.
À première vue, c'est une image impressionnante d'une nouvelle technologie prouvant rapidement sa valeur. Toute technologie qui améliore la productivité et renforce les capacités des travailleurs moins qualifiés pourrait être une aubaine pour les individus et l'économie plus large. GitHub continue en offrant une spéculation à l'arrière de l'enveloppe, estimant que le codage de l'IA pourrait augmenter le PIB mondial de 1,5 billion de dollars d'ici 2030.
Mais le graphique de GitHub montrant que les programmeurs se lient avec Copilot m'ont rappelé une autre étude dont j'ai entendu parler récemment, tout en discutant avec Talia Ringerprofesseur à l'Université de l'Illinois à Urbana-Champaign, à propos de la relation des codeurs avec des outils comme Copilot.
À la fin de l'année dernière, une équipe de l'Université de Stanford Publié un document de recherche Cela a examiné comment l'utilisation d'un assistant AI générant du code qu'ils ont construit affecte la qualité du code que les gens produisent. Les chercheurs ont constaté que les programmeurs obtenant des suggestions d'IA avaient tendance à inclure plus de bugs dans leur code final – pour que ceux qui ont accès à l'outil aient tendance à croire que leur code était plus sécurisé. «Il y a probablement des avantages et des risques impliqués» dans le codage en tandem avec l'IA, explique Ringer. “Plus de code n'est pas un meilleur code.”
Lorsque vous considérez la nature de la programmation, cette constatation n'est guère surprenante. Comme Clive Thompson l'a écrit dans une fonctionnalité filaire en 2022, Copilot peut sembler miraculeux, mais ses suggestions sont basées sur des modèles dans le travail d'autres programmeurs, qui peuvent être défectueux. Ces suppositions peuvent créer des insectes diaboliquement difficiles à repérer, surtout lorsque vous êtes ensorcelé par la qualité souvent de l'outil.