Des recherches antérieures montrent que les modèles de grandes langues sont capables de générer du texte nocif pour certains groupes de personnes, y compris ceux qui s'identifient comme noirs, femmes, personnes handicapées et musulmans. Étant donné que 90% des élèves qui fréquentent les écoles qui travaillent avec Charter School Growth Fund s'identifient comme des personnes de couleur, Connell dit: «Avoir un humain dans la boucle est encore plus important, car il peut assez rapidement générer du contenu qui n'est pas acceptable de mettre devant les enfants.»

April Goble, directeur exécutif du groupe des écoles à charte Kipp Chicago, qui compte de nombreux élèves qui sont des personnes de couleur, dit que la compréhension du risque lié à l'intégration de l'IA dans les écoles et les salles de classe est un problème important pour ceux qui essaient de s'assurer que l'IA aide plutôt que de nuire aux élèves. L'IA a «une histoire de parti pris contre les communautés que nous servons», dit-elle.

La semaine dernière, la Fédération américaine des enseignants, un syndicat pour les éducateurs, a créé un comité pour développer les meilleures pratiques pour les enseignants utilisant l'IA, avec des lignes directrices en décembre. Son président, Randi Weingarten, dit que bien que les éducateurs puissent apprendre à exploiter la force de l'IA et à enseigner aux enfants comment en bénéficier également, la technologie ne devrait pas remplacer les enseignants et devrait être soumise à une réglementation pour garantir l'exactitude, l'équité et l'accessibilité. «L'IA générative est la« prochaine grande chose »dans nos salles de classe, mais les développeurs ont besoin d'un ensemble de chèques et de contrepoids afin qu'il ne devienne pas notre prochain gros problème.»

Il est trop tôt pour savoir comment l'utilisation par les enseignants du texte génératif affecte les élèves et ce qu'ils peuvent réaliser. Vincent Aleven, co-éditeur d'une IA dans la revue de recherche en éducation et professeur à l'Université Carnegie Mellon, s'inquiète des enseignants qui attribuent des tâches nuancées à des modèles linguistiques comme la note ou comment résoudre les problèmes de comportement des élèves où les connaissances sur un étudiant particulier peuvent être importantes. «Les enseignants connaissent leurs élèves. Un modèle de langue ne le fait pas », dit-il. Il s'inquiète également des enseignants qui se détendent trop dépendants des modèles linguistiques et transmettant des informations aux élèves sans remettre en question la production.

Shana White, une ancienne enseignante qui dirige un projet de justice et d'éthique technologique au Kapor Center, un organisme à but non lucratif axé sur la clôture des lacunes en matière de technologie, dit que les enseignants doivent apprendre à ne pas prendre ce que l'IA leur donne à sa valeur nominale. Au cours d'une séance de formation avec les éducateurs du district scolaire d'Oakland cet été, les enseignants utilisant Chatgpt pour faire des plans de cours ont découvert des erreurs dans sa production, y compris le texte impropre à une classe de sixième année et des traductions inexactes de matériel pédagogique de l'anglais à l'espagnol ou au vietnamien.

En raison d'un manque de ressources et d'un matériel pédagogique pertinent, certains enseignants noirs et latinos peuvent favoriser une utilisation génératrice de l'IA en classe, explique Antavis Spells, directeur de résidence dans une école de Kipp Chicago qui a commencé à utiliser l'IA Magicschool il y a six semaines. Il ne s'inquiète pas que les enseignants grandissent trop dépendants des modèles linguistiques. Il est satisfait de la façon dont l'outil lui fait gagner du temps et le permet de se sentir plus présent et moins préoccupé par les événements sportifs de sa fille, mais aussi sur la façon dont il peut générer rapidement du contenu qui donne aux étudiants un sentiment d'appartenance.

Dans un cas, il y a trois semaines, les sorts ont reçu un SMS d'un parent faisant un collage pour l'anniversaire de son fils qui lui a demandé de partager quelques mots. Avec une poignée d'adjectifs pour le décrire, les sorts ont répondu au message avec une version personnalisée de la chanson préférée de l'élève, «Put On», de Young Jeezy et Kanye West.

«J'ai envoyé cela au parent et elle m'a renvoyé en pleurant les emojis», dit Spels. «Juste pour voir la joie que cela a apporté à une famille… et cela m'a probablement fallu moins de 60 secondes pour le faire.» Kipp Chicago prévoit de commencer à obtenir des commentaires des parents et à déployer l'utilisation de Magicschool à plus d'enseignants en octobre.