Les deux dernières semaines avant la date limite étaient frénétiques. Bien que officiellement une partie de l'équipe ait encore des bureaux dans la construction en 1945, ils ont surtout travaillé en 1965 parce qu'il avait une meilleure machine à expresso dans le micro-kitchen. «Les gens ne dormaient pas», explique Gomez, qui, en tant que stagiaire, vivait dans une frénésie de débogage constante et a également produit des diagrammes pour le papier. Il est courant dans de tels projets de faire des ablations – faire des choses pour voir si ce qui reste est suffisant pour faire le travail.

«Il y avait toutes les combinaisons possibles de trucs et de modules, ce qui aide, ce qui n'aide pas. Arrachons-le. Remplacement par cela », explique Gomez. «Pourquoi le modèle se comporte-t-il de cette manière contre-intuitive? Oh, c'est parce que nous ne nous souvenons pas de faire le masquage correctement. Cela fonctionne-t-il encore? Ok, passez à la suivante. Tous ces composants de ce que nous appelons maintenant le transformateur étaient la sortie de cet essai et erreur itératifs extrêmement élevés. » Les ablations, aidées par les implémentations de Shazeer, ont produit «quelque chose de minimaliste», dit Jones. “Noam est un sorcier.”

Vaswani se souvient de s'écraser sur un canapé de bureau une nuit pendant que l'équipe écrivait le journal. Alors qu'il regardait les rideaux qui séparaient le canapé du reste de la pièce, il a été frappé par le motif du tissu, qui lui ressemblait comme des synapses et des neurones. Gomez était là, et Vaswani lui a dit que ce sur quoi ils travaillaient transcenderait la traduction automatique. «En fin de compte, comme avec le cerveau humain, vous devez unir toutes ces modalités – discours, audio, vision – sous une seule architecture», dit-il. «J'avais un fort intuition, nous étions sur quelque chose de plus général.»

Dans les échelons supérieurs de Google, cependant, le travail a été considéré comme un autre projet d'IA intéressant. J'ai demandé à plusieurs des Transformers de si leurs patrons les avaient jamais convoqués pour des mises à jour sur le projet. Pas tellement. Mais «nous avons compris que c'était potentiellement un gros problème», explique Uszkoreit. “Et cela nous a fait obséder l'une des phrases du journal vers la fin, où nous commentons les travaux futurs.”

Cette phrase prévoyait ce qui pourrait arriver ensuite – l'application des modèles de transformateurs à essentiellement toutes les formes d'expression humaine. “Nous sommes ravis de l'avenir des modèles basés sur l'attention”, ont-ils écrit. «Nous prévoyons d'étendre le transformateur à des problèmes impliquant des modalités d'entrée et de sortie autres que le texte» et d'étudier «les images, l'audio et la vidéo».

Quelques nuits avant la date limite, Uszkoreit s'est rendu compte qu'ils avaient besoin d'un titre. Jones a noté que l'équipe avait atterri sur un rejet radical des meilleures pratiques acceptées, notamment les LSTM, pour une technique: l'attention. Les Beatles, se souvient Jones, avaient nommé une chanson «All You Need is Love». Pourquoi ne pas appeler le journal «l'attention est tout ce dont vous avez besoin»?

Les Beatles?

«Je suis britannique», explique Jones. «Cela a littéralement pris cinq secondes de réflexion. Je ne pensais pas qu'ils l'utiliseraient.

Ils ont continué à collecter les résultats de leurs expériences jusqu'à la date limite. «Les numéros anglais-français sont venus, comme, cinq minutes avant de soumettre le journal», explique Parmar. «J'étais assis dans le micro-kitchen en 1965, obtenant ce dernier numéro.» Avec à peine deux minutes à perdre, ils ont envoyé le papier.