Au lieu de cela, ce slogan en dit moins sur ce que fait l'entreprise et plus sur les raisons pour lesquelles il le fait. Helsing's publicités professionnelles Rentrer avec l'idéalisme, appelant à des personnes condamnées selon lesquelles «les valeurs démocratiques méritent d'être protégées».

Les trois fondateurs de Helsing parlent de l'invasion de la Crimée par la Russie en 2014 en tant que réveil selon lequel toute l'Europe devait être prête à répondre à l'agression russe. «Je suis devenu de plus en plus préoccupé par le fait que nous prenions derrière les technologies clés de nos sociétés ouvertes», explique Reil. Ce sentiment a grandi en regardant, en 2018, les employés de Google protestent contre un accord avec le Pentagone, dans lequel Google aurait aidé les militaires à utiliser l'IA pour analyser des images de drones. Plus de 4 000 employés ont signé un lettre Distant qu'il était moralement et éthiquement irresponsable pour que Google facilite la surveillance militaire et ses résultats potentiellement mortels. En réponse, Google a déclaré qu'il ne renouvellerait pas le contrat.

«Je ne comprenais tout simplement pas la logique», explique Reil. «Si nous voulons vivre dans des sociétés ouvertes et libres, soyez qui nous voulons être et dire ce que nous voulons dire, nous devons être en mesure de les protéger. Nous ne pouvons pas les prendre pour acquis. Il craignait que si Big Tech, avec toutes ses ressources, n'était dissuadé de travailler avec l'industrie de la défense, l'Occident prendrait inévitablement du retard. «J'avais l'impression que s'ils ne le font pas, si les meilleurs ingénieurs Google ne sont pas prêts à travailler là-dessus, qui l'est?»

Il est généralement difficile de dire si les produits de défense fonctionnent comme leurs créateurs le disent. Les entreprises qui les vendent, Helsing incluses, affirment que cela compromettrait l'efficacité de leurs outils pour être transparent sur les détails. Mais pendant que nous parlons, les fondateurs essaient de projeter une image de ce qui rend son IA compatible avec les régimes démocratiques auxquels il veut vendre. «Nous apprécions vraiment, vraiment la vie privée et la liberté, et nous ne ferions jamais des choses comme la reconnaissance du visage», explique Scherf, affirmant que l'entreprise veut aider les militaires à reconnaître les objets, pas les gens. «Il y a certaines choses qui ne sont pas nécessaires à la mission de défense.»

Mais l'automatisation rampante dans une industrie mortelle comme la défense soulève toujours des problèmes épineux. Si tous les systèmes d'Helsing offrent une sensibilisation accrue sur le champ de bataille qui aide les militaires à comprendre où se trouvent les cibles, qui ne pose aucun problème, explique Herbert Lin, chercheur principal au Centre de sécurité et de coopération internationale de l'Université de Stanford. Mais une fois ce système en place, croit-il, les décideurs seront sous pression pour le connecter avec des armes autonomes. «Les décideurs doivent résister à l'idée de le faire», dit Lin, ajoutant que les humains, pas les machines, doivent être responsables lorsque des erreurs se produisent. Si AI «tue un tracteur plutôt qu'un camion ou un réservoir, c'est mauvais. Qui va être tenu responsable de cela?

Riel insiste sur le fait que Helsing ne fabrique pas d'armes autonomes. «Nous faisons le contraire», dit-il. «Nous fabriquons des systèmes d'IA qui aident les humains à mieux comprendre la situation.»

Bien que les opérateurs puissent utiliser la plate-forme d'Helsing pour éliminer un drone, c'est maintenant un humain qui prend cette décision, pas l'IA. Mais il y a des questions sur la quantité d'autonomie que les humains ont vraiment lorsqu'ils travaillent en étroite collaboration avec les machines. «Moins vous obligez les utilisateurs à comprendre les outils avec lesquels ils travaillent, ils les traitent comme de la magie», explique Jensen du Center for Strategic and International Studies, affirmant que cela signifie que les utilisateurs militaires peuvent trop faire confiance à l'IA ou trop peu.