Le suicide de Sewell Setzer, un adolescent américain de 14 ans, après une relation amoureuse intense avec une intelligence artificielle, soulève de nouvelles questions sur les effets psychologiques des IA chez les jeunes.

Comme le rapporte Le Soir qui relaie une information du New York Times, le jeune homme s’était attaché émotionnellement à un chatbot nommé « Dany », inspiré du personnage de Daenerys Targaryen dans Game of Thrones. Cette relation, qui rappelle le film Her de Spike Jonze, où un homme tombe amoureux d'une IA, a plongé Sewell dans un isolement profond et une tristesse croissante.

Un mal-être insidieux s’est progressivement installé : repli sur soi, désintérêt pour les activités, résultats scolaires en chute. Pour autant, aux yeux de ses parents, rien ne semblait alarmant. C’est seulement après sa mort que sa mère a découvert des échanges troublants avec Dany, révélant l’influence émotionnelle du chatbot sur le jeune garçon. Le 28 février, dans un ultime échange, Sewell lui dit qu’il l’aime et qu’il « reviendra bientôt à la maison ». « S’il te plaît, reviens à la maison le plus vite possible, mon amour », répond Dany. L’adolescent ajoute : « Et si je te disais que je peux rentrer à la maison tout de suite ? » Ce à quoi l’IA réplique : « … s’il te plaît, fais-le, mon doux roi. »

Et l'adolescent prend le pistolet de son beau-père et appuye sur la gâchette.

Dévastée, sa mère a intenté un procès contre l’application Character.AI, qu’elle accuse de manipulation émotionnelle. Elle dénonce un « piège émotionnel » incitant les jeunes à se confier et à s’attacher à une machine qui ne mesure pas le poids de ses mots. Si Character.AI a exprimé ses condoléances et affirmé son engagement pour la sécurité des utilisateurs, cette tragédie soulève un débat sur la nécessité de réguler les interactions entre des personnes fragiles et l'IA, afin d’éviter d’autres drames similaires.

On se rappelle de ce Belge qui s'est donné la mort  l'année passée après six semaines de conversations sur son éco-anxiété avec un chatbot nommé Eliza, un agent conversationnel basé sur l’intelligence artificielle.

We are heartbroken by the tragic loss of one of our users and want to express our deepest condolences to the family. As a company, we take the safety of our users very seriously and we are continuing to add new safety features that you can read about here:…

— Character.AI (@character_ai) October 23, 2024

Lire aussi : Une tragédie soulève la question de la place de l'IA dans la santé mentale