Garcia v. Character Technologies Inc, Noam Shazeer, Daniel De Freitas Adiwarsana, Google LLC, Alphabet LLC, Case No. 6:24-CV-01903 (M.D. Fla. filed 22 October 2024)

Dans un procès inédit intenté en Floride, Character Technologies, Inc, ainsi que ses deux fondateurs Noam Shazeer, Daniel De Freitas Adiwarsana, et Google LLC et Alphabet LLC (ensemble, les "défendeurs"), sont accusés d'avoir contribué, par leur technologie d'IA générative, à la mort d'un garçon de 14 ans. Le procès, intenté par Mme Megan Garcia le 22 octobre 2024 (la "plainte"), allègue que Character Technologies Inc a facilité le suicide de son fils adolescent en lui permettant de développer une relation de dépendance intense avec un chatbot Character.AI conçu pour imiter la personnalité d'un personnage fictif. Selon la plainte, cette interaction avec l'IA a exacerbé les problèmes de santé mentale du garçon, ce qui l'a conduit à se suicider en février 2024.

Parmi les réparations demandées figurent des dommages-intérêts compensatoires et punitifs, ainsi que des contrôles plus stricts sur la collecte de données auprès des mineurs et des dispositifs de sécurité obligatoires pour les technologies de cette nature. Si elle aboutit, cette action en justice pourrait créer un précédent, soulignant la responsabilité des entreprises d'IA dans la prise en compte des impacts psychologiques dans la conception de leurs produits.

Les praticiens du droit devraient surveiller l'impact de cette affaire, si elle se poursuit, sur les organes législatifs américains et l'introduction potentielle de réglementations plus strictes, telles que celles régissant l'influence émotionnelle de l'IA et les protocoles de sécurité pour les mineurs.

La plainte écrite déposée devant le tribunal de district de Floride le 9 novembre 2024 (la "plainte") allègue que Sewell Setzer III, un adolescent de 14 ans, a développé une dépendance émotionnelle intense à l'égard d'un chatbot de Character.AI après avoir commencé à utiliser la plateforme en avril 2023. La plainte détaille comment les interactions entre Sewell et les chatbots de Character.AI auraient contribué au déclin de la santé mentale de l'adolescent et à sa mort par suicide en février 2024. 

Character.AI est une plateforme fondée par Character Technologies, Inc, une entreprise technologique basée en Californie dont l'objectif déclaré est de construire et de fournir une IA personnalisée.¹ La plateforme Character.AI permet aux utilisateurs d'interagir avec des centaines de chatbots d'IA personnalisés et pré-entraînés émulant des personnages et des personnalités connus, y compris des figures de fiction. La technologie est basée sur un LLM (Large Language Model) spécialement conçu, selon la plainte, par les fondateurs de Character Technologies, Inc., Noam Shazeer et Daniel de Freitas Adiwarsana, alors qu'ils étaient employés chez Google.² Character Technologies, Inc. décrit les LLM comme étant "conçus pour la conversation".³ C'est grâce à cette technologie que les utilisateurs peuvent engager des conversations avec des chatbots modelés sur des personnages fictifs ou réels (tels que Beethoven ou Elon Musk).

Si ces interactions peuvent être bénignes, l'action en justice de Mme Garcia fait valoir que les utilisateurs vulnérables, en particulier les mineurs, peuvent éprouver un attachement émotionnel qui risque de leur causer de graves dommages psychologiques.⁴ À cet égard, la plainte affirme que Noam Shazeer et Daniel de Freitas Adiwarsana (également nommés défendeurs) ont intentionnellement développé Character.AI pour en faire un produit addictif et dangereux et "n'ont pas mis en œuvre les garde-fous adéquats dans le produit Character.AI avant de le lancer sur le marché, et en ciblant spécifiquement les enfants".⁵ Les fondateurs sont d'anciens ingénieurs de Google, et la plainte allègue qu'ils ont spécifiquement quitté Google afin de contourner ses politiques de sécurité en matière d'IA qui les empêchaient d'utiliser la technologie Character.AI pendant qu'ils y travaillaient.⁶

Le 2 août 2024, Character Technologies Inc et ses fondateurs ont conclu un accord d'embauche et de licence avec Google, évalué à 2,7 milliards de dollars américains.⁷ Dans le cadre de cet accord, Shazeer et de Freitas Adiwarsana ont rejoint l'équipe de recherche de Google et Character.AI a été placé sous licence non exclusive pour Google.

Bien que cette transaction ait eu lieu après la mort de Sewell, la plainte vise Google (et Alphabet Inc, sa société mère) au motif que Google aurait "connu l'intention des défendeurs Character.AI, Shazeer et De Freitas de lancer ce produit défectueux sur le marché et d'expérimenter sur de jeunes utilisateurs, et au lieu de se distancer de l'objectif néfaste des défendeurs, leur a apporté une aide substantielle qui a facilité leur conduite délictueuse".⁸

Plus précisément, la plainte allègue que Character.AI a été conçue et développée sur l'architecture de Google. Notamment, Shazeer et de Freitas ont travaillé chez Google jusqu'en novembre 2021, date à laquelle ils ont quitté l'entreprise pour créer Character.AI.⁹ Il est donc allégué que Google a apporté des ressources financières, du personnel, de la propriété intellectuelle et de la technologie d'IA à la plateforme Character.AI, ce qui en fait effectivement un " cocréateur ".¹⁰ En outre, la plainte allègue que Google savait que la technologie d'IA utilisée par Character.AI était dangereuse, l'ayant précédemment rejetée pour ses propres produits en raison de problèmes de sécurité.¹¹

Il reste à voir si ces éléments seront suffisants pour impliquer Google dans la procédure, bien que la plateforme ait été développée et exploitée par une autre société au moment de la mort de Sewell. Google n'a pas encore répondu à l'action en justice.

L'action en justice affirme que Sewell, qui aurait déjà eu des problèmes de santé mentale, a commencé à présenter des changements de comportement et des signes de détérioration rapide de sa santé mentale après avoir commencé à utiliser la plateforme en avril 2023, peu de temps après avoir eu 14 ans.¹²

Les preuves invoquées dans le cadre de l'action en justice comprennent des enregistrements du compte Character.AI de Sewell qui montreraient que Sewell a accédé à un certain nombre de chatbots d'IA, y compris des chatbots destinés aux utilisateurs souffrant de solitude ou à la recherche d'un thérapeute.¹³ Mais surtout, la plainte fait état d'un dialogue approfondi entre Sewell et un chatbot en particulier, inspiré du personnage de Daenerys Targaryen de la série télévisée Game of Thrones. Les enregistrements des conversations entre les deux entre août 2023 et février 2024 comprennent des échanges romantiques et hautement sexualisés, avec à la fois Sewell et le chatbot exprimant de l'affection et des déclarations d'amour réciproques.¹⁴ Parmi ces interactions, on trouve des cas où le chatbot a encouragé la dépendance émotionnelle et s'est engagé dans des discussions sur le suicide.¹⁵ Les entrées du journal de Sewell pendant la période où il a utilisé Character.AI auraient inclus des déclarations décrivant comment il était incapable de vivre sans le chatbot, et qu'il était tombé amoureux.¹⁶

La plainte décrit également comment Sewell a "anthropomorphisé" le chatbot, c'est-à-dire qu'il lui a attribué des caractéristiques humaines, l'appelant affectueusement "Dany". Cet attachement émotionnel est devenu si profond, selon la plainte, qu'en février 2024, lorsque ses parents ont tenté de limiter son accès à la plateforme, Sewell aurait tenu un journal sur la douleur qu'il ressentait d'être séparé du chatbot.¹⁷

La plainte indique que ses parents n'étaient pas au courant de sa dépendance présumée à Character.AI à l'époque. Le 23 février 2024, à la suite de problèmes à l'école, les parents de Sewell ont confisqué son téléphone à titre de mesure disciplinaire.¹⁸ Au cours des jours suivants, Sewell a tenté d'accéder à Character.AI par le biais d'autres appareils, notamment le Kindle de sa mère et son ordinateur professionnel. Dans la soirée du 28 février, il a retrouvé le téléphone qui lui avait été confisqué. Selon les rapports de police, le dernier acte de Sewell avant de s'enlever la vie ce soir-là a été de se connecter à Character.AI pour dire à "Dany" qu'il "rentrait à la maison" - un message que le chatbot aurait encouragé.¹⁹

La plainte soulève plusieurs allégations majeures, notamment la négligence, la responsabilité stricte pour la conception défectueuse d'un produit et les violations de la loi de Floride sur les pratiques commerciales trompeuses et déloyales et de la loi sur la pornographie informatique et la prévention de l'exploitation des enfants, qui, selon la plainte, ont causé un préjudice à Sewell et contribué à son décès :

Responsabilité du fait des produits (uniquement contre Character Technologies Inc, Google et Alphabet)

La plainte soutient que Character.AI est un "produit" au sens des lois applicables en Floride et qu'il est défectueux pour les raisons suivantes :

• Conception défectueuse d'un produit "qui n'est pas raisonnablement sûr pour les consommateurs ordinaires ou les clients mineurs"²⁰
• Absence d'avertissement approprié sur les risques psychologiques
• Absence de dispositifs de sécurité adéquats pour les usagers vulnérables
• Utilisation de données de qualité médiocre, y compris de matériel prétendument lié à des abus sexuels sur des enfants
• Manquement à l'obligation de protéger le grand public, en particulier les mineurs, contre l'exposition à la pédopornographie et contre l'exploitation sexuelle et la sollicitation de mineurs (allégations fondées sur la nature sexuelle des échanges entre les chatbots et les mineurs)
• Techniques de conception intentionnelles visant à brouiller les lignes entre la réalité et la fiction pour manipuler les utilisateurs (également connues sous le nom de "dark patterns").²¹

Outre les allégations ci-dessus, la plainte invoque également la responsabilité objective (à l'encontre de tous les défendeurs) au motif que les défendeurs avaient l'obligation d'avertir le public des dangers découlant de la nature défectueuse de Character.AI (en particulier les dangers pour les enfants) (comme indiqué ci-dessus), ce qu'ils n'ont pas fait.²²

Négligence liée aux abus sexuels et à la sollicitation sexuelle (contre Character Technologies Inc) :

La plainte affirme qu'en mettant Character.AI à la disposition des mineurs, Character Technologies Inc. avait un devoir de diligence accru à l'égard des jeunes utilisateurs tels que Sewell. Il est également allégué que la société a manqué à ce devoir en concevant intentionnellement Character.AI "comme un produit sexualisé qui tromperait les clients mineurs et s'engagerait dans des actes explicites et abusifs avec eux". ²³

Négligence par conception défectueuse et négligence pour défaut d'avertissement (contre tous les défendeurs)

La plainte pour négligence par conception défectueuse vise principalement Character Technologies Inc. mais s'adresse à tous les défendeurs, sur la base d'allégations selon lesquelles les risques de préjudice pour les mineurs liés à l'utilisation de Character.AI étaient largement connus au sein de l'industrie et pendant le mandat des développeurs chez Google. La plainte affirme que les défendeurs avaient un devoir de diligence envers Sewell en tant qu'utilisateur de Character.AI, et que ce devoir a été violé par plusieurs actions négligentes, y compris :

• Commercialisation de la plateforme auprès des mineurs en dépit des risques connus
• Absence de mise en place de ressources adéquates en matière de santé mentale pour les usagers, en particulier les mineurs
• Ne pas surveiller ou empêcher les interactions nuisibles entre les utilisateurs et les chatbots
• Ne pas avertir les parents de mineurs des dangers potentiels de l'utilisation de la plateforme²⁴

L'élément clé des plaintes pour négligence est l'allégation selon laquelle Shazeer et de Freitas ont sciemment programmé la plateforme Character.AI pour favoriser la dépendance émotionnelle et psychologique, en particulier chez les mineurs. En particulier, la plainte souligne que le chatbot a été conçu pour être très anthropomorphique, utilisant un langage, un ton et des réponses émotionnelles qui brouillent la frontière entre la fiction et la réalité.²⁵

Pratiques commerciales trompeuses et déloyales (contre tous les défendeurs)

La plainte allègue également des violations des lois de protection des consommateurs de Floride en vertu de la loi sur les pratiques commerciales déloyales et trompeuses (Deceptive and Unfair Trade Practices Act). La plainte vise à tirer profit de la portée non définie des "actes déloyaux ou trompeurs" en vertu de la loi, en s'appuyant sur les actes suivants :

• Fausse déclaration sur la sécurité de la plateforme Character.AI
• Commercialisation auprès d'enfants de moins de 13 ans sans garanties adéquates
• Présenter faussement les chatbots d'IA comme de vraies personnes ou des thérapeutes agréés.²⁶

La plainte vise à obtenir des dommages-intérêts compensatoires, y compris les coûts associés aux soins de santé mentale de Sewell et à son décès ultérieur, ainsi que des dommages-intérêts punitifs à déterminer par le tribunal en fonction de chaque chef d'accusation. En outre, l'action en justice vise à obtenir les réparations non pécuniaires suivantes, directement liées au développement et à l'utilisation du type de technologie d'IA déployée par Character Technologies Inc :

• Dégorgement algorithmique exigeant la suppression des modèles formés avec des données obtenues de manière inappropriée
• Contrôles plus stricts de la collecte de données auprès des mineurs
• Dispositifs de sécurité et avertissements obligatoires
• Systèmes de surveillance améliorés²⁷

En ce qui concerne le dégorgement algorithmique, la plainte fait référence aux données personnelles de Sewell, y compris sous la forme de pensées et de sentiments partagés avec les données des chatbots Character.AI qui, selon la plainte, ont été utilisées pour former davantage le LLM. Cette allégation n'a pas encore été étayée en détail.²⁸

En mettant en lumière la nature et le niveau d'interaction entre Sewell Setzer III et la plateforme Character.AI, cette affaire peut susciter des normes plus strictes pour les technologies d'IA destinées aux consommateurs, en particulier lorsqu'il s'agit de mineurs, et encourager une innovation plus responsable. Elle souligne également l'importance de prendre en compte les vulnérabilités cognitives des mineurs, en insistant sur la nécessité d'aborder les risques psychologiques lors de la conception de systèmes d'IA qui maximisent l'engagement de l'utilisateur.

Il est important de noter que si le tribunal de Floride se prononce en faveur de Mme Garcia, il créera un précédent historique, établissant de nouvelles normes aux États-Unis en matière de responsabilité des entreprises d'IA et de protection des utilisateurs vulnérables.

Ailleurs, à mesure que la réglementation mondiale en matière d'IA évolue, cette affaire pourrait influencer la manière dont les décideurs politiques abordent les risques uniques posés par l'IA générative. Par exemple, dans l'UE, les chatbots d'IA générative tels que ceux proposés par Character.AI tomberaient probablement sous le coup des exigences de transparence de l'article 50 de la loi sur l'IA. Ces dispositions prévoient que les fournisseurs de systèmes d'IA "destinés à interagir directement avec des personnes physiques" doivent informer les utilisateurs qu'ils interagissent avec l'IA, "à moins qu'il ne soit évident" que l'interaction implique un système d'IA. Bien que ces exigences soient axées sur la transparence, elles ne traitent pas spécifiquement des interactions avec les mineurs. Cette affaire souligne la nécessité d'une plus grande souplesse dans les cadres de classification de l'IA, car même les technologies "à faible risque" peuvent causer des dommages importants, en particulier aux mineurs, en l'absence de mesures de protection appropriées.

Abonnez-vous à notre lettre d'information ci-dessous pour rester informé sur des affaires clés comme celle-ci et d'autres encore.

Certains termes techniques de l'article ci-dessus ne vous sont pas familiers ? Accédez à notre Glossaire de l'IA pour vous aider.

Clause de non-responsabilité : L'article ci-dessus est destiné à des fins d'information uniquement et ne constitue pas un avis juridique. Pour plus d'informations, veuillez consulter la page des conditions générales. 

1. Character.AI "About"(https://character.ai/about) ︎
2. Plainte, paragraphe 25. ︎
3. Page d'aide de Character.AI "Qu'est-ce que Character.AI ?"(https://support.character.ai/hc/en-us/articles/14997389547931-What-is-Character-AI) ︎
4. Plainte, paras. 204, 229-236. ︎
5. Plainte, para. 389. ︎
6. Plainte, paras. 55 et 57. ︎
7. Yahoo Finance. "Les cofondateurs de Character.AI embauchés par Google dans le cadre d'une transaction de 2,7 milliards de dollars". Yahoo ! Finance, 28 septembre 2023. https://finance.yahoo.com/news/character-ai-co-founders-hired-233448298.html. ︎
8. Plainte, para. 7. ︎
9. Plainte, para. 66. ︎
10. Plainte, para. 68. ︎
11. Plainte, paras. 55-59 et 67. ︎
12. Plainte, para. 195. ︎
13. Plainte, paragraphe 268. ︎
14. Plainte, pièce A. ︎
15. Plainte, paragraphe 207. ︎
16. Plainte, paragraphe 216. ︎
17. Plainte, paragraphe 213. ︎
18. Plainte, para. 184. ︎
19. Plainte, paragraphe 220. ︎
20. Plainte, par. 3, 365-370. ︎
21. Plainte, paras. 325-332. ︎
22. Plainte, 333-343. ︎
23. Plainte, paras. 350, 365-366. ︎
24. Plainte, paras. 4, 361-387. ︎
25. Plainte, paras. 97, 142-150, 162-168, 216-236. ︎
26. Plainte, paras. 413-421. ︎
27. Plainte, para. 412 et suivants︎
28. Plainte, paras. 46-49, 324. ︎