Deux chercheurs d’OpenAI travaillant sur la sécurité et la gouvernance ont démissionné
Deux employés d’OpenAI qui travaillaient sur la sécurité et la gouvernance ont récemment démissionné de l’entreprise derrière ChatGPT.
Daniel Kokotajlo est parti le mois dernier et William Saunders est parti IA ouverte en février. L’heure de leur départ a été confirmée par deux personnes proches du dossier. Les personnes ont demandé à rester anonymes pour discuter du départ, mais leur identité est connue de Business Insider.
Kokotajlo, qui a travaillé au sein de l’équipe de direction, est mention en tant que testeur ennemi du GPT-4, lancé en mars de l’année dernière. Saunders travaillait au sein de l’équipe Alignment depuis 2021, qui est devenue l’équipe Superalignment.
Kokotajlo a écrit sur sa page de profil sur le forum en ligne LessWrong, il a démissionné « parce qu’il avait perdu confiance dans le fait qu’il se comporterait de manière responsable à l’époque de l’AGI ».
Dans un autre article sur la plateforme en avril, il a partiellement expliqué l’une des raisons de sa décision de partir. Il a également participé à une discussion sur la suspension du développement d’AGI.
« Je pense que la plupart de ceux qui prônent une pause essaient de s’opposer à une « pause sélective » et à une véritable pause qui s’appliquerait aux principaux laboratoires à la pointe du progrès », a écrit Kokotajlo.
Il a ajouté : « La fenêtre actuelle d’Overton semble malheureusement être centrée sur une combinaison d’évaluations et d’atténuations que l’OMI considère comme présentant un risque réglementaire élevé (c’est-à-dire entraînant une pause sélective qui ne s’applique pas aux grandes entreprises qui doivent faire des pauses). le plus). !) Ma désillusion à ce sujet est l’une des raisons pour lesquelles j’ai quitté OpenAI.
Saunders a dit dans un remarque sur son profil LessWrong page qu’il a démissionné ce mois-là après trois ans chez le fabricant ChatGPT.
L’équipe Superalignment, initialement dirigée par Ilya Sutskever et Jan Leike, est chargée de mettre en place des mesures de protection pour empêcher l’intelligence artificielle générale. (AGI) devient voyou.
Sutskever et Leike avaient déjà prédit qu’AGI pourrait arriver d’ici dix ans. Il n’est pas clair si Sutskever est toujours chez OpenAI après sa participation à la brève éviction de Sam Altman en tant que PDG l’année dernière.
Saunders a également dirigé l’équipe d’interprétabilité, qui étudie comment sécuriser l’AGI et étudie comment et pourquoi les modèles se comportent comme ils le font. Il a coauteur plusieurs articles sur les modèles d’IA.
Les démissions de Kokotajlo et Saunders interviennent au milieu d’autres départs chez OpenAI. Deux dirigeants, Diane Yoon et Chris Clark, arrêté la semaine dernière, Les informations rapportées. Yoon était vice-président de People et Clark était responsable des organisations à but non lucratif et des initiatives stratégiques.
Selon un autre, OpenAI s’est également séparé des chercheurs Leopold Aschenbrenner et Pavel Izmailov. rapport par The Information le mois dernier.
OpenAI, Kokotajlo et Saunders n’ont pas répondu aux demandes de commentaires de Business Insider.
Travaillez-vous pour OpenAI ? Avez-vous un conseil ? Contactez ce journaliste au jmann@businessinsider.com pour un appareil non professionnel.
