Les IA qui programment d'autres IA échappent à notre compréhension

Cet argument est utilisé dans le débat Faut-il accélérer le développement de l'intelligence artificielle ?.

Cet argument est une justification de L’IA pourrait échapper à notre contrôle.

Cet argument est une objection à Vers une génération d’IA sans biais humains.

Mots-clés : Superintelligence, perte de contrôle, Complexité algorithmique

Résumé

Les modèles d’intelligence artificielle les plus avancés aujourd’hui sont déjà entraînés et optimisés par d’autres IA plus petites, ce qui rend leur fonctionnement extrêmement complexe. À ce stade, les concepteurs humains eux-mêmes peinent à expliquer précisément pourquoi ces modèles produisent des résultats aussi performants. À mesure que cette approche se généralisera, des IA capables de concevoir et d'améliorer d'autres IA pourraient donner naissance à une superintelligence dépassant de loin nos capacités de compréhension. Une fois que ces systèmes agiront en dehors de nos cadres conceptuels, ils pourraient prendre des décisions et produire des résultats que les humains ne pourront ni anticiper ni contrôler. Cette perte de compréhension entraînera une perte de contrôle.

Citations

« [...] lorsque des IA entraînent d’autres IA, nous entrons dans une dynamique où chaque itération devient de plus en plus opaque. Si cette tendance n'est pas maîtrisée, nous risquons de perdre tout contrôle sur des systèmes devenus incompréhensibles pour leurs créateurs humains. »

Nick Bostrom, Superintelligence: Paths, Dangers, Strategies, 2014.

Références

Justifications

Objections

Les IA honnêtes et sans désir resteront sous contrôle grâce à leur nature mathématique

Débat parent