Sin preparación para la IA General Artificial: La advertencia de un líder de OpenAI

Ads

El líder de OpenAI quien se está yendo ha declarado que ninguna organización está preparada para AGI.

La división ‘AGI Readiness’ de OpenAI también está en proceso de disolverse.
Por Kylie Robison, una reportera senior de AI quien colabora con los equipos de política y tecnología de The Verge. Ella ha ocupado cargos en Business Insider y Fortune Magazine en el pasado.

Con el anuncio de su partida el miércoles, Miles Brundage, asesor principal de OpenAI para la viabilidad de AGI (también conocida como inteligencia artificial a nivel humano), emitió una severa advertencia: nadie, incluyendo OpenAI, está preparado para la inteligencia artificial general.

Brundage, quien pasó seis años asistiendo en el desarrollo de las iniciativas de seguridad de AI de la compañía, escribió: “Ni OpenAI ni ningún otro laboratorio puntero está preparado para AGI, y el mundo tampoco está preparado.” “Para ser muy claro, no creo que esta sea una declaración controvertida entre el liderazgo de OpenAI. Más importante aún, esta es una pregunta distinta de si la compañía y el mundo están en camino de estar preparados en el momento adecuado.”

Su partida es la más reciente en una serie de salidas de alto perfil de los equipos de seguridad de OpenAI. Después de afirmar que “la cultura y los procesos de seguridad han quedado en un segundo plano frente a productos brillantes,” Jan Leike, un investigador distinguido, salió. Ilya Sutskever, cofundador, también se fue para establecer su propia empresa de AI que se especializa en el desarrollo de AGI seguro.

La disolución del equipo “AGI Readiness” de Brundage, que ocurrió apenas meses después de la disolución del equipo “Superalignment” de la compañía, subraya las tensiones crecientes entre la misión original de OpenAI y sus aspiraciones comerciales. Se dice que la compañía está bajo presión para convertirse de una organización sin fines de lucro a una corporación de beneficio público con fines de lucro en los próximos dos años, o de lo contrario podría tener que reembolsar los fondos de su última ronda de inversión de $6.6 mil millones de dólares. Esta transición a la comercialización ha sido motivo de preocupación para Brundage, quien expresó aprensiones en 2019 cuando OpenAI estableció inicialmente su división con fines de lucro.

Brundage atribuyó su salida a las crecientes restricciones sobre su libertad de investigación y publicación en la destacada organización. Él enfatizó la necesidad de perspectivas independientes en las discusiones de política de AI, libres de sesgos de la industria y conflictos de interés. Está seguro de que ahora puede tener un impacto más significativo en la gobernanza global de AI desde fuera de la organización, habiendo servido como asesor del liderazgo de OpenAI con respecto a la preparación interna.

Esta partida también puede ser indicativa de una división cultural más profunda dentro de OpenAI. Numerosos investigadores se inscribieron con el fin de avanzar en la investigación de AI, pero ahora se enfrentan a un ambiente que se está volviendo más orientado al producto. La asignación interna de recursos se ha convertido en un punto de fricción; informes sugieren que al equipo de Leike se le negó la capacidad informática para la investigación de seguridad antes de su disolución final.

Brundage reconoció que OpenAI le ha extendido una oferta para proporcionarle financiamiento, créditos API y acceso temprano a modelos, sin condiciones, a pesar de las fricciones mencionadas.