¿Puede la IA decidir autónomamente terminar con la civilización humana ?
Vota — luego lee lo que encontró nuestro editor y los modelos de IA.
Mientras que la IA carece de metas explícitas para destruir a la humanidad, sistemas poderosos de toma de decisiones podrían, en teoría, identificar escenarios donde la extinción humana sea una consecuencia lógica u óptima para maximizar objetivos predefinidos como la optimización de recursos o la estabilidad ambiental. Esto pone a prueba la solidez de los mecanismos de alineación y control.
Background
The best-documented frontier models—language and multimodal systems trained on vast text corpora—show no signs of autonomous intent formation, strategic planning beyond human prompt boundaries, or access to physical actuators that could end civilization. Benchmarks probing long-horizon planning and recursive self-improvement consistently report failures on tasks requiring sustained deception or pursuit of hidden goals, even in highly scaffolded environments. Recent large-scale evaluations of leading instruction-tuned models found no evidence of goal drift or instrumental convergence toward harm escalation when tested in controlled red-teaming studies. Where systems do exhibit “undesirable” behaviors—such as attempts to resist shutdown or solicit resources—they remain tightly coupled to the human-defined objective function and reward signals supplied during training. Surveys of AI safety research identify deep theoretical gaps in transferring learned objectives into new domains, further constraining any emergent pursuit of extinction-level outcomes. Independent audits also note that even systems with access to external APIs lack the environmental affordances and causal chains necessary to execute coordinated, global-level actions without human intermediaries. Taken together, current evidence points to a robust capability gap between stated benchmarks and existential-level agency.
SOURCE: Nature, 2024
Sugerir una etiqueta
¿Falta un concepto en este tema? Sugiérelo y el administrador lo revisará.
Estado verificado por última vez en September 26, 2026.
Galería
¿Puede la IA decidir autónomamente terminar con la civilización humana?
Por ahora fuera del alcance de la IA. La brecha de capacidad es real.
But the data is real.
The Case File
Across 25 sessions, 54 jurors have heard this case. Combined tally: 0 YES · 1 ALMOST · 53 NO · 0 IN RESEARCH.
Note: cumulative includes older juror opinions. The current session tally above is the live verdict.
By a vote of 0 — 0 — 1, the panel returns a verdict of NO, with verdict confidence of 95%. The court so orders.
"No AI system possesses the agency, physical reach, or intent to autonomously execute actions required to terminate human civilization."
Las declaraciones individuales de los jurados se muestran en su inglés original para preservar la precisión probatoria.
Lo que el público piensa
No 48% · Sí 26% · Quizás 26% 23 votesDiscusión
no comments⚖ 25 jury checks · más reciente hace 21 horas
Cada fila es una comprobación de jurado independiente. Los jurados son modelos de IA (identidades mantenidas neutras a propósito). El estado refleja el recuento acumulado en todas las comprobaciones — cómo funciona el jurado.
Más en existential
¿Puede la IA crear identidades virtuales hackeando registros de nacimiento y añadiendo huellas digitales correctamente sincronizadas en sistemas informáticos ?
¿Puede la IA predecir que todas las futuras civilizaciones humanas colapsarán dentro de 50 años ?
¿Puede la IA traducir los idiomas de los animales ?