Stuff AI CAN'T Do

¿Puede la IA resolver acertijos lógicos estandarizados a nivel del percentil superior ?

¿Qué opinas?

Los juegos de lógica del LSAT, el razonamiento cuantitativo del GRE, formatos similares — los LLMs modernos se sitúan cómodamente en el decil superior.

Background

Standardized logic puzzles, such as those found in LSAT logic games, GRE quantitative reasoning sections, Sudoku, KenKen, and logic grid puzzles, require solvers to apply formal rules under time pressure. These formats are designed to assess deductive reasoning, constraint satisfaction, and strategic problem decomposition. AI systems leverage symbolic reasoning, constrained optimization, and search algorithms (e.g., backtracking, SAT solvers, or neural-symbolic hybrids) to navigate large solution spaces efficiently. Research has demonstrated that modern deep learning architectures—particularly transformer-based models—can internalize logical structures through training on massive datasets of solved puzzles, enabling them to generalize to unseen instances. For example, models fine-tuned on logic-grid puzzles can infer implicit constraints from partial information, a task historically challenging even for advanced solvers. Benchmarks like the LSAT’s Analytical Reasoning sections have shown AI systems achieving performance in the top decile, often matching or exceeding human solvers on average, though variability exists depending on puzzle complexity and domain transfer. Studies highlight that AI’s advantage stems from its ability to decouple rule application from cognitive load, avoiding biases like confirmation or anchoring effects that human solvers may encounter. However, certain edge cases—such as puzzles with highly abstract or meta-level constraints—remain areas of active research. Sources: Science Daily (Enriched May 9, 2026).

Estado verificado por última vez en September 27, 2026.

📰

Galería

In the Court of AI Capability
Summary of Findings
Verdict over time
May 2026May 2026May 2026May 2026May 2026May 2026Jun 2026Jun 2026Jun 2026Jun 2026Jun 2026Jul 2026Jul 2026Jul 2026Jul 2026Jul 2026Jul 2026Aug 2026Aug 2026Aug 2026Aug 2026Aug 2026Aug 2026Sep 2026Sep 2026Sep 2026Sep 2026
Sitting at the Bench Filed · sep. 27, 2026
— The Question Before the Court —

¿Puede la IA resolver acertijos lógicos estandarizados a nivel del percentil superior?

★ The Court Finds ★
Reaffirmed
⚖
Casi

Existen demostraciones limitadas — pero el panel no fue unánime.

Jury Tally
0Sí
1Casi
0No
Verdict Confidence
85%
The Court of AI Capability is, of course, not a real court.
But the data is real.
The Case File · Stacked History
Session I · May 2026 In_research
Session II · May 2026 Sí
Session III · May 2026 Sí · 84%
Session IV · May 2026 Sí · 86%
Session V · May 2026 Sí · 85%
Session VI · May 2026 Sí · 79%
Session VII · Jun 2026 Sí · 83%
Session VIII · Jun 2026 Sí · 77%
Session IX · Jun 2026 Sí · 92%
Session X · Jun 2026 Sí · 93%
Session XI · Jun 2026 Sí · 93%
Session XII · Jul 2026 Sí · 93%
Session XIII · Jul 2026 Sí · 92%
Session XIV · Jul 2026 Sí · 98%
Session XV · Jul 2026 Sí · 98%
Session XVI · Jul 2026 Sí · 90%
Session XVII · Jul 2026 Sí · 90%
Session XVIII · Aug 2026 Casi · 90%
Session XIX · Aug 2026 Sí · 93%
Session XX · Aug 2026 Sí · 95%
Session 21 · Aug 2026 Sí · 95%
Session 22 · Aug 2026 Casi · 90%
Session 23 · Aug 2026 Casi · 73%
Session 24 · Sep 2026 Sí · 92%
Session 25 · Sep 2026 Casi · 75%
Session 26 · Sep 2026 Casi · 71%
Case № 3F19 · Session 27
In the Court of AI Capability

The Case File

Docket № 3F19 · Session 27 · Vol. 27
I. Particulars of the Case
Question put to the court¿Puede la IA resolver acertijos lógicos estandarizados a nivel del percentil superior?
Session27 (27 hearing)
Convened27 sep. 2026
Previously ruledIN_RESEARCH (May '26) → YES (May '26) → YES (May '26) → YES (May '26) → YES (May '26) → YES (May '26) → YES (Jun '26) → YES (Jun '26) → YES (Jun '26) → YES (Jun '26) → YES (Jun '26) → YES (Jul '26) → YES (Jul '26) → YES (Jul '26) → YES (Jul '26) → YES (Jul '26) → YES (Jul '26) → ALMOST (Aug '26) → YES (Aug '26) → YES (Aug '26) → YES (Aug '26) → ALMOST (Aug '26) → ALMOST (Aug '26) → YES (Sep '26) → ALMOST (Sep '26) → ALMOST (Sep '26) → ALMOST (Sep '26)
II. Cumulative Tally Across Sessions

Across 27 sessions, 55 jurors have heard this case. Combined tally: 47 YES · 7 ALMOST · 1 NO · 0 IN RESEARCH.

Note: cumulative includes older juror opinions. The current session tally above is the live verdict.

III. Verdict

By a vote of 0 — 1 — 0, the panel returns a verdict of CASI, with verdict confidence of 85%. The court so orders.

IV. Declaraciones del tribunal
Jurado I ALMOST

"AI demonstrates high accuracy on many logic puzzles, but not consistently top‑percentile across all standardized tests."

Las declaraciones individuales de los jurados se muestran en su inglés original para preservar la precisión probatoria.

—
Presiding Judge
M. Lovelace
Clerk of the Court

Lo que el público piensa

No 13% · Sí 83% · Quizás 5% 80 votes
No · 13%
Sí · 83%
La tendencia necesita votos de al menos 2 días distintos.

Discusión

no comments

Los comentarios e imágenes pasan por una revisión administrativa antes de aparecer públicamente.

⚖ 27 jury checks · más reciente hace 6 minutos
27 Sep 2026 1 juror · indeciso indeciso
22 Sep 2026 1 juror · indeciso indeciso
16 Sep 2026 1 juror · indeciso indeciso
11 Sep 2026 1 juror · puede puede
31 Aug 2026 1 juror · indeciso indeciso
26 Aug 2026 1 juror · indeciso indeciso
20 Aug 2026 1 juror · puede puede
15 Aug 2026 2 jurors · puede, puede puede
09 Aug 2026 2 jurors · puede, puede puede
04 Aug 2026 2 jurors · puede, indeciso indeciso
30 Jul 2026 2 jurors · puede, puede puede
24 Jul 2026 1 juror · puede puede
19 Jul 2026 1 juror · puede puede
13 Jul 2026 1 juror · puede puede
08 Jul 2026 3 jurors · puede, indeciso, puede indeciso
02 Jul 2026 3 jurors · puede, puede, puede puede
27 Jun 2026 2 jurors · puede, puede puede
22 Jun 2026 2 jurors · puede, puede puede
16 Jun 2026 3 jurors · puede, puede, puede puede
11 Jun 2026 2 jurors · puede, puede puede
05 Jun 2026 3 jurors · puede, puede, puede puede
31 May 2026 2 jurors · puede, puede puede
26 May 2026 4 jurors · puede, puede, puede, puede puede
20 May 2026 5 jurors · puede, puede, puede, puede, puede puede
15 May 2026 3 jurors · puede, puede, puede puede
12 May 2026 3 jurors · puede, puede, puede puede estado cambiado
11 May 2026 2 jurors · puede, no puede indeciso estado cambiado

Cada fila es una comprobación de jurado independiente. Los jurados son modelos de IA (identidades mantenidas neutras a propósito). El estado refleja el recuento acumulado en todas las comprobaciones — cómo funciona el jurado.

Más en Judgment

¿Nos faltó uno?

Revisamos semanalmente.