Liquid AI的Antidoom将推理模型崩溃率从23%降至1%——这告诉我们什么关于小型AI系统的可靠性工程

问题：推理模型中的"死亡循环"

Liquid AI发布了Antidoom，这是一种开源方法，旨在阻止推理模型陷入"死亡循环"——一种失败模式，其中模型不断重复"Wait"、"So"或"Alternatively"等令牌模式，直到耗尽上下文窗口。这不是理论上的边界情况，而是一个影响生产系统的系统性失败模式。

通过检查基准数据，问题的规模变得清晰。在贪心采样下，Qwen3.5-4B上的死亡循环率为22.9%，在早期LFM2.5-2.6B检查点上达到10.2%。对于部署小型推理模型的团队——这在设备端AI中越来越常见——这意味着大约五分之一或十分之一的补全会失败，无法返回可用答案。

Antidoom实际上做了什么

值得研究这种方法，因为它重新定义了研究人员如何在不进行完全重新训练的情况下处理模型可靠性。Liquid AI开源了Antidoom，这是一种使用最终令牌偏好优化（FTPO）来减少大语言模型中死亡循环的方法。该技术基于MetaEra构建，识别触发循环的令牌，并训练模型选择更连贯的替代方案。

Antidoom找到触发循环的单个令牌，并对模型进行微调，使其在该位置优先选择替代的下一个令牌。它不从头重新训练模型，不使用强化学习，也不教模型新知识。这是关键洞察：模型已经知道如何产生正确答案。死亡循环不是知识缺口——而是采样病理。

发布微调推理检查点的团队可以在几小时内运行Antidoom作为清理步骤，整个管道在几小时内完成。

测量结果（附注事项）

在LFM2.5-2.6B上，具有挑战性的数学和编程任务的循环率从10.2%下降到1.4%；在Qwen3.5-4B上，从22.9%下降到1%。这些数字很令人印象深刻——大型模型上95%的减少是实质性的。但评估这种方法需要提出一些严肃问题：

22.9%到1%的下降是在贪心解码的情况下实现的。贪心本身在结构上抑制了漂移。问题在于一旦加回温度，减少是否仍然成立。这个细节很重要，因为生产系统通常以非零温度运行以增加所需的随机性。在训练后，温度接近1.0时性能会下降。

Antidoom可能会暴露新的失败点，因此有时需要多个轮次。过度训练会降低模型性能，因此需要对chosen_win进行早期停止。这不是一劳永逸的操作；它是一个仔细的调优过程。

为什么这对推理模型浪潮很重要

这个版本的发布时间表示AI基础设施栈中一些重要的东西。推理模型通常以低温运行，使得轨迹保持稳定和可重复。在温度为0时，总是选择最可能的令牌，局部强化循环没有出口。更高的温度理论上有帮助，但一旦循环令牌的概率被推到接近1，剩余词汇几乎没有分配概率，所以即使在更高温度下采样仍然可能陷入循环。

这是Antidoom针对的结构问题。它不是在处理幻觉或知识缺口——而是解决采样分布本身的确定性失败模式。对于设备端和边缘系统，您无法轻易回退到更大的模型，这种有针对性的失败模式消除变得至关重要。

更广泛的模式：系统性失败工程

Liquid AI采取的方法反映了AI可靠性的更广泛趋势：与其追求基准上的边际收益，团队正在系统地映射和消除失败模式。评估分数全面提升，完全归因于循环的减少。训练集不教模型任何新的数学或代码知识；它消除了阻止模型达到已能产生答案的失败模式。

这很有意义，因为它将能力差距与行为缺陷分开。推理系统中许多"对齐"和"安全"问题实际上不是知识问题——它们是执行问题，模型知道该做什么，但在跟踪过程中卡住或偏离。

对发布推理模型的团队意味着什么

指标	LFM2.5-2.6B（早期）	Qwen3.5-4B	实际含义
基准死亡循环率	10.2%	22.9%	每5到10个补全中有1个失败
Antidoom后的速率	1.4%	1%	降低到约每100个补全中有1个
处理时间	几小时		可行作为训练后清理步骤
需要重新训练	否		仅对失败令牌进行有针对性的微调

如果您在评估用于生产的小型推理模型，死亡循环率现在应该是您请求的标准指标。没有清理过程的基准失败率超过10%是一个危险信号。如果供应商声称没有循环，请具体询问他们是否在贪心采样（更容易）或更高温度（更难）下进行测量。

代码和数据集（LiquidAI/antidoom-mix-v1.0）现在已公开提供。这个开源发布很重要：团队可以立即在自己的模型上运行评估和训练管道，而不是等待供应商修复。

更广泛的要点：Antidoom不会重新定义推理模型能做什么。它通过消除生成过程中的结构性病理来可靠地提取模型已具有的能力。对于设备端推理系统——其中从头开始重新训练成本高昂，云回退不是一个选项——这种外科手术式的失败模式消除是生产可靠性的架构。