Liquid AIの「Antidoom」が推論モデルの崩壊率を23%から1%に削減—小規模AIシステムの信頼性エンジニアリングが示すもの
問題：推論モデルにおける「破滅ループ」
Liquid AIは「Antidoom」というオープンソース手法をリリースしました。これは推論モデルが「破滅ループ」に陥るのを防ぐためのものです。破滅ループとは、「Wait」「So」「Alternatively」のようなトークンパターンを繰り返し続け、やがてコンテキストウィンドウ全体を消費してしまう障害モードのことです。これは理論的な辺界事例ではなく、本番システムに影響する体系的な障害モードです。
問題の規模は基準値を調べることで明らかになります。グリーディサンプリング下のQwen3.5-4Bでは破滅ループの発生率が22.9%、初期段階のLFM2.5-2.6Bチェックポイントでは10.2%に達していました。小規模推論モデルをデプロイするチーム（オンデバイスAIでは今や一般的）にとって、これは約5回に1回、または10回に1回の割合で、単に使用可能な回答が返されない状況を意味します。
Antidoomが実際にするべきこと
ここでの方法論は検討する価値があります。なぜなら、完全な再トレーニングなしにモデルの信頼性にアプローチする方法を再定義するからです。Liquid AIはAntidoomをオープンソース化しました。これはFinal Token Preference Optimization（FTPO）を使用して大規模言語モデルの破滅ループを削減する手法です。MetaEraをベースとして、このテクニックはループを引き起こすトークンを特定し、より一貫性のある代替トークンを選択するようモデルをトレーニングします。
Antidoomはループを開始する単一トークンを特定し、その位置で代替次トークンを優先するようモデルを微調整します。モデルをゼロから再トレーニングしたり、RLを使用したり、新しい知識をモデルに教えたりはしません。これが重要な洞察です：モデルはすでに正しい回答を生成する方法を知っていたのです。破滅ループは知識のギャップではなく、サンプリングの病理現象でした。
微調整された推論チェックポイントをデプロイするチームは、数時間で破滅ループ削減処理をクリーンアップパスとして実行でき、パイプライン全体を数時間で実行できます。
測定結果（注意点付き）
LFM2.5-2.6Bでは、困難な数学およびプログラミングタスクのループ率が10.2%から1.4%に低下しました。Qwen3.5-4Bでは22.9%から1%に低下しました。これらの数字は説得力があります—大規模モデルで95%削減することは実質的です。ただし、この方法論を評価するには、困難な質問を提起する必要があります。
22.9%から1%への変動は、グリーディデコーディングからのものです。グリーディは既に構造的にドリフトを抑制します。重要な質問は、温度を戻すと削減が維持されるかどうかです。本番システムはしばしば非ゼロ温度で実行され、望ましい確率性を追加するため、この詳細は重要です。トレーニング後、パフォーマンスはtemp=1.0付近で低下する可能性があります。
Antidoomは新しい障害ポイントを露出させる可能性があるため、複数ラウンドが必要になることもあります。過度なトレーニングはモデルを低下させるため、chosen_winに対する早期停止が必要です。これは単独の操作ではなく、慎重なチューニングプロセスです。
推論モデルの波が重要である理由
このリリースのタイミングは、AI インフラストラクチャスタックに関する重要なシグナルを示しています。推論モデルは通常低温で実行され、トレースが安定し再現可能なままです。温度0では、最も可能性の高いトークンが常に選択され、局所的に強化されたループは脱出方法がありません。高い温度は理論的には役立ちますが、ループトークンの確率が1に近く押しやられると、残りのボキャブラリーにはほぼ確率が割り当てられず、高い温度でもサンプリングはループに陥る可能性があります。
これはAntidoomが対象とする構造的問題です。ハルシネーション（幻覚）や知識ギャップに対処しているのではなく、サンプリング分布自体の決定論的障害モードを解決しています。より大きなモデルへのロールバックが容易でないオンデバイスおよびエッジシステムの場合、このような対象を絞った障害モード排除が重要になります。
より広いパターン：体系的障害エンジニアリング
Liquid AIが採用したアプローチは、AI信頼性における広い傾向を反映しています：ベンチマークで限界的利得を追求する代わりに、チームは体系的に障害モードをマッピングし排除しています。評価スコアは全体的に改善され、それはループの削減に完全に起因するものです。トレーニングセットは数学またはコードについて何も新しいことをモデルに教えません。それはモデルがすでに生成できた回答に到達するのを妨げていた障害モードを削除するのです。
これは意味があります。なぜなら、機能ギャップと行動バグを区別するからです。推論システムの多くの「アライメント」および「安全性」問題は、実際には知識問題ではなく—モデルが何をすべきかを知っていても、スタックしたり、トレース中にレールから外れたりする実行問題なのです。
推論モデルをデプロイするチームにとっての意味
| メトリック | LFM2.5-2.6B（初期） | Qwen3.5-4B | 実装上の意味 |
|---|---|---|---|
| 基準破滅ループ率 | 10.2% | 22.9% | 5回に1回から10回に1回の補完が失敗 |
| Antidoom後の率 | 1.4% | 1% | 約100回に1回の補完に削減 |
| 処理時間 | 数時間 | トレーニング後のクリーンアップステップとして実現可能 | |
| 再トレーニング必須 | いいえ | 障害トークンのみに対する対象を絞った微調整 | |
本番用の小規模推論モデルを評価している場合、破滅ループ率は今では要求するべき標準メトリックになるべきです。クリーンアッププロセスなしで10%を超える基準障害率は赤信号です。ベンダーがループゼロを主張する場合、グリーディサンプリング（より簡単）で測定しているのか、より高い温度（より難しい）で測定しているのか、具体的に尋ねてください。
コードとデータセット（LiquidAI/antidoom-mix-v1.0）は現在公開されています。このオープンソースリリースは重要です：チームはベンダー修正を待つのではなく、すぐに独自のモデルで評価およびトレーニングパイプラインを実行できます。
より広い教訓：Antidoomは推論モデルができることを再定義しません。それは生成プロセスの構造的病理を排除することで、モデルがすでに持っている機能を確実に抽出します。ゼロからの再トレーニングが高価であり、クラウドフォールバックが選択肢ではないオンデバイス推論システムの場合、このような正確な障害モード排除は本番信頼性のアーキテクチャです。