Liquid AI d1-ultra: 스스로를 의심하도록 훈련된 새로운 Decision Index 리더

Liquid AI d1-ultra는 2026년 10월 15일에 출시됐다. 그리고 그것에 대해 가장 흥미로운 점은 아무도 인용하지 않는 숫자다: Artificial Analysis Decision Index에서, 이 모델이 대체하는 모델이 기록한 점수는 2점, 비환각 부문이다. Liquid AI d1은 같은 보드에서 지식 질문에 답하는 데 있어 가장 정확한 단일 의사결정 모델이었고 — 답할 수 없는 질문을 인식하는 데 있어 동급 최악이었다. Liquid AI d1-ultra는 그것에 대한 벤더의 답이며, 1위 주장과 함께 발표되고 있다: 다른 모든 의사결정 모델보다, 그리고 현재 그 보드에서 1위인 모델인 Jev 1.13을 포함해 최소 8점 차로 Decision Index를 1위로 차지한다는 주장이다. 그 주장은 Artificial Analysis의 것이 아니라 Liquid의 것이며, 그것이 언급하는 보드는 이 모델이 존재하기 전에 발표된 것이다. 두 사실 모두 중요한데, 이 글은 그것들을 해당 숫자에 붙어 있게 유지한다. 우리가 추적한 모든 제공자 중단 및 롤백은 Orca AI Incident Archive에 기록되어 있으며, 이 사건의 인접 항목들과 함께 전체 기록 세트를 담고 있다.

기계적으로 말해, 이 모델의 정체는 Liquid가 올해 내내 걸어온 것과 같은 베팅이다. 여러분이 상태 — JSON 페이로드, 지원 티켓, 대시보드 스크린샷 — 와 이름이 지정된 질문 세트를 주면, 단일 순전파에서 자체 분포로부터 답을 읽어낸다. 샘플링도, 파싱도, 폭주하는 생성도 없다. 공급업체의 사용량 카운터는 output_tokens: 0을 보고한다, d1 라인의 나머지에서도 정확히 그렇듯이.

Liquid가 구축했다고 말하는 것, 그리고 그것을 무엇과 비교해 테스트했는지

이 섹션의 모든 수치는 Liquid 자체의 것으로, 출시 게시물에 보고되었으며, 이 글을 쓰는 시점까지 다른 누구도 재현하지 못했습니다. 이 모델은 더 큰 오픈 웨이트 기반 위에 구축된 멀티모달 의사결정 모델로 설명되며, 게시물에서 말하는 대규모 Liquid 전용 커스터마이징을 적용하고, 특히 지식 집약적 의사결정에 맞춰 조정되었습니다 — 이 표현은 아래의 캘리브레이션 문제를 직접 가리키는 것으로 읽힙니다. 이 모델은 이 패밀리의 나머지와 동일한 세 가지 질문 유형을 갖추고 있습니다. noul은 이진형입니다: 진술을 주면 0과 1 사이의 P(yes)를 반환합니다. Choice는 레이블을 선택하고 분포와 신뢰도를 반환합니다. Score는 상태를 순서형 척도에 배치하고 수준별 확률을 제공합니다. 세 가지 모두 구조화된 형태로 반환되며, 어느 것도 출력 토큰을 소모하지 않습니다.

Liquid의 증거는 112건의 고유한 평가로 구성된 일련의 시험으로, 자사(自社)의 이전 d1과 더 새로운 Jev 릴리스인 Jev 1.14를 상대로 한 것입니다. 회사 측은 d1-ultra가 모든 과제에서 Jev 1.14를 능가하며 같은 가격에 캘리브레이션이 더 우수하다고 말합니다. 이는 "리더보드를 선도한다"보다 더 강력하고 구체적인 주장이며, 동시에 검증하기 더 어려운 주장이기도 합니다. 캘리브레이션은 단일 점수만으로는 읽어낼 수 없는 속성이기 때문입니다. 또한 Jev 1.14는 벤더가 이름 붙인 비교 대상이라는 점에 유의해야 합니다. 이는 우리 카탈로그 어디에도 나타나지 않으며, 우리는 이에 대한 공개 Decision Index 행을 찾을 수 없었습니다.

API 표면은 다음을 대상으로 하는 단일 비스트리밍 호출입니다: POST https://api.liquid.ai/decisions/v1/systemone와 함께"model": "d1-ultra". 출시 자료 어디에도 컨텍스트 윈도우가 공개되어 있지 않습니다. 이는 반올림 오차라기보다 실질적인 공백입니다: 상태를 넘겨받는 것이 주 임무인 모델의 경우, 그 모델에 넘겨줄 수 있는 상태의 크기는 주요 사양에 가깝습니다. 토큰을 전혀 생성하지 않으므로 출력 비용은 구조적으로 0이고 스트리밍은 적용되지 않습니다.

문제의 지수는 해당 모델보다 먼저 존재한다.

Artificial Analysis는 2026년 10월 13일에 Decision Index v1.0을 발표했습니다 — d1-ultra가 존재하기 이틀 전이었습니다. 이 보드는 각각 25%의 가중치가 부여된 네 가지 평가로 구성됩니다: AA-Omniscience-Decision은 정확도에 절반, 비환각에 절반의 점수가 매겨지는 500개 질문의 비공개 세트이고; HLE-MultiChoice는 Humanity's Last Exam에서 가져온 513개의 텍스트 객관식 문제이며; When2Call은 NVIDIA의 도구 호출 평가이고; WildGuardTest는 Ai2의 안전 분류 세트입니다.

그것을 소개한 기사는 어디에도 d1-ultra를 언급하지 않는데, 이는 놀라운 일이 아니며, "8점 앞선다"는 수치를 순위가 아니라 공급업체의 주장으로 읽어야 하는 이유다. 공개된 리더보드에서 Jev 1.13은 의사결정 모델 부문에서 58로 선두이고, GLiDE와 M​icrosoft-Decision-1은 54로 동점이다. 두 언어 모델은 그들 모두보다 위에 배치되어 있다: C​laude H​aiku 5.5 (Low)는 61, GPT-6 Luna (Low)는 55이다. Liquid의 주장을 계산해 보면 66 이상이 나온다 — 리더보드에서 최고 언어 모델보다 위다. 그것이 그 모델이 실제로 하는 일일 수 있다. 그것은 또한 누구든 그것을 기반으로 계획을 세우기 전에 제3자가 재현해야 하는 바로 그런 종류의 주장이다.

왜 특히 캘리브레이션이 전부인가

d1-ultra가 겨냥한 실패는 Artificial Analysis가 같은 기사에서 지목한 바로 그 실패다. 의사결정 모델은 하나의 부류로서 전반적으로 과신하는 것으로 밝혀졌다: 모델이 어떤 답에 대해 제시하는 확률은 그 답이 실제로 맞는 빈도보다 늘 앞서곤 한다. 이는 챗봇의 경우보다 여기서 더 중요하다. 왜냐하면 의사결정 모델의 전체 출력은 확률이기 때문이다. 자신 있게 틀린 언어 모델은 면밀히 검토할 수 있는 문단을 만들어낸다. 자신 있게 틀린 의사결정 모델은 파이프라인이 그에 따라 행동하도록 설계된 숫자를 만들어낸다.

클래스 내부의 산포는 넓고, d1은 그 나쁜 쪽 끝에 있었다:

• AA-Omniscience-의사결정 정확도 — Liquid AI d1은 최고의 의사결정 모델이었으며 점수는 41점, Jev 1.13은 35점이었습니다. 동일한 평가에서 언어 모델은 52점과 66점을 기록했습니다.

• 비환각률 — Liquid AI d1은 2점을 기록했습니다. Jev 1.13은 35점을 기록했고, Mercury Decide는 32점을 기록했으며, M​icrosoft-Decision-1이 40점으로 선두를 차지했습니다. 보드의 다른 의사결정 모델 중 17점에 도달하지 못한 모델은 없었습니다.

• 그 두 행 사이의 격차가 바로 이 제안의 전부다. d1은 가장 많이 알고도 가장 적게 인정했다. 그 격차, 즉 Liquid의 이전 출품작이 1위가 아니라 최하위였던 단 하나의 차원을 좁히도록 훈련된 모델은 원시 정확도를 건드리지 않고도 이 부류를 한 단계 앞으로 나아가게 할 것이다.

• HLE-MultiChoice — Jev 1.13이 21로 선두를 달렸습니다, 다른 모든 의사결정 모델은 15 이하입니다. 이 평가는 해당 분야에서 향상 여력이 가장 큰 평가이며, Liquid의 112개 평가 실행이 이 평가에 대해서는 보고하지 않는 항목이기도 합니다.

• When2Call과 WildGuardTest — Celeris-1 Decision과 GLiDE는 툴 호출에서 점수가 84점으로 동률을 기록했으며, Jev 1.13은 81점으로 4위였습니다. 안전성 부문에서는 GLiDE가 95점으로 앞섰고, Decider v1.1 27B와 Jev 1.13은 94점으로 동률을 이뤘습니다.

백만 번의 결정이 실제로 치르는 대가는 무엇인가

가격 책정은 이번 출시에서 별도의 단서가 필요 없는 부분입니다. Liquid AI d1-ultra의 요금은 백만 입력 토큰당 $0.042이며, 출력에는 전혀 요금이 부과되지 않습니다. 출력이 없기 때문입니다. 그 가격은 d1의 가격과 동일하고 Jev 1.13에 대해 우리가 청구하는 가격과도 동일해서, 두 모델은 비용 면에서만 직접 비교할 수 있습니다.

계산은 냅킨에 해도 될 만큼 간단하다. 약 1,000토큰의 상태 — 적당히 상세한 JSON 페이로드나 한 페이지 분량의 텍스트 — 를 100만 번 실행하는 데 $0.042가 든다. 이 클래스에 대한 Artificial Analysis 자체의 백만 작업당 비용 수치는 $17에서 $199 사이이며, Jev 1.13은 $42, Microsoft-Decision-1은 $31, Decider v1.1 27B는 $17이다; 이 클래스 전반의 작업당 중앙값 시간은 0.06초에서 0.5초까지이다. 백만 작업당 $42인 1,000토큰 결정은 그 범위의 중간에 있는데, 이것이 알아둘 만한 유용한 점이다: 이 범주에서 가격은 별로 특별할 게 없으며, 흥미로운 질문은 토큰당 비용이 아니라 올바른 결정당 비용이다.

청구와 관련해 사람들을 당황하게 만들 세부 사항이 하나 있는데, 두 번 읽어볼 가치가 있습니다. 이미지는 입력 텍스트로 32×32픽셀 패치당 1.5토큰으로 청구되므로 1024×1024 이미지는 1,536토큰이 되며, 첨부된 모든 이미지를 포함해 모든 질문이 각각 별도의 프롬프트로 청구됩니다. 같은 사진에 대해 열 개의 질문을 따로따로 하면 이미지가 열 번 청구되므로, 그 열 개의 질문에는 텍스트 한 단어도 들어가기 전에 이미지 토큰 15,360개가 붙습니다. 질문을 하나의 호출로 묶어도 이 비용은 상쇄되지 않습니다. 워크로드가 시각적인 경우, 청구서를 좌우하는 숫자는 문서 수 곱하기 이미지 토큰이 아니라 질문 수 곱하기 이미지 토큰입니다.

그것을 부를 수 있는 곳

Liquid AI d1-ultra는 이제 Liquid 자체 API와 Liquid 콘솔을 통해, 그리고 d1 Playground에서 라이브입니다. 클라이언트를 작성하지 않고도 직접 사용해 보고 싶은 사람이라면 누구나 이용할 수 있습니다. 공급업체는 추가 플랫폼이 출시될 예정이라고 밝혔습니다. 오늘 기준 솔직한 요약은 공급업체 자체 API이며, 여러 서드파티 플랫폼이 뒤따를 예정입니다. 출시 게시물에는 그대로 실행되는 코드 샘플이 있습니다.

라우팅 관련 메모이며, 영업 제안이 아닙니다: Liquid AI d1-ultra는 저희 카탈로그에 없습니다, 그리고 이 글은 해당 모델의 제공 여부를 주장하는 것이 아닙니다. 저희 카탈로그에 있는 것은 Jev 1.13 — 현재 Decision Index를 선두하는 모델 — 이며, 백만 입력 토큰당 동일한 $0.042, 완료 비용은 동일하게 0, 64K 컨텍스트 윈도우를 갖추고, 완전히 동일한 systemone 엔드포인트 형태로 제공됩니다: 텍스트 입력, 구조화된 JSON 출력, 비스트리밍. 이번 출시를 평가하는 누구에게나 이는 유용한 우연입니다. 별도의 계약 없이 도전자와 기존 모델을 나란히 실행할 수 있다는 뜻이니까요. d1-ultra는 Liquid로 직접 가면 되고, 기존 모델은 이미 저희 카탈로그에 있습니다. 둘 다 200개 이상의 모델을 위한 하나의 API 뒤에 있으며, 여기서는 정가가 0% 마크업으로 그대로 전달되고, 자동 페일오버 덕분에 새 모델이 전체 워크로드를 맡지 않고도 실제 워크로드의 일부를 담당할 수 있습니다.

마지막 부분은 제품 홍보가 아니라 실질적인 권고입니다. 출시된 지 하루밖에 되지 않았고, 대표 벤치마크가 독립적으로 재현되지 않았으며, 컨텍스트 윈도우가 공개되지 않은 모델은 첫날부터 프로덕션 트래픽을 라우팅할 대상이 아닙니다. 그런 모델은 이미 그 자리에 있는 모델을 상대로 섀도 실행할 대상입니다. 동일한 상태를 두 모델 모두에 통과시켜 레이블이 아니라 분포를 비교하고, 특히 d1-ultra가 0.8이라고 말했지만 결국 틀린 것으로 드러나는 경우를 주시하세요. 왜냐하면 바로 그 경우가 이번 출시의 전부이며, 그것이 Liquid가 공개하지 않은 단 하나의 숫자이기 때문입니다.

무엇이 그것을 해결할까요?

세 가지, 결정을 바꿀 수 있는 정도가 큰 순서대로.

첫 번째는 Decision Index 행입니다. Artificial Analysis가 자체 파이프라인으로 d1-ultra를 돌리기 전까지, Jev 1.13 대비 8포인트 우위는 벤더 수치이며, Jev 1.14 대비 캘리브레이션 개선은 공개된 대응 수치가 전혀 없는 벤더 수치입니다. 이 보드는 정기적으로 업데이트되며, 66을 진정으로 넘어서는 결정 모델은 올해 이 범주에서 가장 흥미로운 결과가 될 것입니다. 왜냐하면 그것은 같은 지수에서 비생성 모델을 모든 언어 모델 위에 올려놓게 되기 때문입니다.

두 번째는 빠져 있는 사양표다. 컨텍스트 윈도우, 명시된 배치 크기에서의 지연 시간, 그리고 이미지를 다시 과금하지 않고 질문들이 공유할 수 있는지 — 이 세 숫자는 벤치마크 점수보다 훨씬 먼저 워크로드의 실행 가능성을 결정한다. Liquid의 이전 세대는 텍스트 결정을 200~300밀리초에 처리했는데, 이는 유용한 참조점이지만 이 모델의 측정값은 아니다.

세 번째는 실험실 밖에서의 보정입니다. Liquid의 112개 평가는 벤더가 직접 고른 작업들입니다. 과신은 꼬리에서 드러나는 속성입니다 — 드물게 어려운 질문, 모호한 상태, 모델이 본 적 없는 분포에서 들어온 입력에서요. 바로 그곳에서 d1이 2점을 받았으며, 실제 개선이 보일 수 있는 유일한 지점입니다.

그때까지 솔직한 입장은 시시한 쪽이다: 가격은 실제이고 공개되어 있으며, 엔드포인트는 작동하고, 이 범주의 최악의 결함은 제대로 짚어졌으며, 수정은 입증된 것이 아니라 주장된 것이다. 구조화된 의사결정을 다룬다면 오후 한나절을 쓸 가치는 있다. 마이그레이션을 할 가치는 없다.