Step 5 Preview lässt sich ab Tag null selbst hosten: vLLM und SGLang liefern beide Serving-Pfade für StepFuns 600B-MoE

Step 5 Preview war am Morgen des 15. Oktober 2026 nicht neu. Das 600-Milliarden-Parameter-Flaggschiff von StepFun ist seit dem 20. September 2026 über die eigene API des Anbieters aufrufbar, und der unabhängige Evaluator Artificial Analysis bewertet es seit dem 18. September. Neu war an jenem Morgen etwas Engeres und deutlich Nützlicheres: Zwei Inferenz-Stacks veröffentlichten ihre eigenen Wege, es auf Hardware auszuführen, die Ihnen gehört. vLLM eröffnete einen Pull Request, der Step 5 Preview hinzufügte – 129 Dateien, +16.996 Zeilen –, zusammen mit einem begleitenden Rezept und einem dedizierten Image vllm/vllm-openai:step-5-preview, das um 00:51 UTC auf Docker Hub landete. SGLang merged eine Cookbook-Seite mit Blackwell- und Hopper-Rezepten, wobei der dahinterstehende Modell-Pull-Request zur selben Zeit geöffnet wurde. Bis zu jenem Morgen war der einzige Weg, Step 5 Preview auf eigene Hardware zu bekommen, ein Community-Re-Upload eines Checkpoints, für dessen Weiterverbreitung Ihnen niemand eine Lizenz erteilt hatte.

Die ehrliche Schlagzeile lautet also nicht „StepFun hat ein Modell veröffentlicht." Es hat dieses hier im September veröffentlicht, und das eigene Datum des Modells gehört in den ersten Satz jedes Artikels darüber. Die Schlagzeile ist, dass ab dem 15. Oktober 2026 die Serving-Frage Befehle in der Antwort hat.

Was hat sich am 15. Oktober tatsächlich geändert?

Vier Artefakte, alle auf denselben Tag datiert, und es lohnt sich, sie zu trennen, weil sie unterschiedliche Verbindlichkeitsgrade aufweisen.

• vLLM-Modellunterstützung — Pull Request #61727 mit dem Titel „Add Step-5 Preview support“, eröffnet von jeejeelee um 01:18 UTC und trägt die Entwurfs-Markierung. Es ist ein einzelner zusammengefasster Commit, der 129 Dateien betrifft, und er ist nicht gemergt. Ein Entwurfs-PR ist eine Bitte des Autors um Überprüfung, kein Versprechen eines Maintainers.

• Das vLLM-Rezept — Pull Request #1122 in vllm-project/recipes, zwei Minuten früher um 01:16 UTC geöffnet und ebenfalls offen, fügt models/stepfun-ai/Step-5-Preview.yaml mit einer FP8-Standardvariante und einer NVFP4-Variante hinzu. Dies ist das Dokument, das die Zahlen enthält, und es ist dasjenige, auf das sich der Großteil dieses Artikels stützt.

• Das Container-Image — vllm/vllm-openai:step-5-preview, gepusht am 2026-10-15 um 00:51 UTC als Manifest für zwei Architekturen: linux/amd64 mit 8,56 GB komprimiert und linux/arm64 mit 9,58 GB, daneben step-5-preview-x86_64-cu130 und step-5-preview-arm64-cu130. Ein veröffentlichtes Image ist ein stärkeres Signal als ein offener PR: Es bedeutet, dass jemand das gebaut und gepusht hat, unabhängig davon, wann das Review abgeschlossen ist.

• Das SGLang-Cookbook – Pull Request #44357, „Add Step 5 Preview cookbook“, wurde nach Review um 01:21 UTC in main gemergt und fügt eine Deployment-Seite hinzu, die die SGLang-Dokumentation jetzt unter docs.sglang.ai/cookbook/autoregressive/StepFun/Step-5-Preview ausliefert und als NEW kennzeichnet. Der zugehörige Support-PR, #44356, ist weiterhin offen. Die Cookbook-Seite stellt unmissverständlich fest, dass „die Unterstützung für Step 5 Preview noch in keinem SGLang-Release ausgeliefert wurde, daher kann ein normales pip install sglang sie nicht bereitstellen“ – was der mit Abstand wichtigste Satz auf ihr ist.

Liest man diese vier zusammen, ergibt sich ein stimmiges Bild: StepFun baut ein offenes Serving für ein Modell auf, dessen API seit fast einem Monat live ist. Nichts davon ist eine Launch-Ankündigung, und nichts davon ist ein Benchmark. Es ist die Infrastruktur, die darüber entscheidet, ob das Modell etwas ist, das man betreiben kann.

Was Step 5 Preview ist – in den Begriffen, nach denen ein Serving Engineer zuerst fragt

StepFuns eigene englische Dokumentation ist dünn, was die Architektur angeht – sie veröffentlicht die Modell-ID, das Kontextfenster von 1 Mio. Tokens, Text-/Bild-/Videoeingabe, reine Textausgabe, eine maximale Ausgabe von 64k Tokens, JSON-Schema-Unterstützung, Prompt-Caching und eine reasoning_effort-Steuerung mit den Einstellungen niedrig, mittel und hoch. Eine Parameteranzahl veröffentlicht sie nicht. Die untenstehenden Architekturzahlen stammen aus den beiden heute veröffentlichten First-Party-Serving-Dokumenten, die den Checkpoint lesen mussten, um einen Loader zu schreiben, und sie stimmen miteinander überein.

• Größe — 600 Mrd. Gesamtparameter bei 27 Mrd. aktiven pro Token, ein spärliches Mixture-of-Experts-Design. Das vLLM-Rezept gibt unabhängig 604 Mrd. an, „gezählt aus den Tensorformen des Checkpoints“, und die beiden Zahlen sind dieselbe Zahl, nur unterschiedlich gerundet.

• Tiefe und Routing — 92 Schichten. Jede MoE-Schicht leitet ein Token an 8 von 352 Experten plus einen gemeinsam genutzten Experten weiter. Diese Expertenanzahl ist der Grund, warum der vLLM-PR eine Router-GEMM-Kernel-Änderung enthält: Sie fügt (4096, 352) als unterstütztes (hidden_dim, num_experts)-Paar hinzu, neben den bestehenden (3072, 256) und (6144, 128).

• Attention — ein sich wiederholendes Muster aus vier Schichten: drei Sliding-Window-Schichten, die auf die jüngsten 512 Token achten, dann eine Sparse-Attention-Schicht. Die Sparse-Schichten unterteilen den KV-Verlauf in 8-Token-Regionen, bewerten eine Zusammenfassung jeder Region mit einem leichtgewichtigen Indexer und wählen bis zu 512 historische Regionen aus, die sie auf Token-Ebene beachten. SGLang nennt es Region-Sparse-Attention; die praktische Konsequenz ist, dass ein 1M-Token-Kontext speichermäßig bezahlbar bleibt.

• Spekulatives Dekodieren — drei MTP-Schichten. SGLangs „Drei-Schichten-MTP“ und das --spec-method mtp --spec-tokens 3 aus dem vLLM-Rezept sind dieselbe Aussage aus zwei Richtungen.

• Präzision — die Gewichte der gerouteten Experten sind FP8 (E4M3, 128×128 Block-Skalen), außer in den letzten drei MoE-Schichten, die BF16 bleiben. Ein separater NVFP4-Checkpoint, stepfun-ai/Step-5-Preview-NVFP4, wird vom vLLM-Rezept als Variante referenziert. Beide Stacks lassen die Mixed-Precision-Schichtaufteilung intakt, anstatt sie hochzukonvertieren.

• Reasoning-Verhalten — das Modell denkt immer nach, bevor es antwortet. reasoning_effort legt die Tiefe fest und ist standardmäßig auf high eingestellt, wenn er nicht gesetzt ist, was die Einstellung ist, die Sie bei einem Latenzbudget am ehesten überraschen dürfte. Die von StepFun empfohlenen Sampling-Parameter sind temperature=1.0, top_p=0.95, top_k=0, und SGLangs Cookbook kennzeichnet diese als informativ und nicht als etwas, das hartcodiert werden sollte.

Die Hardware-Basis ist der Teil, der entscheidet, ob das für Sie wichtig ist.

Hier zahlt sich das vLLM-Rezept aus, denn niemand sonst hat harte Mindestwerte veröffentlicht.

• FP8-Untergrenze — 773 GB VRAM, mit mindestens 4 GPUs und einem Standard-Hardwareziel von B300. Verifizierte Konfigurationen sind für H200, B300 und GB300 aufgeführt. Auf vier B300s bietet das Rezept TP4-, TEP4- oder DEP4-Layouts; die FP8-Gewichte passen nicht auf vier H200s, daher ist der Hopper-Pfad acht GPUs.

• NVFP4-Untergrenze – 473 GB VRAM für den quantisierten Checkpoint, 300 GB weniger als FP8. Die Kehrseite ist der Kontext: Die NVFP4-Variante läuft mit --max-model-len 320000, also verzichten Sie auf rund 724.000 der angegebenen 1.048.576 Token, um mit dem geringeren Speicherbedarf auszukommen.

• Experten-Parallelismus — auf Blackwell werden TEP- und DEP-Layouts über MegaMoE mit --moe-backend deep_gemm_mega_moe geleitet; das reine Tensor-Parallel-Layout hingegen bewusst nicht, weil MegaMoE Experten-Parallelismus benötigt, um überhaupt etwas aufteilen zu können. Auf H200 greift das Rezept für jede Expertenschicht auf einen Triton-MoE zurück, einschließlich der drei BF16-Schichten, weil die TRT-LLM-MoE-Kernel nur auf Blackwell verfügbar sind.

• Startkosten — das SGLang-Cookbook veranschlagt den ersten Start auf etwa 15 Minuten FlashInfer-Kompilierung auf B300, sinkend auf etwa 6 Minuten bei nachfolgenden Starts, und empfiehlt, FLASHINFER_WORKSPACE_BASE und ~/.cache/sglang über Neustarts hinweg persistent zu halten. Wenn Sie von null aus autoskalieren, ist das eine Kaltstart-Untergrenze, kein Rundungsfehler.

• Was noch nicht unterstützt wird — das vLLM-Rezept markiert sowohl Simple- als auch LMCache-KV-Offload für dieses Modell als nicht unterstützt. Der HiCache-Pfad von SGLang ist im Cookbook als verfügbar dokumentiert, was einen echten Funktionsunterschied zwischen den beiden Stacks in ihrem heutigen Zustand darstellt.

Die praktische Lesart: Step 5 Preview ist ein Deployment mit vier bis acht Beschleunigern, kein Einzelknoten-Hobbyprojekt. Wenn dieser Satz Ihr Interesse beendet, ist der API-Abschnitt unten der Rest des Artikels.

Es zu beenden, und was jedes Token kostet

StepFuns eigene Preisseite führt step-5-preview mit 1,00 $ pro Million Input-Tokens bei einem Cache-Miss, 0,10 $ bei einem Cache-Hit und 2,70 $ pro Million Output-Tokens auf – Angaben vom Anbieter, nicht von einem Wiederverkäufer. Zwei Details verändern die Rechnung. Erstens: Der Input-Preis bei Cache-Miss umfasst das Schreiben neuer Inhalte in den Cache, sodass ein erster Durchlauf über ein langes Dokument einmal berechnet und beim zweiten Durchlauf günstig ist. Zweitens: Output-Tokens umfassen sowohl die Denkprozesse des Modells als auch seine Antwort, was hier stärker ins Gewicht fällt als bei einem Modell, das direkt antwortet.

Artificial Analysis, der einzige neutrale Bewerter mit einem veröffentlichten Durchlauf, bewertet Step 5 Preview mit einem Intelligence Index von 43,7 — angezeigt als 44 — bei einer medianen Ausgabegeschwindigkeit von 88,5 Tokens pro Sekunde und einer Zeit bis zum ersten Antwort-Token von 24,7 Sekunden, bei etwa 2.000 Reasoning-Tokens pro Antwort. Die Geschwindigkeitszahl ist respektabel, die Antwort-Token-Latenz nicht: Ein Modell, das immer zuerst denkt, passt schlecht zu interaktiver Autovervollständigung und gut zu Batch- und agentischen Arbeiten, und genau so positioniert StepFun es. Das sind unabhängige Zahlen auf einem Drittanbieter-Harness, und es sind die einzigen verfügbaren — StepFun veröffentlicht für dieses Modell überhaupt keine Benchmark-Tabelle.

Wo die Geschichte noch weich ist, und sie ist nicht überall auf dieselbe Weise weich

Drei Dinge sind es wert, markiert statt glattgebügelt zu werden, denn jedes hat eine andere Haltbarkeit.

Das Erste ist, ob der Vendor-Checkpoint tatsächlich herunterladbar ist. Sowohl die First-Party-Serving-Dokumente verweisen auf stepfun-ai/Step-5-Preview und stepfun-ai/Step-5-Preview-NVFP4 als die kanonischen Checkpoints, und SGLangs Cookbook verlinkt eine LICENSE.txt unter der StepFun Model License 1.0. Was diese Seite nicht leisten kann, ist, bei Hugging Face zu bestätigen, dass diese Repositories heute öffentlich lesbar sind: Die Hugging Face API liefert für stepfun-ai/Step-5-Preview dieselbe 401 Invalid username or password wie für eine Repository-ID, die nie existiert hat, daher kann die Antwort ein gated Modell nicht von einem fehlenden unterscheiden. Die eigene Anleitung des Rezepts – „Nutze hf auth login, wenn der Checkpoint Authentifizierung erfordert“ – ist die einzige Aussage über den Zugriff, und sie ist bedingt. Behandle den Download als von den Leuten referenziert, die die Loader geschrieben haben, und bestätige den Zugriff selbst, bevor du einen Launch darauf aufbaust.

Beim zweiten handelt es sich um das Veröffentlichungsdatum, das drei Quellen auf drei verschiedene Arten angeben: StepFuns Ankündigungsmaterialien setzen den Start auf den 20. September 2026; Artificial Analysis datiert das Modell in den eigenen Metadaten auf den 18. September 2026 und zeigt „Released September 2026“ an; und die Modell-Metadaten-Aggregatoren, die die meisten Tools auslesen, führen den 16. September 2026. Keine der drei erklärt die Diskrepanz. Dieser Artikel verwendet das Datum des Anbieters, den 20. September, wo ein Datum benötigt wird, und es ist gut zu wissen, welche Zahl das Tool erhalten hat, das Sie gerade lesen.

Der dritte Punkt ist die Reife, und hier sind die beiden Stacks nicht gleichwertig. SGLangs Cookbook ist gemergt und in main übernommen, aber SGLangs eigener Text besagt, dass die Unterstützung noch nicht in einer Version veröffentlicht wurde, der Python-Pfad also ein Preview-Docker-Image und sonst nichts ist. vLLMs Rezept ist offen, sein Modell-PR ist ein nicht gemergter Entwurf, für den GitHub derzeit Merge-Konflikte meldet und ein Rebase erforderlich ist, und die eigenen Reviewer haben bereits drei offene Punkte gegen das Rezept vorgebracht — ein FP8-Hardware-Gate, ein Standard-B300-Profil, das Acht-GPU-Befehle entgegen einer Vier-GPU-Anleitung ausgibt, und eine NVFP4-Kontextobergrenze, die nicht in den Variantenargumenten kodiert ist. Nichts davon ist ein Ausschlusskriterium. All das spricht dafür, eine erste selbst gehostete Bereitstellung diese Woche als Evaluierung und nicht als Migration zu behandeln.

Was diese Woche damit tun

Wenn Sie bereits über vier B300 oder acht H200 verfügen und Ihre Workload nach Langdokumentanalyse, Multi-Turn-Tool-Calling oder über Nacht laufenden Agenten aussieht, ist das vLLM-Rezept fast schon ein Runbook: Ziehen Sie vllm/vllm-openai:step-5-preview, kopieren Sie einen TP4- oder TEP4-Befehl und prüfen Sie, ob --max-model-len 1048576 den Kontakt mit Ihrem tatsächlichen KV-Budget übersteht, bevor Sie jemandem eine Million Token versprechen. Wenn Sie Hopper und nicht Blackwell haben, beginnen Sie mit dem NVFP4-Checkpoint und akzeptieren Sie den 320k-Kontext, oder planen Sie acht H200 ein. So oder so: Setzen Sie reasoning_effort bei jeder Anfrage explizit, statt den hohen Standardwert zu übernehmen, und messen Sie die 24,7 Sekunden Zeit bis zum Antwort-Token in Ihrem eigenen Traffic, bevor Sie irgendetwas aus der Zahl von 88,5 Token pro Sekunde ableiten.

Wenn Sie diese Hardware nicht haben, ist die API kein Trostpreis — es sind dieselben Gewichte, pro Token abgerechnet, mit 1,00 $ Eingang und 2,70 $ Ausgang bei 90 % Cache-Rabatt auf wiederkehrenden Kontext. Und hier ist der Teil dieser Seite, an dem die ehrliche Antwort über uns hingehört: Step 5 Preview ist Stand heute nicht in OrcaRouters Live-Modellliste. Unser Katalog umfasst 207 Modelle von 13 Anbietern und enthält derzeit überhaupt kein StepFun-Modell, für dieses spezielle Modell ist die API des Anbieters selbst also der einzige aufrufbare Weg, und nichts auf dieser Seite sollte als Behauptung gelesen werden, dass wir es bereitstellen. Was wir routen, ist die umgebende Entscheidung: Wenn Sie auswählen, welches Frontier-Modell eine Produktions-Workload trägt, spricht für den Zugang über einen einzigen Endpunkt, dass die Listenpreise der Anbieter mit 0 % Aufschlag durchgereicht werden, eine Preisänderung eines Anbieters also am selben Tag Ihr Preis ist, und dass automatisches Failover über Anbieter hinweg bedeutet, dass ein schlechter Nachmittag eines einzelnen Modells nicht Ihr Ausfall ist. Das ist eine Aussage über die Modelle, die wir führen, und bewusst keine Aussage über dieses.

Was als Nächstes zu beobachten ist, ist eng umrissen und überprüfbar. Ob stepfun-ai/Step-5-Preview zu einem lesbaren Repository mit einer Lizenzdatei führt, auf die man ein Rechtsteam verweisen kann; ob vLLMs #61727 aus dem Draft-Status kommt und seinen Merge-Konflikt auflöst; ob SGLangs Support-PR #44356 in einem getaggten Release landet – der Punkt, an dem das Rezept aufhört, ein Preview-Image zu sein, und zu etwas wird, das deine CI anpinnen kann. Jedes Einzelne dieser drei verwandelt das „du kannst es wahrscheinlich ausführen“ dieser Woche in ein schlichtes Ja, und bis dahin ist die einzige Behauptung, die es wert ist, aufgestellt zu werden, diejenige, die die Belege stützen: Am 15. Oktober 2026 veröffentlichten zwei Serving-Stacks ihre eigenen Wege zu einem Modell, das seit dem 20. September 2026 aufrufbar ist.

Die Entscheidung, ein Modell mit 600 Milliarden Parametern auf eigener Hardware zu betreiben, ist ebenfalls eine Entscheidung, bei der die Erfolgsbilanz zählt: Dokumentierte KI-Vorfälle und Agentenfehler rund um Modelle dieser Klasse werden im OrcaRouter AI Incident Archive gesammelt, wo jeder Eintrag eigene Quellen, Schweregrad, Konfidenzstufe und Kennzeichnung als umstritten enthält.