4 / 3908

ArisGlobal halbiert mit Prompt-Caching die Input-Kosten auf Amazon Bedrock

TL;DR

ArisGlobal betreibt seine Life-Sciences-AI-Engine NavaX auf Amazon Bedrock und cached dabei den gemeinsamen Prompt-Präfix. Laut dem AWS Machine Learning Blog sanken die effektiven Input-Kosten dadurch um rund 50 Prozent, während die monatlichen Inferenzkosten insgesamt um etwa 40 Prozent zurückgingen. Das soll mehr Mandanten ermöglichen, ohne dass die Kosten im gleichen Maß wachsen; die Kennzahlen stammen aus der Unternehmensdarstellung und sind unabhängig nicht verifiziert.

Nauti's Take

Für Teams mit langen, wiederkehrenden Systemanweisungen ist das ein konkreter Testpunkt: Prüfe zuerst, welcher Prompt-Teil über viele Anfragen identisch bleibt, und messe die Cache-Trefferquote getrennt von den Dokument-Token. Die 40 Prozent sind eine Fallstudie aus einem AWS-Unternehmensbeitrag, keine allgemeine Einspargarantie; vor dem Umbau zählen Modell, Cache-Regeln, Latenz und Datenisolierung pro Mandant.

Quellen