Források · AI Gateway

Melyik modell kapja meg a kérését – és ki dönt róla

Egy egyszerű kérdés ne kerüljön annyiba, mint egy nehéz. A Gateway egy általunk üzemeltetett modellel különbözteti meg őket, és maga a döntés soha nem kerül ki.

Nem a szolgáltatója dönt

A döntést egy általunk üzemeltetett modell hozza meg – minden csomagban, nem csak a drágában.

Nincs felár

Az AWS és az Azure is külön tételként számlázza az útválasztást. Itt ugyanabban a menetben fut, mint a biztonsági ellenőrzések, amelyekért már fizet.

Ellenőrizhető

A besorolás egy nyilvános ranglistából származik, nem a saját pontozásunkból.

Hogyan fut

Három lépés

1
Nehézség

Egy általunk üzemeltetett osztályozó öt osztály egyikébe sorolja a kérést – a saját infrastruktúránkon az EU-ban, vagy az Ön hardverén Enterprise on-premise esetén.

2
Szűkített lista

Az osztály dönti el, mely modellek válaszolhatnak rá.

3
Választás

Ezek közül a legolcsóbb, amelyik elbírja.

A kérés egyetlen része sem kerül harmadik félhez a megítéléshez.

Hol születik a döntés

Ki látja a kérését, mielőtt egy modell látná

Módszer
A döntés helye
Útválasztás ára
AWS Bedrock
az AWS felhőjében
$1 / 1,000 kérés
Azure AI Foundry
az Azure felhőjében
$0.14 / 1M token
Üzemeltetett gatewayek
a gateway szállítójánál
az előfizetés része
Tandevia — felhő
a saját infrastruktúránkon, az EU-ban
0
Tandevia — Enterprise on-premise
az Ön hardverén
0

A legerősebb megfogalmazás, amelyet egy üzemeltetett szolgáltató használ, az, hogy „nem tároljuk” – soha nem az, hogy „nem küldjük el”.

A mi felhőnkben a döntést egy általunk Európában üzemeltetett modell hozza meg, soha nem az a modellszállító, amelyiknek a kérést küldi. Az Ön saját hardverén, Enterprise on-premise esetén ugyanez a modell ott fut, ahonnan egyáltalán semmi nem távozik. Felár egyik esetben sincs, mert egy menetben fut azokkal a biztonsági ellenőrzésekkel, amelyekért már fizet.

A versenytársak árai a 2026 szeptemberében közzétett állapot szerint.

A bizonyíték

Mit mértünk – azt is, ami nem működött

Nem találgatjuk, melyik modell melyik osztályba tartozik: egy szkript vezeti le egy nyilvános ranglistából, és bármikor újragenerálható. A 45 modellből 18-nál kijavította a saját kézi besorolásunkat, mindkét irányban.

És a kényelmetlen rész: a RouterBench nyilvános benchmarkon a kérés rögzített küszöbhöz mért olvasása egyáltalán semmit nem hozott. Az ok az adatokban van – ezeknek a feladatoknak a 87%-ánál nincs olcsóbb modell, amelyik elég lett volna. Ezért nem ígérünk megtakarítási százalékot. Azt ajánljuk, hogy megmérjük.

Ha baj van

Ha egy modell nem tud válaszolni

Szolgáltatói kiesés, kimerült kvóta vagy sebességkorlát esetén a kérést egy másik szolgáltató veszi át, azonos vagy magasabb osztályból – kizárólag olyan modellekből, amelyeket az adott alkalmazás használhat. A válasz ekkor egy sorban megnevezi a modellt, amelyik írta. Kikapcsolható, ha egy alkalmazás inkább a hibát kapná meg.

Mit tudunk ajánlani

Hogy mennyit takarítana meg, nem tudjuk. Megmérjük.

Az, hogy a forgalmának mekkora részét viheti el egy olcsó modell, attól függ, mit csinálnak az emberei. Ezt egy versenytárs nem tudja kiszámolni Önnek – ahhoz a promptjaira lenne szüksége a saját szerverein. Mi az Önén mérjük meg.

Egy hónap után megkapja a saját számát: a forgalom mekkora hányada, ez mennyi pénzben, és hol nem segít az útválasztás. Ha kiderül, hogy nem segít, meg fogjuk mondani.

A mérés a konzol egyik képernyője, nem szolgáltatás, amelyet mi végzünk: fogja az eltárolt kéréseit, megválaszoltatja őket egy olcsó és egy drága modellel, Ön pedig megítéli, melyik válasz lett volna elég. Az oldalak A és B jelölést kapnak – aki tudja, melyik melyik, az az elvárása alapján dönt, és akkor a szám már nem az Öné. Az eredményt szórással kapja meg, mert harminc ítéletből számolt arány tartomány, nem pedig egyetlen szám.