Kako smo znižali strošek članka z viri in oceno, ki ga je napisala umetna inteligenca, z $8.40 na $0.37

Uradni podatki na enem mestu

Spodnja tabela prikazuje vsako stroškovno številko, ki jo študija primera objavlja o platformi, in tisto, ki smo jo izpeljali sami zaradi matematične preglednosti. Študija primera poroča o mesečnem skupnem znesku približno $5 za stranko pri treh objavah na teden, vendar ne prikazuje množenja – to vrstico smo dodali mi, da se številke ujemajo.

Kaj $0.37 je – in kaj ni

Poraba modela je dobesedni strošek računanja, plačan ponudnikom modelov za 24 API klicev v enem zagonu. Ne vključuje ničesar drugega. Spodnja tabela ločuje, kaj je vključeno v znesek $0.37 in kaj ostaja zunaj njega – ter opozarja na razčlenitev po stopnjah, ki je študija primera nikoli ne razkrije.

Poraba modela plača inferenco. Vse ostalo – oseba, ki prebere osnutek, infrastruktura, ki poganja validatorje, čas, porabljen za inženiring cevovoda – je ločen strošek, za katerega nimamo objavljene številke.

Kaj pomeni "nadzorovano" v praksi

Izhod modela obravnavamo kot trditev, ki mora opraviti preverjanja, preden velja za dokončano. To je doktrina za vsako avtomatizacijo, ki jo zgradimo. Za platformo z agenti za vsebino imajo ta preverjanja obliko 15 determinističnih validatorjev. Deterministični validator je pravilo, ne nov klic modela – preverja, ali citati obstajajo, ali viri delujejo, ali se navedki ujemajo z izvirniki, ali so povezave delujoče in ali ni prepovedanih trditev. Vsak validator vrne rezultat "opravljeno" ali "neopravljeno". Uteženo vrednotenje nato oceni devet dimenzij kakovosti, človeška odobritev pa stoji pred vsakim nepopravljivim dejanjem, kot je objava članka.

To je enak vzorec, kot ga opisuje naša storitev AI avtomatizacije: preslikamo delovne procese podjetja in zgradimo nadzorovane sisteme agentov – sisteme, kjer se izhod modela deterministično preveri in nato odobri s strani človeka, preden lahko vpliva na svet. Verifikacijska vrata so natanko tista kontrolna točka, kjer človek ali deterministično pravilo potrdi izhod, preden se cevovod nadaljuje.

Objavljena študija primera ne poroča, koliko človeških minut zahteva tipičen članek, nam pa pove število verifikacijskih ravni. Vsakič se zažene petnajst validatorjev in uteženo vrednotenje, izhod pa čaka na odobritev. Številka $0.37 je dejanska poraba modela; ne pomeni pa ničelnega človeškega dela.

Kaj je enodnevna optimizacija spremenila

Porabo modela smo z $8.40 na $0.37 znižali s tremi spremembami, kot jih navaja študija primera: odstranili smo zanke samoizboljševanja, iskanje prestavili v ogrodje (harness) in združili odvečne panele ocenjevalcev. Preostali cevovod ima 14 stopenj in 15 validatorjev. Objavljeni zapis prihranka ne razčleni po spremembah ali stopnjah, zato ne moremo povedati, koliko je prispevala vsaka od treh sprememb; meri pa porabo modela, ne primerjave kakovosti člankov pred in po.

Ali lahko vaša ekipa to izvede brez inženirja?

Študija primera kaže, da platforma ustvarja članke za ta blog; ne dokazuje pa, da je platforma na voljo kot samostojen izdelek za druge ekipe. Ta članek ne ponuja povezanih primerov izhodov, zato ne more neodvisno dokazati uredniške kakovosti ali dejanske zanesljivosti sistema. Študija primera ne dokazuje, da se enaka ekonomika prenese na drug delovni proces, in nobena objavljena številka ne opredeljuje časa za človeški pregled ali inženirskega truda, ki bi ga potrebovali za zagon podobnega cevovoda za vašo vsebino. Če tri objave na teden tukaj stanejo približno $5 porabe modela, vam ta številka pove le, koliko stanejo modeli v našem cevovodu, konfiguriranem za našo vrsto vsebine, z našimi standardi ocenjevanja.

Ni vam treba biti inženir, da preberete študijo primera in se odločite, ali je pristop smiseln za vaš kontekst. Toda za njegovo replikacijo bi potrebovali bodisi lasten inženiring bodisi partnerja, ki gradi nadzorovane sisteme agentov.

Česa ti dokazi ne trdijo

Želimo biti jasni glede omejitev številk, ki ste jih prebrali:

• Brez celotnega stroška. Čas za človeški pregled, naročnine na orodja in inženirski dnevi niso vključeni v nobeno tukaj navedeno dolarsko številko. Noben pridobljeni vir jih ne opredeljuje.
• Brez tržne primerjave. Nismo črpali primerjav tretjih oseb, industrijskih povprečij ali cenovnih razponov na članek drugih ponudnikov. To je poročilo iz prve roke o krivulji stroškov enega sistema.
• Brez obljube o prenosljivosti. Številka $0.37 opisuje en zagon ene platforme za eno vrsto članka, s specifičnimi preverjanji kakovosti in specifičnim inženiringom pozivov. Ta ekonomika se morda ne bo prenesla na vaš delovni proces.

Če ste prebrali do sem, imate uradne podatke, eno izpeljavo in poštene omejitve. Preberete lahko celotno študijo primera Agent Agency, da si ogledate tehnično razčlenitev. Če želite to ekonomiko preslikati na svoj delovni proces vsebine – z vašo vsebino, vašimi merili kakovosti in vašim proračunom – rezervirajte strateški klic.