ROI umělé inteligence: Jak měřit návratnost AI investic a nenechat se opít prezentacemi

Firmy nasazují AI a nevědí, co je stojí. Ne že by to spočítat nešlo. Nikdo ale nerozpadá
náklad na úlohu a model, takže na slidech místo výpočtu zbyde pocit. Vždy jsem říkal:
„Neměříš, nevíš." Teď to začíná bolet, protože AI leze z inovačního rozpočtu do běžného
provozu a tam se na ni ptají finance, ne IT. Ukážu, jak se náklad měří na jednom běhu, ne
odhadem z kvartální faktury. Rozdíl mezi modely u stejné úlohy je sedminásobný a dokud to
firma nemá změřené, o návratnosti nemá smysl mluvit.

Spotřebu a náklady LLM měříme v ostrém provozu. Datum, model, tokeny, cache, cena. Na konci není odhad, ale auditní stopa po jednotlivých bězích, přiřazená k projektu.

U banky řešíme FinOps od konsolidace nákladů po chargeback a rozpad na namespace,
aplikaci a tribe. Je rozdíl vidět real-time náklady průběžně, nebo až dvakrát ročně
v Excelu.

Tomáš Nekolný je technický ředitel TSP DATA. Vedou projekty observability a FinOps u telco operátorů a bank, tedy tam, kde se náklad musí umět rozpadnout na aplikaci, tým a službu. K tomu měří spotřebu jazykových modelů v ostrém provozu, od jednoho běhu po přiřazení k projektu. Je jedním ze zakládajících partnerů FINELITECH, platformy pro finanční ředitele. V jeho oboru razí heslo: „Neměříš, nevíš!"