Marx.ba

Kako se alate generativne umjetne inteligencije u sve većoj mjeri ugrađuje u razvoj softvera, trošak pokretanja temeljnih modela, poznat kao inferencija, pojavljuje se kao budžetska stavka koju finansijski direktori ne mogu ignorirati.

Softverski inženjeri i istraživači u tehnološkim kompanijama već se bore za pristup procesorima, a računarski kapacitet za umjetnu inteligenciju pažljivo se raspoređuje prema važnosti projekata.

Pritom korištenje po korisniku raste znatno brže od njihoog ukupnog rasta, zbog čega je na raspolaganju sve manje računarskih resursa. Drugim riječima, pristup umjetnoj inteligenciji uskoro bi mogao biti jednako važan kao i pristup visokoj plati i bonusima, piše Tportal.

Ako ste programer u eri umjetne inteligencije i nemate pristup odgovarajućim resursima, mogli biste na kraju proizvesti puno manje softvera od svojih kolega, što bi vam moglo dovesti karijeru u pitanje. Ta oskudica mijenja način na koji inženjeri razmišljaju o svom poslu i plati. Zato su potencijalni zaposlenici tokom razgovora za posao počeli postavljati pitanja koliki će biti budžet za obradu potrebnu za rad umjetne inteligencije.

Neki među njima su, primjerice, uz platu i naknade zatražili pretplatu na Microsoftov Copilot, a ima i onih koji zagovaraju uvođenje tokena za računarske resurse kao uobičajeni dio plate koje nude kompanije kao što su OpenAI ili Anthropic.

Za finansijske direktore ovaj potencijalno veliki novi trošak mora biti podjednako na radaru kao i ostali troškovi povezani s brojem zaposlenika. Prema procjenama koje prenosi Business Insider, korištenje umjetne inteligencije moglo bi činiti nešto više od petine troška na platu u budućnosti.

Pitanje je, naravno, kakav je povrat te potrošnje na umjetnu inteligenciju? Ako se performanse infrastrukture u računarskom oblaku procjenjuju po bruto dobiti za sat korištenja GPU-a, ekvivalent za zaposlenika mogao bi biti produktivan rad po dolaru inferencije.

Podsjetimo, veliki jezični modeli raščlanjuju riječi i druge ulazne podatke u numeričke tokene da bi ih bilo lakše obraditi i razumjeti. Jedan token je otprilike tri četvrtine riječi.

Također ih se koristi za određivanje cijene korištenja AI modela putem standardnog iznosa za milion tokena u industriji.