Tartu Ülikooli, Tallinna Tehnikaülikooli, Tallinna Ülikooli ja Eesti Keele Instituudi koostöös arendatav baromeeter testib maailma juhtivaid keelemudeleid nagu näiteks OpenAI ChatGPT, Anthropicu Claude, Google’i Gemini, Meta Llama ja teisigi.
Tehisaru baromeetril on kolm funktsiooni:
1. Reaalajas edetabel. Kasutajate hinnangute põhjal kujuneb pidevalt uuenev järjestus, mis näitab, millised mudelid on eesti keeles kõige kvaliteetsemad. Edetabel peegeldab nii mudelite keeleoskust, faktiteadmisi, ohutust kui ka stiili ja iseloomu.
2. Andmete kogumine keelemudelite arendamiseks. Iga keelemudelile esitatud küsimus ja vastustele antud hinnang aitab teadlastel koguda väärtuslikku sisendit, mida saab kasutada keelemudelite peenhäälestamiseks parema eesti keele toetuse eesmärgil.
3. TI-teadlikkuse tõstmine. Baromeeter on hea võimalus katsetada erinevaid keelemudeleid, võrrelda vastuseid ning saada paremat aimu keelemudelite tugevustest ja nõrkustest meie keelekeskkonnas.
Projekti esialgne eesmärk on koguda kokku 50 000 võrdlust. Iga vestlus aitab parandada eesti keele nähtavust tehisaru maailmas.
Baromeeter tugineb avatud lähtekoodiga ChatBotArena platvormile, mille töötasid välja California Ülikooli Berkeleys ja LMSYS teadlased. Algne platvorm on kohandatud eestikeelseks, et hinnata keelemudelite võimekust kohalikus keeleruumis.