Kaip testuojame DI įrankius
Kiekvieną DI įrankį tikriname tuo pačiu lietuviškų užduočių rinkiniu, kalbą vertiname pagal viešą skalę, o kainas imame tik iš oficialių puslapių. Čia aprašome visas taisykles, kad mūsų išvadas galėtumėte patikrinti patys.
Šiame puslapyje
Principai
Šios taisyklės galioja kiekvienam įrankiui ir kiekvienam puslapiui.
- Nepriklausomybė. Patys renkamės, ką testuoti, ir patys rašome išvadas. Gamintojai teksto prieš paskelbimą nemato.
- Tos pačios užduotys. Visi tos pačios kategorijos įrankiai gauna tas pačias užklausas tomis pačiomis sąlygomis. Tik taip rezultatus galima palyginti.
- Lietuvių kalba pirmiausia. Užklausas rašome lietuviškai ir vertiname lietuviškus atsakymus. Anglų kalba atliktų testų rezultatų neperkeliame: lietuviškai tas pats įrankis gali dirbti visai kitaip.
- Kainos eurais su PVM. Rodome mėnesio kainą eurais su PVM, kokią mato pirkėjas Lietuvoje. Verslo planų kainas, kurias gamintojas skelbia be PVM, rodome be PVM ir tai pažymime.
- Datos. Kiekvienas puslapis rodo, kada buvo atnaujintas, o kainų lentelė rodo, kada tikrinome kainas.
- Šaltiniai. Kiekvieną faktą apie įrankį grindžiame šaltiniu, dažniausiai oficialiu gamintojo puslapiu. Šaltinių sąrašas yra kiekvieno puslapio pabaigoje.
Testų rezultatų dar nėra
Pirmųjų įrankių dar neištestavome. Rezultatus ir lietuvių kalbos balus skelbsime kiekvieno įrankio puslapyje, pavyzdžiui, ChatGPT puslapyje. Kol įrankis neištestuotas, vietoje balo rodome „tikrinama“.
Kaip vyksta testas
- Paskyra. Naudojame tokią paskyrą ir tokį planą, kokį gali įsigyti bet kuris skaitytojas. Specialios prieigos apžvalgininkams neimame.
- Švari pradžia. Kiekvieną užduotį pateikiame naujame pokalbyje, be ankstesnės istorijos ir be asmeninių nurodymų.
- Kartojimas. Kiekvieną užduotį pateikiame bent du kartus, nes DI į tą pačią užklausą gali atsakyti skirtingai. Jei atsakymai labai nevienodi, tai parašome.
- Užrašai. Išsaugome užklausas, atsakymus, datą, planą ir modelį, kurį rodė įrankis.
- Vertinimas. Atsakymus vertina žmogus, kuriam lietuvių kalba gimtoji. Balų už mus nerašo kitas DI įrankis.
Užduočių rinkinys
Pokalbių DI įrankiams naudojame septynių tipų užduotis. Kiekviena jų atitinka darbą, kurį žmonės kasdien patiki DI.
- Rašymas lietuviškai. Trumpas tekstas pagal aiškų užsakymą, pavyzdžiui, skelbimas ar prekės aprašymas.
- Laiško taisymas. Dalykinis laiškas su klaidomis: ar įrankis jas ištaiso ir nepakeičia prasmės.
- Vertimas LT↔EN. Tekstas verčiamas į abi puses: ar išlieka prasmė, tonas ir terminai.
- Ilgo dokumento santrauka. Kelių puslapių dokumentas: ar santraukoje yra svarbiausios mintys ir nėra to, ko dokumente nebuvo.
- Faktų paieška su šaltiniais. Klausimas apie Lietuvą: ar nuorodos veikia ir ar šaltiniuose tikrai parašyta tai, ką teigia įrankis.
- Darbas su lentele. Nedidelė lentelė su skaičiais: ar teisingi skaičiavimai ir išvados.
- Kūrybinė užduotis. Sveikinimas, šūkis ar trumpas eilėraštis: ar tekstas skamba lietuviškai, o ne kaip vertimas.
Vaizdų, balso ir automatizavimo įrankiams užduotis pritaikome pagal jų paskirtį ir aprašome tų įrankių puslapiuose. Kartu su rezultatais skelbsime ir užklausų pavyzdžius, kad testą galėtumėte pakartoti patys.
Lietuvių kalbos balas nuo 0 iki 10
Šis balas rodo tik tai, kaip įrankis dirba lietuviškai. Tai ne bendras įrankio įvertinimas: įrankis gali gerai skaičiuoti, bet rašyti su klaidomis.
Balą skaičiuojame iš visų rinkinio užduočių. Kiekvieną kriterijų vertiname nuo 0 iki 10. Galutinis balas yra svertinis vidurkis, suapvalintas iki vieno skaitmens po kablelio.
| Kriterijus | Svoris | Ką tikriname |
|---|---|---|
| Gramatika ir linksniai | 30 % | Ar teisingi linksniai, giminės ir skaičiaus derinimas, veiksmažodžių formos ir sakinio sandara. |
| Diakritikai ir rašyba | 20 % | Ar visur yra ą, č, ę, ė, į, š, ų, ū, ž. Ar teisinga rašyba, didžiosios raidės ir skyryba. |
| Natūralumas | 20 % | Ar tekstas skamba taip, lyg jį būtų parašęs lietuvis: be vertimo kalkių ir be nereikalingų anglicizmų. |
| Terminija | 15 % | Ar vartojami įprasti lietuviški terminai ir ar jie vartojami nuosekliai. |
| Užduoties supratimas | 15 % | Ar įrankis suprato lietuvišką užklausą ir padarė tai, ko prašyta: apimtį, toną, formatą. |
Rašybą tikriname pagal Valstybinės lietuvių kalbos komisijos patvirtintas rašybos taisykles, terminus – Lietuvos Respublikos terminų banke. Šiurkšti klaida, pavyzdžiui, ne tas linksnis, balą sumažina labiau nei smulki, pavyzdžiui, praleistas kablelis.
Ką reiškia balas
- 9,0–10. Tekstą galima naudoti iš karto. Klaidų beveik nėra, jis skamba natūraliai.
- 7,0–8,9. Geras tekstas su keliomis smulkiomis klaidomis. Prieš siunčiant užtenka greitai peržiūrėti.
- 5,0–6,9. Tekstas suprantamas, bet klaidų ir nenatūralių frazių daug. Jį reikia rimtai taisyti.
- Mažiau nei 5,0. Klaidos trukdo suprasti arba įrankis atsako ne lietuviškai ar ne į klausimą. Lietuviškiems tekstams tokio įrankio nerekomenduojame.
Kaip tikriname kainas
- Kainas tikriname kartą per mėnesį oficialiuose gamintojų kainų puslapiuose.
- Rodome mėnesio kainą eurais su PVM. Jei mokant už metus kaina kitokia, tai nurodome prie plano.
- Valiutų patys neperskaičiuojame. Jei gamintojas kainos eurais nerodo, paliekame „tikrinama“ ir paaiškiname kodėl.
- Kol kainos nepatikrinome, lentelėje rašome „tikrinama“. Kainų nespėliojame.
- Po kiekviena kainų lentele nurodome paskutinio patikrinimo datą.
Kainos gali pasikeisti greičiau, nei spėjame jas patikrinti. Prieš pirkdami pasitikrinkite kainą gamintojo svetainėje.
Kada keičiame verdiktą
Verdiktas nėra galutinis. Jį peržiūrime, kai:
- pasikeičia kaina arba nemokamos versijos ribos;
- įrankis gauna naują modelį ar svarbią funkciją;
- skaitytojai praneša, kad įrankis veikia kitaip, nei aprašėme;
- pakeičiame pačią metodiką.
Pakeitę verdiktą ar balą, puslapyje parašome, kada ir kodėl tai padarėme. Senų išvadų tyliai neperrašome. Metodikos pakeitimus aprašome šiame puslapyje, o prie rezultatų nurodome, pagal kurią metodiką jie gauti.
Ko nedarome
- Neparduodame vietų reitinguose, verdiktų ir balų.
- Nerašome apžvalgų mainais į nemokamą prieigą, dovanas ar užmokestį.
- Nerodome gamintojams teksto prieš paskelbimą ir neleidžiame jo taisyti.
- Partnerių nuorodų neslepiame. Jos visada pažymėtos ir verdikto nekeičia: įrankis be partnerių programos vertinamas lygiai taip pat.
Kaip uždirbame, plačiau rašome puslapyje Reklama ir partnerystė.
Klaidos ir pataisymai
Klystame ir mes. Radę klaidą, parašykite mums. Nurodykite puslapį ir ką reikia pataisyti, o jei galite, pridėkite šaltinį.
Faktų klaidas taisome kuo greičiau ir atnaujiname puslapio datą. Jei pataisymas keičia išvadą, tai parašome puslapyje. Gamintojai taip pat gali pranešti apie faktų klaidas, tačiau dėl verdikto nesiderame.
Šaltiniai
- Valstybinė lietuvių kalbos komisija: „Lietuvių kalbos rašyba. Taisyklės, komentarai, patarimai“ (2022, PDF) (atsidaro naujame lange) vlkk.lt
- Lietuvos Respublikos terminų bankas: patikslintoji paieška (atsidaro naujame lange) terminai.vlkk.lt
Informacija tikrinta Radote klaidą? Praneškite mums.