Kāda skolotājs nesen uzņēmās neparastu izaicinājumu: novērtēt vidusskolas eksāmena eseju, kas pilnībā tika uzrakstīta ar mākslīgā intelekta palīdzību
Rezultāti bija pārsteidzoši un izraisīja aktīvas diskusijas par mākslīgā intelekta lomu un uzticamību izglītībā. Kamēr skolotājs esejai piešķīra pieticīgu atzīmi, vairāki ar mākslīgo intelektu balstīti rīki to novērtēja daudz augstāk. Ko tas mums var pastāstīt par mākslīgā intelekta pielietojumu testēšanā un mācībās?
Esejas vērtēšana: skolotājs pret MI rīkiem
6.jūnijā, kādas vidusskolas noslēguma eksāmenu laikā, nolēma pārbaudīt MI spējas. Viņi lūdza mākslīgo intelektu uzrakstīt filozofisku eseju, atbildot uz jautājumu: “Vai patiesība vienmēr ir pārliecinoša?” Uzdevumā tika norādīts, lai eseja būtu atbilstoša skolēna līmenim, ar skaidru ievadu, iztirzājumu un noslēgumu, iekļaujot filozofiskas atsauces un piemērus.
Kad eseja bija pabeigta, profesionāls filozofijas skolotājs to novērtēja tāpat kā jebkuru skolēna darbu. Skolotājs zināja, ka eseju uzrakstījis mākslīgais intelekts, taču centās to objektīvi novērtēt. Rezultāts bija 8 punkti no 20 — skaidrs rādītājs tam, ka skolotājs saskatīja būtiskus trūkumus.
Tikmēr dažādi ar mākslīgo intelektu balstīti vērtēšanas rīki to pašu eseju novērtēja daudz augstāk — no 15 līdz gandrīz 20 punktiem. Šie rīki slavēja esejas struktūru, skaidro argumentāciju un loģisko secību. Neviens no rīkiem nepievērsa uzmanību nopietnai kļūdai, ko skolotājs uzreiz pamanīja ievadā —MI nedaudz mainīja esejas pamata jautājumu, kas filozofijā ir ļoti nozīmīgi.
Skolotāja kritikas izpratne par MI eseju
Skolotāja skatījumā esejā bija sastopamas dažas būtiskas problēmas. Galvenā bija tā, ka MI pārveidoja sākotnējo jautājumu no “Vai patiesība vienmēr ir pārliecinoša?” uz “Vai patiesība ir pietiekama, lai pārliecinātu?” Filozofijā pat šādas smalkas izmaiņas var pilnībā mainīt jēgu un vājināt argumentāciju. Tas skolotājam lika atzīmēt, ka eseja nav pareizi sapratusi uzdevumu.
Bija arī citas bažas par loģisko uzbūvi. Lai gan MI rakstītais ievēroja klasisko trīsdaļīgo esejas struktūru, skolotājam pārejas starp daļām šķita neveiklas, bet argumenti — pārāk mehāniski. Piemēram, frāzes kā “Patiesībā viss ir sarežģītāk” šķita nepiemērotas kontekstam. Noslēgums, lai arī atgriezās pie tēmas, nespēja sniegt patiesu pārdomu par to, kāpēc patiesība ne vienmēr var pārliecināt visus.
Skolotājs raksturoja eseju kā pārāk virspusēju, lai atbilstu prasībām nopietnā eksāmenā, uzskatot to drīzāk par sakombinētiem iepriekš dzirdētiem viedokļiem, nevis par oriģinālu izpēti. Galīgā atzīme — 8 punkti — atspoguļoja šīs bažas.
Kāpēc MI rīki piešķīra esejai daudz augstāku vērtējumu
Lielā atšķirība starp skolotāja vērtējumu un MI rīku piešķirtajām atzīmēm raisa jautājumus par mākslīgā intelekta vērtēšanas metodēm. Vairāki MI vērtētāji deva esejai no 15 līdz 19,5 punktiem no 20. Tie slavēja skaidro trīs pakāpju struktūru, ideju loģisko attīstību un labi nostrādāto valodu. Neviens no tiem nepamanīja kritisko kļūdu, kas saistīta ar pamatjautājuma izmaiņu.
Kas izskaidro šo neatbilstību? MI vērtēšanas rīki, šķiet, dod priekšroku formāliem aspektiem, piemēram, uzbūvei, gramatikai un teksta loģiskumam, nevis dziļākai filozofiskai precizitātei. Tā kā tie balstās uz algoritmiem, kas apmācīti atpazīt labi strukturētas esejas, šie rīki MI rakstīto — kā tehniski pareizu un labi organizētu darbu — uzskatīja par augstas kvalitātes.
Svarīgi atcerēties, ka MI vērtējumi var mainīties atkarībā no uzdevuma formulējuma, izmantotajiem apmācības datiem un konkrētās programmas versijas. Pat tas pats MI dažādos brīžos var dot atšķirīgus novērtējumus tai pašai esejai.
Pārdomas par mākslīgā intelekta lomu izglītībā un eksāmenos
Šis eksperiments sniedz vairākas būtiskas atziņas skolēniem, skolotājiem un visiem, kas interesējas par MI izmantošanu izglītībā. Pirmkārt, tas atgādina par konteksta nozīmi. Prasmīgs cilvēks-skolotājs spēj pamanīt smalkas kļūdas un pretrunas, ko tehnoloģijas var nepamanīt. Tajā pašā laikā MI var sniegt noderīgu sākotnējo atgriezenisko saiti, īpaši attiecībā uz formu un skaidrību.
Personīgi man tas atgādina laiku, kad paļāvos uz automātisko pareizrakstības pārbaudi rakstot svarīgu skolas darbu. Lai gan šie rīki atrada virspusējas kļūdas, vairākas neskaidras teikumu konstrukcijas palika nepamanītas — līdz skolotājs tās pacietīgi norādīja. Cilvēka vērtējums joprojām spēj aptvert nianses, ko mašīnas vēl nesaprot.
Lasi vēl: !!!!!!!!!!!!!!!!!!
Arī tas, ka skolotājs zināja par MI autorību, varēja ietekmēt vērtējumu. Vai skolotājs, kurš par to nebūtu informēts, būtu vērtējis maigāk? Iespējams. Taču šī neobjektivitāte var arī mudināt pedagogus pārskatīt savus kritērijus un pielāgot mācību stratēģijas, jo MI rīki kļūst arvien izplatītāki.
Kāda sieviete komentārā dalās ar savu viedokli: “MI ir mākslīgs. Nevis inteliģents. Tas nesaprot, ko pats raksta, tāpēc var radīt “darbu”, kas virspusēji šķiet kvalitatīvs, taču tam trūkst dziļuma un nianšu. Tas ir kā gudrs bērns, kurš aiz daiļskanīgiem vārdiem cenšas noslēpt zināšanu vai izpratnes trūkumu. “Mītu grāvēji” (Mythbusters™) pierādīja, ka pat pērles var nopulēt. Mākslīgais intelekts ir apguvis metodes, kā piešķirt spīdumu atkritumiem — tā ir daiļrunība bez būtības”
Vēl kāda skolotāja pauž savu viedokli: “Jā, piekrītu – darbs būtu bijis jāvērtē, skolotājam nezinot, ka to rakstījis mākslīgais intelekts, tad argumentam būtu vēl lielāks svars. Taču jāatzīst, ka raksta autors izsaka pamatotus apsvērumus, kurus noteikti vajadzētu ņemt vērā, izmantojot MI.
Vēl viens iemesls, kāpēc, manuprāt, MI mēdz dot augstākus vērtējumus, ir tas, ka šobrīd tas līdzinās jaunam, nepieredzējušam skolotājam. Tam nav iepriekšējas pieredzes, ar ko salīdzināt, tikai grāmatu zināšanas vai ieprogrammēta uzvedība, tāpēc tas vērtē salīdzinoši labi struktūras ziņā, bet ne “emocionāli” vai “cilvēcīgi”. Es esmu novērojis, ka, uzdodot jautājumus MI un tas “pārinterpretē” manis teikto, tad, saņemot labojumu, tas mēdz mainīt atbildi, sniedzot precīzāku interpretāciju. Tomēr, ja MI tiktu izmantots masveida vērtēšanai, nebūtu laika pārbaudīt katra gadījuma precizitāti.
Lasi vēl: !!!!!!!!!!!!!!!!!!!!!!!!
Šobrīd es piekrītu autora domai, ka MI var būt vērtīgs palīgs darba procesā un sniedzot ieteikumus, taču gala pārbaudījumus vajadzētu vērtēt skolotājiem, līdz MI kļūst stabilāks, precīzāks un “pieredzējušāks”. Tajā pašā laikā ir daļas no vērtējumiem, kuras MI var vērtēt. Interesants eksperiments – paldies, ka to pacēli apspriešanai. ”
Ko tu domā? Vai mākslīgais intelekts varētu uzrakstīt tavu labāko eseju? Vai MI rīkiem vajadzētu būt daļai no vērtēšanas procesa, vai arī tos būtu jāizmanto tikai melnrakstu un ieteikumu posmā? Vai cilvēku skolotāji ir neaizvietojami, kad runa ir par dziļākas jēgas izpratni? Dalies savās domās un pieredzē — sākam sarunu par izglītības nākotni mākslīgā intelekta laikmetā.
