# Meta-prompt random LLM reasoning tesztfeladatok generálásához Ezt a dokumentumot arra használhatod, hogy egy erősebb LLM-mel újabb és újabb, véletlenszerűen variált tesztfeladatokat generáltass. A kapott tesztpromptot utána **változtatás nélkül** add be a tesztelt modelleknek. ## Használat 1. Másold ki az alábbi **meta-promptot**. 2. Add be egy erősebb LLM-nek. 3. Az LLM generáljon egy új tesztfeladatot, megoldókulccsal. 4. A tesztelt modelleknek csak a `TESZTPROMPT` részt add oda. 5. A `MEGOLDÓKULCS` részt tartsd meg magadnak ellenőrzéshez. --- ## Meta-prompt ```text Te egy LLM-tesztfeladat-generátor vagy. A célod: generálj egy olyan magyar nyelvű tesztfeladatot, amelyet egy átlagos ember, például egy középiskolai tanár, könnyen megért és kézzel ellenőrizni tud, de egy gyengébb LLM jó eséllyel elrontja. A feladat ne speciális tudáson, ne programozáson, ne internetes információn, ne aktuális tényeken és ne tokenizációs/karakterszámolási trükkön alapuljon, hanem egyszerű, hétköznapi reasoning-en. A teszt lényege az legyen, hogy a modellnek több lépésen keresztül pontosan kell követnie egy változó állapotot, szabályrendszert vagy viszonyhalmazt. Minden futtatásnál készíts teljesen új, véletlenszerű feladatot. Randomizáld a témát, neveket, tárgyakat, színeket, sorrendet, műveleteket és a kérdés fókuszát is. Válassz véletlenszerűen az alábbi feladattípusok közül, vagy kombinálj kettőt: 1. Tárgyak, címkék és tartalmak követése - Példa jelleg: dobozok, borítékok, mappák, bögrék, táskák. - Fontos: a tárgy színe/azonosítója, a rajta lévő címke és a benne lévő tartalom külön-külön változhat. 2. Ülőhelyek vagy sorban állás követése - Példa jelleg: diákok ülnek padokban, emberek állnak sorban, könyvek vannak polcon. - Fontos: legyenek áthelyezések, cserék, majd aktuális pozícióra vonatkozó kérdés. 3. Egyszerű készlet- vagy tulajdonváltozás - Példa jelleg: kártyák, matricák, kulcsok, jegyek, labdák kerülnek egyik embertől a másikhoz. - Fontos: ne csak összeadás-kivonás legyen, hanem tulajdonosok, helyek és feltételek változzanak. 4. Recept-, folyamat- vagy munkalépés-követés - Példa jelleg: három tál, több hozzávaló, átöntés, csere, félretétel. - Fontos: a kérdés a végső állapotra vonatkozzon, nem a folyamat közbeni állapotra. 5. Egyszerű szabályok alkalmazása sorrendben - Példa jelleg: ha egy kártyán piros jel van, fordítsd meg; ha név szerepel rajta, tedd át; bizonyos lépéseket csak az aktuális állapot alapján kell végrehajtani. - Fontos: legyen világos, hogy mindig az aktuális állapot számít, nem az eredeti. Nehézségi cél: - Legyen nehezebb, mint egy egyszerű 3-4 lépéses rejtvény. - Használj 5-7 objektumot. - Legyen 7-10 művelet. - Legalább 3 művelet hivatkozzon az aktuális állapotra, például: - „azt a dobozt, amelyiken jelenleg Anna címke van” - „a balról harmadik tárgyat” - „azt a személyt, akinél jelenleg a kék kártya van” - „közvetlenül jobbra/balra attól, amelyikben jelenleg a körte van” - Legyen legalább 2 olyan lépés, ahol két külön dimenziót könnyű összekeverni, például címke vs. tartalom, személy vs. tárgy, hely vs. tulajdonos. - A végső kérdés legyen konkrét, egyértelmű és rövid. Nagyon fontos minőségi követelmények: - Pontosan egy helyes válasz legyen. - Ne legyen benne kétértelműség. - Ne kelljen hozzá háttértudás. - Ne legyen „trükkös” nyelvi csapda. - Ne legyen olyan, hogy a megoldás csak vélemény kérdése. - Ne legyen túl matekos. - Ne karakter- vagy betűszámolós legyen. - Ne kérj hosszú esszét a tesztelt modelltől. - A tesztelt modellnek adott prompt legyen rövid, de elég részletes. - A helyes választ egy ember 2-4 perc alatt ellenőrizni tudja táblázattal vagy rajzzal. A tesztpromptban szerepeljen: - rövid bevezető, - kiinduló állapot, - számozott műveletek, - végső kérdés, - pontos válaszformátum. A tesztpromptban NE szerepeljen: - megoldókulcs, - köztes táblázat, - magyarázat, - utalás arra, hogy ez LLM-teszt, - olyan mondat, hogy „gyengébb modellek elrontják”. Mielőtt kiadod a végleges választ, saját magad oldd meg a feladatot legalább kétszer: 1. egyszer előrefelé, lépésről lépésre; 2. egyszer ellenőrzésként a végső állapotból visszanézve vagy táblázatosan. Ha bármilyen ellentmondást, kétértelműséget vagy túl könnyű mintázatot találsz, generálj új feladatot. A kimeneted pontosan az alábbi szerkezetű legyen: # Random LLM reasoning teszt ## Random seed Adj meg egy rövid véletlen azonosítót, például: `seed-48291`. ## Feladattípus Írd le 1 mondatban, milyen típusú reasoning-et tesztel a feladat. ## TESZTPROMPT — ezt add az LLM-eknek ```text [Itt legyen a tesztelt modelleknek adandó teljes prompt.] ``` ## MEGOLDÓKULCS — ezt ne add oda a tesztelt modelleknek ```text [Itt legyen a helyes végső válasz pontosan a kért formátumban.] ``` ## Ellenőrző levezetés Mutasd meg a köztes állapotokat rövid, táblázatos vagy listás formában, hogy ember is könnyen ellenőrizhesse. ## Miért jó teszt? Írd le röviden, milyen reasoning hibákon bukhat el egy gyengébb modell. ## Tipikus rossz válaszok Adj 3 példát tipikus hibás válaszra, és mindegyiknél írd le 1 mondatban, miért hibás. ## Nehezítés / könnyítés Adj 2 ötletet, hogyan lehet a feladatot nehezíteni, és 2 ötletet, hogyan lehet könnyíteni. ``` --- ## Rövidebb, agresszívebb verzió Ezt akkor használd, ha a fenti túl sokat magyaráz a generáló modellnek, és gyorsabban szeretnél új teszteket kapni. ```text Generálj egy magyar nyelvű LLM reasoning tesztfeladatot. Olyan legyen, amit egy átlagos ember, például egy középiskolai tanár, könnyen megért és kézzel ellenőrizni tud, de egy gyengébb LLM jó eséllyel elront. Ne legyen programozás, ne legyen speciális tudás, ne legyen aktuális tény, ne legyen tokenizációs vagy betűszámolós trükk. A nehézség abból jöjjön, hogy több lépésen át követni kell egy változó állapotot. Követelmények: - magyar nyelvű legyen; - 5-7 hétköznapi objektum legyen benne; - 7-10 művelet legyen; - legalább 3 lépés az aktuális állapotra hivatkozzon; - legalább 2 lépésben külön kelljen tartani két dolgot, például tárgy vs. címke, címke vs. tartalom, személy vs. tárgy, hely vs. tulajdonos; - pontosan egy helyes válasz legyen; - a végső kérdés legyen rövid és konkrét; - a tesztelt modellnek adott prompt ne tartalmazza a megoldást. A kimenet legyen: 1. `TESZTPROMPT — ezt add az LLM-eknek` 2. `MEGOLDÓKULCS — ezt ne add oda` 3. `Ellenőrző levezetés` 4. `Tipikus hibák` 5. `Miért jó teszt?` Mielőtt válaszolsz, oldd meg magadnak a feladatot, és csak akkor add ki, ha nincs benne ellentmondás vagy kétértelműség. ``` --- ## Javasolt használati trükkök - Ugyanazt a `TESZTPROMPT` részt add be minden tesztelt modellnek. - Ne add oda a modelleknek a megoldókulcsot. - A modellek válaszát ne csak a végső válasz alapján nézd, hanem azt is, hogy betartották-e a kért formátumot. - Ha túl sok modell megoldja, kérd a generátortól: „Ugyanilyen típusú, de 30%-kal nehezebb verziót kérek.” - Ha prezentációhoz használod, válassz olyan témát, amit táblán vagy papíron gyorsan le lehet rajzolni: dobozok, borítékok, mappák, székek, bögrék.