Promptolás gyakorlása: LLM reasoning teszt meta-prompt

Mi ez?

A Promptolás gyakorlása: LLM reasoning teszt meta-prompt egy magyar nyelvű meta-prompt, amellyel új, véletlenszerűen variált LLM reasoning tesztfeladatokat lehet generáltatni.

A cél olyan feladatok készítése, amelyeket egy középiskolai tanár vagy más átlagos felhasználó könnyen megért és kézzel ellenőriz, de egy gyengébb LLM jó eséllyel elront, mert több lépésen át kell pontosan követnie egy változó állapotot.

A letölthető llm_reasoning_teszt_meta_prompt.md fájl szándékosan csak a teljes, egyben bemásolható meta-promptot tartalmazza. A korábbi használati útmutató, rövidített alternatív promptverzió és tippek kikerültek a fájlból, hogy a tartalma közvetlenül másolható legyen.

Hogyan használd?

1. Nyiss egy új beszélgetést egy erősebb LLM-mel.
2. Töltsd fel vagy illeszd be a llm_reasoning_teszt_meta_prompt.md fájlt.
3. Kérj egy új, magyar nyelvű reasoning tesztfeladatot.
4. A kapott eredményből csak a TESZTPROMPT részt add oda a tesztelt modelleknek.
5. A MEGOLDÓKULCS és az ellenőrző levezetés maradjon nálad, ez alapján ellenőrizd a modellek válaszait.

Mire figyelj?

Ugyanazt a tesztpromptot add be minden tesztelt modellnek, különben az eredmények nem lesznek összehasonlíthatók. Ne csak a végső választ nézd, hanem azt is, hogy a modell betartotta-e a kért válaszformátumot, és nem keverte-e össze a tárgyakat, címkéket, pozíciókat vagy tulajdonosokat.

Ha túl sok modell megoldja a generált feladatot, kérj a generáló modelltől ugyanilyen típusú, de nehezebb változatot. Prezentációhoz érdemes olyan hétköznapi témát választani, amelyet táblán vagy papíron gyorsan le lehet rajzolni, például dobozokat, borítékokat, mappákat, székeket vagy bögréket.

Kapcsolódó anyag

Ha egy kész, ilyen típusú reasoning tesztfeladatot próbálnál ki, nézd meg a Promptolás gyakorlása: Vándorló mappák anyagot.