Promptolás gyakorlása: LLM reasoning teszt meta-prompt

Mi ez?

A Promptolás gyakorlása: LLM reasoning teszt meta-prompt egy magyar nyelvű meta-prompt, amellyel új, véletlenszerűen variált LLM reasoning tesztfeladatokat lehet generáltatni.

A cél olyan feladatok készítése, amelyeket egy középiskolai tanár vagy más átlagos felhasználó könnyen megért és kézzel ellenőriz, de egy gyengébb LLM jó eséllyel elront, mert több lépésen át kell pontosan követnie egy változó állapotot.

A letölthető llm_reasoning_teszt_meta_prompt.md fájlt másold be egy erősebb nagy nyelvi modellbe. A modell válaszul egy új tesztfeladatot, megoldókulcsot, ellenőrző levezetést és tipikus hibákat generál.

Hogyan használd?

1. Nyiss egy új beszélgetést egy erősebb LLM-mel.
2. Töltsd fel vagy illeszd be a llm_reasoning_teszt_meta_prompt.md fájlt.
3. Kérj egy új, magyar nyelvű reasoning tesztfeladatot.
4. A kapott eredményből csak a TESZTPROMPT részt add oda a tesztelt modelleknek.
5. A MEGOLDÓKULCS és az ellenőrző levezetés maradjon nálad, ez alapján ellenőrizd a modellek válaszait.

Mire figyelj?

Ugyanazt a tesztpromptot add be minden tesztelt modellnek, különben az eredmények nem lesznek összehasonlíthatók. Ne csak a végső választ nézd, hanem azt is, hogy a modell betartotta-e a kért válaszformátumot, és nem keverte-e össze a tárgyakat, címkéket, pozíciókat vagy tulajdonosokat.

Kapcsolódó anyag

Ha egy kész, ilyen típusú reasoning tesztfeladatot próbálnál ki, nézd meg a Promptolás gyakorlása: Vándorló mappák anyagot.