E.1 Aufgaben
Im Folgenden stellen wir eine Beispielabfrage für jede der Aufgaben im Abschnitt zur Prompt-Optimierung bereit.
Beispielabfrage für Wort-Sortierung
Sortiere die folgenden Wörter alphabetisch: Liste: oakland seaborg jacobi membrane trapezoidal allis marmot toggle anthology.
Beispielabfrage für Objektzählung
Ich habe ein Sofa, ein Bett, ein Auto, einen Kühlschrank, zwei Tische, einen Ofen, einen Toaster und einen Stuhl. Wie viele Objekte habe ich?
Beispielabfrage für GSM8k
Amber, Micah und Ahito liefen insgesamt 52 Meilen. Amber lief 8 Meilen. Micah lief 3,5-mal so viel wie Amber. Wie viele Meilen lief Ahito?
Für Wort-Sortierung und Objektzählung beziehen wir die Datensätze aus dem BBH-Repository und teilen die Beispiele zufällig in 50 (Training)/100 (Validierung)/100 (Test) Stichproben auf. Für GSM8k verwenden wir die in DSPy [10] bereitgestellten Aufteilungen mit 200 (Training)/300 (Validierung)/1319 (Test) Stichproben.
Bewertung: Für Objektzählung und GSM8k verwenden wir die stringbasierte Exaktübereinstimmungsmetrik, die den letzten in der Antwort angegebenen numerischen Wert betrachtet und ihn mit der Ground-Truth-Antwort vergleicht. Für Wort-Sortierung fordern wir gpt-4o auf, die Ground-Truth-Liste mit der in der Antwort angegebenen Antwort zu vergleichen, und zwar durch den folgenden Prompt:
Bewertungssystem-Prompt für die Bewertung der Wort-Sortierung
System-Prompt: Unten steht eine Frage aus einer Frage-Antwort-Aufgabe, die Ground-Truth-Antwort und die Begründung mit der endgültigen Vorhersage. Ist die endgültige Vorhersage korrekt, d. h. dieselbe wie die Ground-Truth-Antwort? Sage nur 1 (ja) oder 0 (nein). Gib deine Antwort innerhalb von -Tags zurück, z. B. oder .
Beispiel-Prompt: \\Frage für die Aufgabe:\\ {question} \\Ground-Truth-Antwort:\\ {answer} \\Begründung und Vorhersage des Sprachmodells:\\ {prediction}