Чому старий механізм міг пропускати виклик

Початкове звернення описує llama-server у Linux, збірку 12492, GGUF Llama 3.2 1B Instruct і шаблон Jinja. Автор зіставляє необмежений вивід в автоматичному режимі з обмеженим виводом, коли вибір інструмента обов’язковий.

Таке порівняння відділяє рішення викликати інструмент від синтаксису самого виклику. Наш висновок: зміна розміру моделі або квантизації прямо не пояснює шлях рушія, який узагалі не створює потрібної граматики. Це різні рівні поведінки системи.

Зміна розпізнає початок JSON-об’єкта

PR пояснює: деякі шаблони Llama 3.x повертають звичайний об’єкт із полем name верхнього рівня без попереднього маркера. Для такого випадку парсер тепер активує відкладену граматику за шаблоном початку об’єкта.

Умови важливі: описаний резервний шлях стосується звичайного об’єкта, а не кожного формату серіалізації інструментів. Схема з назвою функції як ключем або зовнішнім масивом не охоплюється цим поясненням автоматично. Тому перед приписуванням ефекту виправленню потрібно визначити фактичний шаблон чату.

Тести перевіряють створення граматики, а не всі результати агента

Учасник проєкту додав тести шаблону Llama 3.2 з пробілами й без них та повідомляє про успішний test-chat. PR також розкриває допомогу AI з кодом і супровідними матеріалами. Це записи проєкту; ми незалежно тести не запускали.

Перевірка застосунку має розділяти коректність JSON, відповідність схемі інструмента та правильність потрібної операції. Це різні запитання. Синтаксично правильний об’єкт однаково може містити хибний аргумент, посилатися на недоступні дані або вибирати недоречну дію.

Формат — лише одна межа використання інструментів

Реліз та об’єднаний PR описують одне виправлення рушія. Звернення від 17 листопада — раніше свідчення помилки, а не окремий запуск; дата об’єднаного виправлення — 22 листопада. Зміна не встановлює нової ліцензії моделі чи апаратної вимоги.

Наш висновок для розробників локальних агентів — оцінювати формат відповідей поряд із наявною перевіркою аргументів і контролем дій. Граматика обмежує представлення виклику, але сама не надає дозволу й не перевіряє результат у зовнішній системі. Ми не встановлювали модель, не виконували викликів і не змінювали дозволів запущеного агента.