Навчання в середовищі майбутнього використання

Автори запускають спроби навчання з підкріпленням усередині готових агентних середовищ і записують обмін токенами з моделлю через проксі. Процес поєднує AsyncGRPOTrainer із TRL, OpenEnv та задачі Harbor. У звіті також описано перевірку оцінювачів і вилучення репозиторіїв бенчмарків із навчального набору.

Для кожного спеціалізованого адаптера використано дві NVIDIA B200: одну для обслуговування моделі через vLLM, іншу для навчання. Це опис експериментального обладнання, а не мінімальна вимога до використання завантаженого адаптера. Навчання, запуск BF16 і робота квантизованого локального пакета мають різні потреби.

Об’єднаний адаптер має компроміси

Картка super-adapter визначає Qwen/Qwen3.8-27B як базову модель та декларує ліцензію Apache-2.0. Конфігурація підтверджує ранг LoRA 96. Об’єднання складає три спеціалізовані адаптери рангу 32 методом конкатенації, з вагою однієї другої для кожного оновлення. Сам етап об’єднання не є додатковим навчанням.

Автори радять спеціалізований адаптер для одного середовища з вимкненим thinking і спільний — для кількох середовищ або режиму thinking. Це висновок їхніх експериментів, а не доказ переваги однієї конфігурації в кожному фреймворку чи на довільному завданні.

Разом із балом потрібно читати умови тесту

Картка повідомляє про зростання середнього pass@1 із 55,5% до 63,5% у шести парах «середовище–бенчмарк» із увімкненим thinking. Базову й адаптовану моделі порівнюють за однакових налаштувань середовища, з однією спробою на задачу. Вікно контексту в оцінюванні становить 131 072 токени; компонент роботи із зображеннями не запускають.

Окремі невеликі набори тестів мають значну невизначеність: картка прямо застерігає, що багато відмінностей перебувають у межах шуму. В описаній у блозі окремій перевірці AutomationBench спільний адаптер отримав 23,7% проти 23,0% базової моделі. Отже, виграш на програмуванні ще не доводить загального поліпшення бізнес-автоматизації.

Локальні формати слід перевіряти окремо

Картка містить інтеграцію vLLM та шлях запуску GGUF через llama.cpp. Водночас автори зазначають, що GGUF не проходив повторного оцінювання, а нижча бітність базових ваг може віддалити поведінку від BF16, використаного в експерименті. Готова конвертація не успадковує опублікований результат автоматично.

Автори також обговорюють можливий витік міркувань: модель, навчена з вимкненим thinking, може писати короткий схожий на міркування текст перед викликом інструмента. Ми не відтворювали експерименти. Для спеціалізованого розгортання пропонуємо порівняти правильність кінцевого результату, роботу інструментів, помилки контексту та реальне споживання ресурсів на відкладених власних задачах, з незмінними правами й налаштуваннями середовища.