Виправлення пакування для навчання з підкріпленням
Зміна GRPO з pull request 18685 стосується перевірки, яка порівнює запаковані послідовності з окремими рядками. Автори пояснюють: невеликі числові відмінності маршрутизації mixture-of-experts можуть спричиняти поодинокі великі розбіжності. Через це пакет переходив на запасний шлях навіть без помилки меж документів.
Оновлення додає обмежену перевірку числового шуму MoE та увагу для послідовностей змінної довжини в запакованих рядках GRPO. За описом авторів, перевірка витоку між документами залишається активною. Це не пропозиція прибрати контроль правильності: щільні моделі зберігають попереднє правило, а невдалі перевірки надалі спричиняють fallback.
Умови бенчмарку важливіші за заголовковий множник
Опис зміни повідомляє про скорочення медіанного часу кроку з 10,099 до 9,410 секунди для Qwen3-30B-A3B на A100-40GB та з 7,511 до 5,890 секунди для Qwen3-1.7B на L4. Це короткі експерименти авторів із GRPO, чотирибітними моделями й LoRA рангу 16, а не незалежні результати для кожного рецепта навчання.
Той самий опис зазначає, що додатковий режим MoE PrefixGrouper у цьому тесті виявився повільнішим за звичайне пакування. Отже, швидша увага не означає гарантованого виграшу за будь-яких налаштувань або в якості готової моделі. Ми не відтворювали ці вимірювання.
Стабільний перелік інструментів — окрема зміна інференсу
Примітки релізу повідомляють, що чат зберігає фіксований перелік MCP-інструментів, а наступні повідомлення обробляють лише новий матеріал. Налаштоване обмеження довжини результатів інструментів також поширюється на MCP-відповіді через llama.cpp, vLLM, Ollama та власні підключення. Йдеться про поточну розмову, а не про оновлення ваг моделі.
Практично важливо перевірити збереження потрібного контексту та повноту результатів інструментів. У запропонованому нами оцінюванні варто фіксувати повторне оброблення промпту, обрізання, збої інструментів і правильність кінцевої відповіді. Менша кількість оброблених токенів сама по собі не доводить виконання доручення.
Сумісність і межі одного релізу
Серед змін також зазначені сумісність із PEFT 0.22 та виправлення LoRA-навчання Gemma-4 на пакетах різної довжини зі старішими версіями PyTorch. Це конкретні заяви про сумісність, а не підтвердження роботи кожного набору навчальних бібліотек. Під час порівняння слід зберігати точне оточення.
Цей матеріал об’єднує зміни в одну подію бета-релізу. Інтеграцію Inkling Mini не подаємо як другий запуск моделі, а окремі заяви про зображення й відео не переносимо на навчання мовних моделей. Ми переглянули публічну документацію та зміни репозиторію без установлення чи виконання випущеного програмного забезпечення.

Обговорення.
Твій погляд має значення. Увійди, обери нікнейм та свій кіберобраз.
Завантажуємо обговорення…
Ім’я, email і фото з акаунта не публікуємо.