Який сценарій LoRA міг аварійно завершуватися
Опис AMD-виправлення стосується операції MUL_MAT_ID із не квантизованими вхідними даними F32, F16 або BF16 та малими пакетами до восьми токенів. Швидкий шлях читав значення парами й вимагав парної кількості стовпців. Для адаптера рангу один на вагових матрицях експертів MoE відповідна розмірність могла бути непарною, що спричиняло assert і зупинку. Зміна перевіряє парність і для інших форм використовує наявний резервний шлях. Це виправлення застосування адаптера під час інференсу, а не новий алгоритм його тренування.
Що перевірили і де закінчується доказ
Автор AMD-зміни повідомляє про перевірку на Radeon AI PRO R9700 із ROCm 10.1.0. Два нові випадки тесту раніше спричиняли аварію; після виправлення всі 1042 випадки проходили. У наскрізному прикладі використано LFM2.5-8B-A1B Q4_0 і синтетичні адаптери F32 рангу один та два. Це конкретний звіт автора, а не незалежна сертифікація кожного GPU. Він прямо зазначив, що іншу модель на 24 мільярди параметрів, оригінальний файл адаптера зі скарги та деякі інші пристрої не перевіряв.
Чому однакові значення top-k мали значення
У Vulkan radix top-k кілька елементів з однаковою оцінкою могли конкурувати за обмежену кількість місць. Вибір залежав від планування потоків, тому однакові вхідні дані не завжди давали однаковий набір стовпців. Зміна вводить впорядковане розв’язання рівностей за позицією стовпця, узгоджуючи цей випадок із CUDA та Metal. Опис охоплює radix-шлях для великих k і злиту операцію TOPK_QSA. Це не твердження, що всі результати моделі тепер гарантовано однакові між різними пристроями або режимами генерації.
Як оцінювати оновлення для своєї конфігурації
Для команд, які застосовують спеціалізовані адаптери або порівнюють локальні GPU-backend, зміни усувають дві конкретні перешкоди: аварію визначеної форми тензора й нестабільне ранжування рівних значень. Публічні тести Vulkan та вимірювання автора належать окремим сценаріям, тому їх не можна перетворювати на універсальний відсоток прискорення. Теги, прочитані під час перевірки, позначені як prerelease. Перед робочим переходом варто зіставити модель, тип адаптера, backend і власний набір оцінювання; нових ваг, ліцензії моделі чи гарантованих вимог до пам’яті ці виправлення не встановлюють.

Обговорення.
Твій погляд має значення. Увійди, обери нікнейм та свій кіберобраз.
Завантажуємо обговорення…
Ім’я, email і фото з акаунта не публікуємо.