Які конфігурації зачіпає зміна
Виправлення стосуються шляху з підключеною бібліотекою ядер Adreno та використанням відповідного ядра attention. Автор прямо зазначає, що без цієї бібліотеки поведінка не змінюється. CUDA, Metal та інші шляхи виконання не отримують автоматичної обіцянки прискорення лише через спільний номер релізу.
Для власного локального розгортання спочатку потрібно встановити, який бекенд і додаткові бібліотеки насправді виконують навантаження. Наявність можливості у збірці відрізняється від її використання під час роботи. Це допомагає не сприймати стороннє оновлення як пояснення будь-якої повільної відповіді моделі.
Три різні причини нестабільності
Перша зміна звільняє допоміжне зображення, яке утримувало ресурси кешу між викликами. Друга обходить проблемну конфігурацію квантизованого кешу ключів і значень із розмірністю голови attention 512. Третя спрямовує форми, що перевищують межі тривимірних зображень пристрою, до альтернативної реалізації attention.
Йдеться про три окремі механізми: накопичення утримуваних ресурсів, коректність обчислень і межу виділення пам’яті. Узагальнення до звичайної оптимізації швидкості приховало б практичну причину оновлення. Нової здатності самої мовної моделі цей патч не додає.
Як правильно трактувати вимірювання
Автор pull request навів порівняння до та після зміни для Adreno X2-90 із зазначеною моделлю, спекулятивним декодуванням і послідовністю чат-запитів. Це корисний доказ поведінки описаної помилки, але не незалежний бенчмарк усіх процесорів і моделей.
Наша оцінка: серія повторних запитів тут особливо важлива, оскільки проблема життєвого циклу ресурсів може не проявитися на першому промпті. Репрезентативна перевірка має зберігати модель, тип кешу та конкурентність незмінними й оцінювати цілу сесію, а не порівнювати дві відірвані пікові цифри.
Що перевірити перед оновленням локального сервера
Команди, які використовують зачеплений шлях, можуть порівняти відому базову версію зі збіркою, що містить виправлення. Варто записати бекенд, завантажені бібліотеки, параметри контексту та точність кешу. Порівнювати потрібно і затримку, і використання ресурсів, і правильність відповідей на контрольних прикладах.
Застосунок на іншому бекенді може дотримуватися звичайного процесу перегляду релізів без очікування автоматичного виграшу від цього патча. Тут немає нового рецепта донавчання, адаптера чи системи пошуку контексту. Практична цінність полягає в надійнішій роботі вже наявного шляху інференсу за умов, документованих розробниками.

Обговорення.
Твій погляд має значення. Увійди, обери нікнейм та свій кіберобраз.
Завантажуємо обговорення…
Ім’я, email і фото з акаунта не публікуємо.