PaCA змінює вибір з’єднань для навчання
PaCA оновлює вибрані вхідні стовпці попередньо навченої лінійної матриці замість додавання окремої навчуваної низькорангової гілки. Для зворотного проходу реалізація зберігає лише відповідні вхідні канали. Саме дослідження з’явилося раніше: новина стосується інтеграції методу в PEFT, а не винайдення нового алгоритму сьогодні.
Документація описує підтримку лінійних шарів, зокрема квантизованих, і перетворення результату на адаптер LoRA для сумісного інференсу. Водночас змішані пакети з різними адаптерами не підтримуються, а навчання з розподіленими вагами ще не перевірене. Обробники forward hooks початкового базового шару через шлях PaCA не викликаються.
Ініціалізація LoRA стає окремим вибором під задачу
Astra використовує невеликий калібрувальний набір із цільової задачі для оцінювання коваріації вихідних активацій. Початкова конфігурація спирається на її підпростір із малою дисперсією. Задокументований порядок передбачає явний вибір цільових модулів, виклик preprocess_astra та лише після цього додавання адаптера через get_peft_model.
NoRA пропонує інший варіант ініціалізації, тоді як звичайна LoRA починає з нульової матриці B і не змінює результат базової моделі до навчання. Наша оцінка: порівнювати варіанти варто на однакових відкладених прикладах і з однаковим бюджетом навчання. Початкове налаштування під задачу ще не доводить надійності готового спеціалізованого помічника.
Підготовчий адаптер допомагає перемикати спеціалізації
Посібник із гарячої заміни пояснює create_dummy_lora_config: функція аналізує сумісні конфігурації та завчасно резервує охоплення шарів і ранги для подальшого перемикання ваг. Це може допомогти сервісу підготувати кілька спеціалізацій без завантаження їхніх ваг на етапі побудови конфігурації.
Компромісом може стати більший резерв пам’яті під адаптер. Потрібні явні списки цільових модулів та однакові базові ваги; регулярні вирази й all-linear не підтримуються. Такий механізм не є універсальним перетворювачем між незалежними моделями або різними методами адаптації.
Експорт розподілених адаптерів потребує всіх процесів
Посібник FSDP визначає експорт адаптера як колективну операцію. Кожен залучений ранг має викликати save_pretrained або get_peft_model_state_dict, але is_main_process=True отримує лише процес, що записує файли. Невибрані ваги базової моделі залишаються розподіленими, без зайвого збирання в одному місці.
PEFT 0.22 потребує Python 3.11 або новішого. Для поліпшень TP та FSDP2 примітки до релізу рекомендують Transformers щонайменше 5.17. Перед оновленням робочого середовища варто перевірити експорт адаптера й відновлення контрольної точки на невеликому типовому запуску. Наведена документація гілки main може змінюватися після випуску.

Обговорення.
Твій погляд має значення. Увійди, обери нікнейм та свій кіберобраз.
Завантажуємо обговорення…
Ім’я, email і фото з акаунта не публікуємо.