Що оголосила Microsoft
За повідомленням компанії, harness, розроблений інженерами GitHub, використовується в кількох продуктах Copilot. Через Microsoft Foundry його пропонують як керований спосіб будувати агентів, які працюють з інструментами та виконують тривалі завдання, зберігаючи спільне середовище для різних моделей.
Навіщо відділяти модель від процесу
Наша інтерпретація: зміна моделі не повинна щоразу вимагати переосмислення всієї робочої процедури. Команді корисно мати зрозумілий опис задачі, доступних дій та очікуваного результату, який можна перевірити незалежно від конкретної відповіді.
Наприклад, для підготовки зміни коду важливо знати не лише запропонований текст, а й те, які файли переглянули, що змінили та які перевірки виконали. Саме послідовність таких кроків робить результат придатним до технічного розгляду.
Що потрібно перевіряти в керованому середовищі
Ми радимо спочатку визначити потрібні інструменти та межі доступу. Потім перевірити, як агент поводиться, якщо крок не вдався або потрібні дані недоступні. Правильне повідомлення про обмеження може бути важливішим за переконливе пояснення неперевіреного результату.
Корисний пілот має також показати, що залишається після виконання: артефакти, журнали дій і результати тестів. Це дозволяє оцінювати процес предметно, а не лише за тим, наскільки природно система описує власну роботу.
Як оцінювати кілька моделей
Для власного порівняння ми б використовували однакові задачі й правила приймання. Окремо рахували б успішні завершення, потребу у втручанні людини та повні витрати на отримання прийнятного результату. Тоді вибір моделі можна прив’язати до потреб конкретного продукту.
Варто також тестувати невдалі сценарії: неповні вимоги, відсутній доступ або суперечливі дані. Саме тут часто видно, чи достатньо передбачуваний робочий процес для автоматичного виконання важливих дій.
Практичний висновок
На нашу думку, оголошення цікаве командам, які хочуть перевіряти різні моделі в узгодженому агентному процесі. Перш ніж переносити робоче завдання, варто підтвердити актуальну доступність потрібних можливостей і провести обмежений пілот. Заяви про продукт атрибутовані Microsoft; незалежного тестування цього середовища ми не проводили.
