Jak mierzyć pracę agentów AI w zespole software

Zespół uruchomił sto sesji agenta w tydzień. Czy to sukces? Nie wiadomo. Równie dobrze mógł sto razy poprawiać tę samą zmianę.

We wrześniu 2026 GitHub dodał do raportów Copilot CLI dane o użyciu skilli, własnych agentów, serwerów MCP, poleceń i pluginów. Dodał też eksport śladów OpenTelemetry z aplikacji Copilot. To przydatne informacje, ale nie zastępują pomiaru pracy od zadania do zaakceptowanego wyniku. W modelu Agent Engineering nazywam tę warstwę Miarą: liczymy cały proces, razem z review i poprawkami.

Co dokładnie pokazuje nowy raport CLI?

Raporty dla organizacji i przedsiębiorstw obejmują okresy 1 i 28 dni. Pokazują najczęściej używane skille, własnych agentów, serwery MCP, polecenia i pluginy oraz liczbę różnych elementów użytych w każdej kategorii. Dostęp zależy od uprawnień do metryk Copilota i włączonej polityki ich zbierania.

Tu łatwo źle przeczytać liczby:

Pole w raporcie	Co zlicza	Czego nie dowodzi
Skill	wywołanie skilla	że instrukcja pomogła ukończyć zadanie
Własny agent	start agenta	że wynik przeszedł review
Serwer MCP	próbę połączenia lub ponownego połączenia	że wywołano narzędzie albo połączenie się udało
Plugin	wywołanie skilla dostarczonego przez plugin	że wykorzystano wszystkie komponenty pluginu

GitHub ogranicza listy najczęściej używanych pozycji do pięciu. Nazwy własnych elementów klienta grupuje jako other, więc raport nie jest katalogiem wszystkich firmowych skilli. Co ważne, użycie skilla z pluginu pojawia się także w sumie skilli. Nie dodawaj tych dwóch wartości do siebie. To nakładające się zbiory, nie dwa osobne rodzaje pracy.

Najbardziej zdradliwy licznik to MCP. Próba połączenia zwiększa interaction_count również wtedy, gdy kończy się błędem. Dziesięć wywołań narzędzi na już podłączonym serwerze nie zwiększa go dziesięć razy. Jeśli nazwiesz ten wykres „liczbą użyć narzędzi”, raport będzie wyglądał dobrze, ale będzie opowiadał nieprawdę.

Co daje OpenTelemetry?

Od 22 września aplikacja GitHub Copilot może wysyłać ślady aktywności agentów do kolektora OpenTelemetry przez ustawienia zarządzane w organizacji. Ślad pozwala odtworzyć przebieg sesji: żądania do modeli i użycie narzędzi. Przydaje się przy diagnozie długich albo nieoczekiwanych przebiegów.

Domyślnie treść promptów i odpowiedzi nie jest dołączana do eksportu. Przed włączeniem przechwytywania treści trzeba osobno ocenić, czy w śladach nie znajdą się dane z repozytorium lub systemów klienta.

Ślad odpowiada na pytanie „co robił agent?”. Nie odpowiada sam na pytanie „czy zespół zyskał?”. Tę drugą odpowiedź znajdziesz dopiero po połączeniu sesji z zadaniem, review i efektem po wdrożeniu.

Mój minimalny arkusz dla jednego workflow

Nie zaczynałbym od dashboardu dla całej firmy. Wybierz jeden powtarzalny typ zadania, na przykład poprawki małych błędów w API. Dla kolejnych 15-20 zadań zapisuj te same pola:

Czas od przyjęcia zadania do PR gotowego do review.
Czas review i liczba rund poprawek.
Czy PR został przyjęty, odrzucony albo przepisany przez człowieka.
Koszt użycia modelu i narzędzi, jeśli jest dostępny.
Regresje po wdrożeniu, mierzone w ustalonym oknie.

Porównaj to z podobnymi zadaniami wykonanymi bez agenta. Nie musisz udawać eksperymentu laboratoryjnego; wystarczy uczciwie zaznaczyć różnice w trudności. Jeśli agent skraca implementację z dwóch godzin do 30 minut, ale dokłada trzy godziny review, wynik jest gorszy. Jeśli zmniejsza liczbę iteracji i nie zwiększa regresji, masz argument za rozszerzeniem workflow.

Raporty GitHuba pomagają sprawdzić adopcję: czy ludzie uruchamiają skille, pluginy i MCP, które zespół przygotował. Ślady pomagają zbadać przebieg. O jakości decyduje wynik zadania po review. Te trzy warstwy trzeba czytać razem.

Reguła na start: zanim dodasz nowy wykres, zapytaj, jaką decyzję podejmiesz na jego podstawie. Jeśli nie ma odpowiedzi, nie zbieraj tej metryki tylko dlatego, że API ją udostępnia.

Źródła: metryki customizacji Copilot CLI, GitHub, 17.09.2026, OpenTelemetry w aplikacji Copilot, GitHub, 22.09.2026, ustawienia zarządzane Copilota. Stan: 23 września 2026.