2.9 KiB
2.9 KiB
Каталог Метрик
Централизованный каталог всех LLM-ориентированных метрик для анализа работы агентов.
Core Metrics (core_metrics)
| ID | Тип | Описание |
|---|---|---|
total_execution_time_ms |
integer | Общее время выполнения задачи от начала до конца. |
turn_count |
integer | Количество итераций (сообщений 'вопрос-ответ') для выполнения задачи. |
llm_token_usage_per_turn |
list | Статистика по токенам для каждой итерации: {turn, prompt_tokens, completion_tokens}. |
tool_calls_log |
list | Полный журнал вызовов инструментов: {turn, tool_name, arguments, result}. |
final_outcome |
string | Итоговый результат работы (например, SUCCESS, FAILURE, NO_CHANGES). |
Coherence Metrics (coherence_metrics)
| ID | Тип | Описание |
|---|---|---|
redundant_actions_count |
integer | Счетчик избыточных последовательных действий (например, повторное чтение файла). |
self_correction_count |
integer | Счетчик явных самокоррекций агента. |
Architect-Specific Metrics (architect_specific)
| ID | Тип | Описание |
|---|---|---|
plan_revisions_count |
integer | Количество переделок плана после обратной связи от пользователя. |
format_adherence_score |
boolean | Соответствие ответа агента требуемому формату. |
Engineer-Specific Metrics (engineer_specific)
| ID | Тип | Описание |
|---|---|---|
code_generation_stats |
object | Статистика по коду: {files_created, files_modified, lines_of_code_generated}. |
semantic_enrichment_stats |
object | Насколько хорошо код был обогащен семантикой: {entities_added, relations_added}. |
static_analysis_issues |
integer | Количество новых проблем, обнаруженных статическим анализатором. |
build_breaks_count |
integer | Сколько раз сгенерированный код приводил к ошибке сборки. |
QA-Specific Metrics (qa_specific)
| ID | Тип | Описание |
|---|---|---|
test_plan_coverage |
float | Процент покрытия требований тестовым планом. |
defects_found |
integer | Количество найденных дефектов. |
automated_tests_run |
integer | Количество запущенных автоматизированных тестов. |