This commit is contained in:
2025-09-26 10:30:59 +03:00
parent aa69776807
commit 394e0040de
82 changed files with 5324 additions and 1998 deletions

View File

@@ -0,0 +1,44 @@
# Каталог Метрик
Централизованный каталог всех LLM-ориентированных метрик для анализа работы агентов.
### Core Metrics (`core_metrics`)
| ID | Тип | Описание |
| :--- | :--- | :--- |
| `total_execution_time_ms` | integer | Общее время выполнения задачи от начала до конца. |
| `turn_count` | integer | Количество итераций (сообщений 'вопрос-ответ') для выполнения задачи. |
| `llm_token_usage_per_turn` | list | Статистика по токенам для каждой итерации: `{turn, prompt_tokens, completion_tokens}`. |
| `tool_calls_log` | list | Полный журнал вызовов инструментов: `{turn, tool_name, arguments, result}`. |
| `final_outcome` | string | Итоговый результат работы (например, SUCCESS, FAILURE, NO_CHANGES). |
### Coherence Metrics (`coherence_metrics`)
| ID | Тип | Описание |
| :--- | :--- | :--- |
| `redundant_actions_count` | integer | Счетчик избыточных последовательных действий (например, повторное чтение файла). |
| `self_correction_count` | integer | Счетчик явных самокоррекций агента. |
### Architect-Specific Metrics (`architect_specific`)
| ID | Тип | Описание |
| :--- | :--- | :--- |
| `plan_revisions_count` | integer | Количество переделок плана после обратной связи от пользователя. |
| `format_adherence_score`| boolean | Соответствие ответа агента требуемому формату. |
### Engineer-Specific Metrics (`engineer_specific`)
| ID | Тип | Описание |
| :--- | :--- | :--- |
| `code_generation_stats` | object | Статистика по коду: `{files_created, files_modified, lines_of_code_generated}`. |
| `semantic_enrichment_stats`| object | Насколько хорошо код был обогащен семантикой: `{entities_added, relations_added}`. |
| `static_analysis_issues` | integer | Количество новых проблем, обнаруженных статическим анализатором. |
| `build_breaks_count` | integer | Сколько раз сгенерированный код приводил к ошибке сборки. |
### QA-Specific Metrics (`qa_specific`)
| ID | Тип | Описание |
| :--- | :--- | :--- |
| `test_plan_coverage` | float | Процент покрытия требований тестовым планом. |
| `defects_found` | integer | Количество найденных дефектов. |
| `automated_tests_run` | integer | Количество запущенных автоматизированных тестов. |