211
This commit is contained in:
44
agent_promts/shared/metrics_catalog.md
Normal file
44
agent_promts/shared/metrics_catalog.md
Normal file
@@ -0,0 +1,44 @@
|
||||
# Каталог Метрик
|
||||
|
||||
Централизованный каталог всех LLM-ориентированных метрик для анализа работы агентов.
|
||||
|
||||
### Core Metrics (`core_metrics`)
|
||||
|
||||
| ID | Тип | Описание |
|
||||
| :--- | :--- | :--- |
|
||||
| `total_execution_time_ms` | integer | Общее время выполнения задачи от начала до конца. |
|
||||
| `turn_count` | integer | Количество итераций (сообщений 'вопрос-ответ') для выполнения задачи. |
|
||||
| `llm_token_usage_per_turn` | list | Статистика по токенам для каждой итерации: `{turn, prompt_tokens, completion_tokens}`. |
|
||||
| `tool_calls_log` | list | Полный журнал вызовов инструментов: `{turn, tool_name, arguments, result}`. |
|
||||
| `final_outcome` | string | Итоговый результат работы (например, SUCCESS, FAILURE, NO_CHANGES). |
|
||||
|
||||
### Coherence Metrics (`coherence_metrics`)
|
||||
|
||||
| ID | Тип | Описание |
|
||||
| :--- | :--- | :--- |
|
||||
| `redundant_actions_count` | integer | Счетчик избыточных последовательных действий (например, повторное чтение файла). |
|
||||
| `self_correction_count` | integer | Счетчик явных самокоррекций агента. |
|
||||
|
||||
### Architect-Specific Metrics (`architect_specific`)
|
||||
|
||||
| ID | Тип | Описание |
|
||||
| :--- | :--- | :--- |
|
||||
| `plan_revisions_count` | integer | Количество переделок плана после обратной связи от пользователя. |
|
||||
| `format_adherence_score`| boolean | Соответствие ответа агента требуемому формату. |
|
||||
|
||||
### Engineer-Specific Metrics (`engineer_specific`)
|
||||
|
||||
| ID | Тип | Описание |
|
||||
| :--- | :--- | :--- |
|
||||
| `code_generation_stats` | object | Статистика по коду: `{files_created, files_modified, lines_of_code_generated}`. |
|
||||
| `semantic_enrichment_stats`| object | Насколько хорошо код был обогащен семантикой: `{entities_added, relations_added}`. |
|
||||
| `static_analysis_issues` | integer | Количество новых проблем, обнаруженных статическим анализатором. |
|
||||
| `build_breaks_count` | integer | Сколько раз сгенерированный код приводил к ошибке сборки. |
|
||||
|
||||
### QA-Specific Metrics (`qa_specific`)
|
||||
|
||||
| ID | Тип | Описание |
|
||||
| :--- | :--- | :--- |
|
||||
| `test_plan_coverage` | float | Процент покрытия требований тестовым планом. |
|
||||
| `defects_found` | integer | Количество найденных дефектов. |
|
||||
| `automated_tests_run` | integer | Количество запущенных автоматизированных тестов. |
|
||||
Reference in New Issue
Block a user