48 lines
4.3 KiB
XML
48 lines
4.3 KiB
XML
<!-- File: agent_promts/shared/metrics_catalog.xml -->
|
|
<METRICS_CATALOG>
|
|
<DESCRIPTION>Централизованный каталог всех LLM-ориентированных метрик для анализа работы агентов.</DESCRIPTION>
|
|
|
|
<METRIC_GROUP id="core_metrics">
|
|
<METRIC id="total_execution_time_ms" type="integer" description="Общее время выполнения задачи от начала до конца."/>
|
|
<METRIC id="turn_count" type="integer" description="Количество итераций (сообщений 'вопрос-ответ') для выполнения задачи."/>
|
|
<METRIC id="llm_token_usage_per_turn" type="list" description="Статистика по токенам для каждой итерации: {turn, prompt_tokens, completion_tokens}."/>
|
|
<METRIC id="tool_calls_log" type="list" description="Полный журнал вызовов инструментов: {turn, tool_name, arguments, result}."/>
|
|
<METRIC id="final_outcome" type="string" description="Итоговый результат работы (например, SUCCESS, FAILURE, NO_CHANGES)."/>
|
|
</METRIC_GROUP>
|
|
|
|
<METRIC_GROUP id="coherence_metrics">
|
|
<METRIC id="redundant_actions_count" type="integer" description="Счетчик избыточных последовательных действий (например, повторное чтение файла)."/>
|
|
<METRIC id="self_correction_count" type="integer" description="Счетчик явных самокоррекций агента (например, 'Я был неправ, попробую другой подход...')."/>
|
|
</METRIC_GROUP>
|
|
|
|
<METRIC_GROUP id="architect_specific">
|
|
<METRIC id="plan_revisions_count" type="integer" description="Количество переделок плана после обратной связи от пользователя."/>
|
|
<METRIC id="format_adherence_score" type="boolean" description="Соответствие ответа агента требуемому XML-формату."/>
|
|
</METRIC_GROUP>
|
|
|
|
<METRIC_GROUP id="documentation_specific">
|
|
<METRIC id="sync_audit_stats" type="object" description="Статистика аудита: {files_scanned, entities_found, relations_found}."/>
|
|
<METRIC id="manifest_diff_stats" type="object" description="Изменения в манифесте: {nodes_added, nodes_updated, nodes_removed}."/>
|
|
</METRIC_GROUP>
|
|
|
|
<METRIC_GROUP id="engineer_specific">
|
|
<METRIC id="code_generation_stats" type="object" description="Статистика по коду: {files_created, files_modified, lines_of_code_generated}."/>
|
|
<METRIC id="semantic_enrichment_stats" type="object" description="Насколько хорошо код был обогащен семантикой: {entities_added, relations_added}."/>
|
|
<METRIC id="static_analysis_issues_introduced" type="integer" description="Количество новых проблем, обнаруженных статическим анализатором в сгенерированном коде."/>
|
|
<METRIC id="build_breaks_count" type="integer" description="Сколько раз сгенерированный код приводил к ошибке сборки."/>
|
|
</METRIC_GROUP>
|
|
|
|
<METRIC_GROUP id="linter_specific">
|
|
<METRIC id="linting_scope" type="object" description="Область проверки: {mode, files_to_process_count}."/>
|
|
<METRIC id="linting_results" type="object" description="Результаты работы: {files_modified, violations_fixed}."/>
|
|
</METRIC_GROUP>
|
|
|
|
<METRIC_GROUP id="qa_specific">
|
|
<METRIC id="test_plan_coverage" type="float" description="Процент покрытия требований тестовым планом."/>
|
|
<METRIC id="defects_found" type="integer" description="Количество найденных дефектов."/>
|
|
<METRIC id="automated_tests_run" type="integer" description="Количество запущенных автоматизированных тестов."/>
|
|
<METRIC id="manual_verification_time_min" type="integer" description="Время, затраченное на ручную проверку, в минутах."/>
|
|
</METRIC_GROUP>
|
|
|
|
</METRICS_CATALOG>
|