Enhance application with new features, improved error handling, and performance optimizations. Key updates include: added data validation, retry strategies for HTTP requests, detailed logging, and support for RabbitMQ exports. Updated dependencies and enhanced README documentation for better setup instructions.
This commit is contained in:
@@ -1,13 +1,14 @@
|
||||
# [FILE] src/core/models.py
|
||||
# ANCHOR: Core_Models_Module
|
||||
# Семантика: Определяет Pydantic-модели для структурированного представления данных
|
||||
# в приложении (продукты, логи).
|
||||
# в приложении (продукты, логи, сообщения RabbitMQ).
|
||||
# [CONTRACT]: Все модели наследуются от `BaseModel` и обеспечивают типизацию и валидацию.
|
||||
# [COHERENCE]: Согласованы со схемами данных, используемыми в БД и экспортах.
|
||||
|
||||
from pydantic import BaseModel, Field, HttpUrl, ValidationError
|
||||
from datetime import datetime
|
||||
from typing import Optional
|
||||
from typing import Optional, List
|
||||
import uuid
|
||||
|
||||
class ProductVariant(BaseModel):
|
||||
"""
|
||||
@@ -61,4 +62,78 @@ class LogRecordModel(BaseModel):
|
||||
}
|
||||
}
|
||||
|
||||
# ANCHOR: RabbitMQ_Models
|
||||
# Семантика: Модели для работы с сообщениями RabbitMQ
|
||||
|
||||
class RabbitMQMessage(BaseModel):
|
||||
"""
|
||||
[CONTRACT]
|
||||
@description: Базовая модель для сообщений RabbitMQ.
|
||||
@invariant: Все сообщения имеют уникальный ID и timestamp.
|
||||
"""
|
||||
message_id: str = Field(default_factory=lambda: str(uuid.uuid4()), description="Уникальный идентификатор сообщения.")
|
||||
timestamp: datetime = Field(default_factory=datetime.utcnow, description="Время создания сообщения.")
|
||||
source: str = Field(..., description="Источник сообщения (например, 'price_parser').")
|
||||
|
||||
class Config:
|
||||
json_encoders = {
|
||||
datetime: lambda v: v.isoformat()
|
||||
}
|
||||
|
||||
class ProductDataMessage(RabbitMQMessage):
|
||||
"""
|
||||
[CONTRACT]
|
||||
@description: Модель сообщения с данными о продуктах для отправки в RabbitMQ.
|
||||
@invariant: Содержит список продуктов и метаданные о парсинге.
|
||||
"""
|
||||
products: List[ProductVariant] = Field(..., description="Список продуктов для обработки.")
|
||||
run_id: str = Field(..., description="Идентификатор запуска парсера.")
|
||||
total_count: int = Field(..., description="Общее количество продуктов в сообщении.")
|
||||
|
||||
class Config:
|
||||
json_schema_extra = {
|
||||
"example": {
|
||||
"message_id": "550e8400-e29b-41d4-a716-446655440000",
|
||||
"timestamp": "2023-10-27T12:34:56.789Z",
|
||||
"source": "price_parser",
|
||||
"products": [
|
||||
{
|
||||
"name": "Peptide X",
|
||||
"volume": "30ml",
|
||||
"price": 1500,
|
||||
"url": "https://elixirpeptide.ru/catalog/peptide-x/?product=variant1"
|
||||
}
|
||||
],
|
||||
"run_id": "20231027-123456",
|
||||
"total_count": 1
|
||||
}
|
||||
}
|
||||
|
||||
class LogMessage(RabbitMQMessage):
|
||||
"""
|
||||
[CONTRACT]
|
||||
@description: Модель сообщения с логами для отправки в RabbitMQ.
|
||||
@invariant: Содержит информацию о логах парсера.
|
||||
"""
|
||||
log_records: List[LogRecordModel] = Field(..., description="Список записей логов.")
|
||||
run_id: str = Field(..., description="Идентификатор запуска парсера.")
|
||||
|
||||
class Config:
|
||||
json_schema_extra = {
|
||||
"example": {
|
||||
"message_id": "550e8400-e29b-41d4-a716-446655440001",
|
||||
"timestamp": "2023-10-27T12:34:56.789Z",
|
||||
"source": "price_parser",
|
||||
"log_records": [
|
||||
{
|
||||
"run_id": "20231027-123456",
|
||||
"timestamp": "2023-10-27T12:34:56.789Z",
|
||||
"level": "INFO",
|
||||
"message": "Парсинг начат."
|
||||
}
|
||||
],
|
||||
"run_id": "20231027-123456"
|
||||
}
|
||||
}
|
||||
|
||||
# [COHERENCE_CHECK_PASSED] Все основные модели данных определены и типизированы.
|
||||
Reference in New Issue
Block a user