migration refactor
This commit is contained in:
@@ -1,210 +1,303 @@
|
||||
# [MODULE] Superset Dashboard Migration Script
|
||||
# @contract: Автоматизирует процесс миграции и обновления дашбордов Superset между окружениями.
|
||||
# @semantic_layers:
|
||||
# 1. Конфигурация клиентов Superset для исходного и целевого окружений.
|
||||
# 2. Определение правил трансформации конфигураций баз данных.
|
||||
# 3. Экспорт дашборда, модификация YAML-файлов, создание нового архива и импорт.
|
||||
# @coherence:
|
||||
# - Использует `SupersetClient` для взаимодействия с API Superset.
|
||||
# - Использует `SupersetLogger` для централизованного логирования.
|
||||
# - Работает с `Pathlib` для управления файлами и директориями.
|
||||
# - Интегрируется с `keyring` для безопасного хранения паролей.
|
||||
# - Зависит от утилит `fileio` для обработки архивов и YAML-файлов.
|
||||
# -*- coding: utf-8 -*-
|
||||
# CONTRACT:
|
||||
# PURPOSE: Интерактивный скрипт для миграции ассетов Superset между различными окружениями.
|
||||
# SPECIFICATION_LINK: mod_migration_script
|
||||
# PRECONDITIONS: Наличие корректных конфигурационных файлов для подключения к Superset.
|
||||
# POSTCONDITIONS: Выбранные ассеты успешно перенесены из исходного в целевое окружение.
|
||||
# IMPORTS: [argparse, superset_tool.client, superset_tool.utils.init_clients, superset_tool.utils.logger, superset_tool.utils.fileio]
|
||||
"""
|
||||
[MODULE] Superset Migration Tool
|
||||
@description: Интерактивный скрипт для миграции ассетов Superset между различными окружениями.
|
||||
"""
|
||||
|
||||
# [IMPORTS] Локальные модули
|
||||
from superset_tool.models import SupersetConfig
|
||||
# [IMPORTS]
|
||||
from superset_tool.client import SupersetClient
|
||||
from superset_tool.utils.init_clients import init_superset_clients
|
||||
from superset_tool.utils.logger import SupersetLogger
|
||||
from superset_tool.exceptions import AuthenticationError, SupersetAPIError, NetworkError, DashboardNotFoundError
|
||||
from superset_tool.utils.fileio import save_and_unpack_dashboard, update_yamls, create_dashboard_export, create_temp_file, read_dashboard_from_disk
|
||||
from superset_tool.utils.init_clients import setup_clients
|
||||
|
||||
# [IMPORTS] Стандартная библиотека
|
||||
import os
|
||||
import keyring
|
||||
from pathlib import Path
|
||||
import logging
|
||||
|
||||
# [CONFIG] Инициализация глобального логгера
|
||||
# @invariant: Логгер доступен для всех компонентов скрипта.
|
||||
log_dir = Path("H:\\dev\\Logs") # [COHERENCE_NOTE] Убедитесь, что путь доступен.
|
||||
logger = SupersetLogger(
|
||||
log_dir=log_dir,
|
||||
level=logging.INFO,
|
||||
console=True
|
||||
from superset_tool.utils.fileio import (
|
||||
save_and_unpack_dashboard,
|
||||
read_dashboard_from_disk,
|
||||
update_yamls,
|
||||
create_dashboard_export
|
||||
)
|
||||
logger.info("[COHERENCE_CHECK_PASSED] Логгер инициализирован для скрипта миграции.")
|
||||
|
||||
# [CONFIG] Конфигурация трансформации базы данных Clickhouse
|
||||
# @semantic: Определяет, как UUID и URI базы данных Clickhouse должны быть изменены.
|
||||
# @invariant: 'old' и 'new' должны содержать полные конфигурации.
|
||||
database_config_click = {
|
||||
"old": {
|
||||
"database_name": "Prod Clickhouse",
|
||||
"sqlalchemy_uri": "clickhousedb+connect://clicketl:XXXXXXXXXX@rgm-s-khclk.hq.root.ad:443/dm",
|
||||
"uuid": "b9b67cb5-9874-4dc6-87bd-354fc33be6f9",
|
||||
"database_uuid": "b9b67cb5-9874-4dc6-87bd-354fc33be6f9",
|
||||
"allow_ctas": "false",
|
||||
"allow_cvas": "false",
|
||||
"allow_dml": "false"
|
||||
},
|
||||
"new": {
|
||||
"database_name": "Dev Clickhouse",
|
||||
"sqlalchemy_uri": "clickhousedb+connect://dwhuser:XXXXXXXXXX@10.66.229.179:8123/dm",
|
||||
"uuid": "e9fd8feb-cb77-4e82-bc1d-44768b8d2fc2",
|
||||
"database_uuid": "e9fd8feb-cb77-4e82-bc1d-44768b8d2fc2",
|
||||
"allow_ctas": "true",
|
||||
"allow_cvas": "true",
|
||||
"allow_dml": "true"
|
||||
}
|
||||
}
|
||||
logger.debug("[CONFIG] Конфигурация Clickhouse загружена.")
|
||||
# [ENTITY: Class('Migration')]
|
||||
# CONTRACT:
|
||||
# PURPOSE: Инкапсулирует логику и состояние процесса миграции.
|
||||
# SPECIFICATION_LINK: class_migration
|
||||
# ATTRIBUTES:
|
||||
# - name: logger, type: SupersetLogger, description: Экземпляр логгера.
|
||||
# - name: from_c, type: SupersetClient, description: Клиент для исходного окружения.
|
||||
# - name: to_c, type: SupersetClient, description: Клиент для целевого окружения.
|
||||
# - name: dashboards_to_migrate, type: list, description: Список дашбордов для миграции.
|
||||
# - name: db_config_replacement, type: dict, description: Конфигурация для замены данных БД.
|
||||
class Migration:
|
||||
"""
|
||||
Класс для управления процессом миграции дашбордов Superset.
|
||||
"""
|
||||
def __init__(self):
|
||||
self.logger = SupersetLogger(name="migration_script")
|
||||
self.from_c: SupersetClient = None
|
||||
self.to_c: SupersetClient = None
|
||||
self.dashboards_to_migrate = []
|
||||
self.db_config_replacement = None
|
||||
# END_FUNCTION___init__
|
||||
|
||||
# [CONFIG] Конфигурация трансформации базы данных Greenplum
|
||||
# @semantic: Определяет, как UUID и URI базы данных Greenplum должны быть изменены.
|
||||
# @invariant: 'old' и 'new' должны содержать полные конфигурации.
|
||||
database_config_gp = {
|
||||
"old": {
|
||||
"database_name": "Prod Greenplum",
|
||||
"sqlalchemy_uri": "postgresql+psycopg2://viz_powerbi_gp_prod:XXXXXXXXXX@10.66.229.201:5432/dwh",
|
||||
"uuid": "805132a3-e942-40ce-99c7-bee8f82f8aa8",
|
||||
"database_uuid": "805132a3-e942-40ce-99c7-bee8f82f8aa8",
|
||||
"allow_ctas": "true",
|
||||
"allow_cvas": "true",
|
||||
"allow_dml": "true"
|
||||
},
|
||||
"new": {
|
||||
"database_name": "DEV Greenplum",
|
||||
"sqlalchemy_uri": "postgresql+psycopg2://viz_superset_gp_dev:XXXXXXXXXX@10.66.229.171:5432/dwh",
|
||||
"uuid": "97b97481-43c3-4181-94c5-b69eaaa1e11f",
|
||||
"database_uuid": "97b97481-43c3-4181-94c5-b69eaaa1e11f",
|
||||
"allow_ctas": "false",
|
||||
"allow_cvas": "false",
|
||||
"allow_dml": "false"
|
||||
}
|
||||
}
|
||||
logger.debug("[CONFIG] Конфигурация Greenplum загружена.")
|
||||
# [ENTITY: Function('run')]
|
||||
# CONTRACT:
|
||||
# PURPOSE: Запускает основной воркфлоу миграции, координируя все шаги.
|
||||
# SPECIFICATION_LINK: func_run_migration
|
||||
# PRECONDITIONS: None
|
||||
# POSTCONDITIONS: Процесс миграции завершен.
|
||||
def run(self):
|
||||
"""Запускает основной воркфлоу миграции."""
|
||||
self.logger.info("[INFO][run][ENTER] Запуск скрипта миграции.")
|
||||
self.select_environments()
|
||||
self.select_dashboards()
|
||||
self.confirm_db_config_replacement()
|
||||
self.execute_migration()
|
||||
self.logger.info("[INFO][run][EXIT] Скрипт миграции завершен.")
|
||||
# END_FUNCTION_run
|
||||
|
||||
# [ANCHOR] CLIENT_SETUP
|
||||
clients = setup_clients(logger)
|
||||
# [CONFIG] Определение исходного и целевого клиентов для миграции
|
||||
# [COHERENCE_NOTE] Эти переменные задают конкретную миграцию. Для параметризации можно использовать аргументы командной строки.
|
||||
from_c = clients["sbx"] # Источник миграции
|
||||
to_c = clients["preprod"] # Цель миграции
|
||||
dashboard_slug = "FI0060" # Идентификатор дашборда для миграции
|
||||
# dashboard_id = 53 # ID не нужен, если есть slug
|
||||
# [ENTITY: Function('select_environments')]
|
||||
# CONTRACT:
|
||||
# PURPOSE: Шаг 1. Обеспечивает интерактивный выбор исходного и целевого окружений.
|
||||
# SPECIFICATION_LINK: func_select_environments
|
||||
# PRECONDITIONS: None
|
||||
# POSTCONDITIONS: Атрибуты `self.from_c` и `self.to_c` инициализированы валидными клиентами Superset.
|
||||
def select_environments(self):
|
||||
"""Шаг 1: Выбор окружений (источник и назначение)."""
|
||||
self.logger.info("[INFO][select_environments][ENTER] Шаг 1/4: Выбор окружений.")
|
||||
|
||||
available_envs = {"1": "DEV", "2": "PROD"}
|
||||
|
||||
print("Доступные окружения:")
|
||||
for key, value in available_envs.items():
|
||||
print(f" {key}. {value}")
|
||||
|
||||
# [CONTRACT]
|
||||
# Описание: Мигрирует один дашборд с from_c на to_c.
|
||||
# @pre:
|
||||
# - from_c и to_c должны быть инициализированы.
|
||||
# @post:
|
||||
# - Дашборд с from_c успешно экспортирован и импортирован в to_c.
|
||||
# @raise:
|
||||
# - Exception: В случае ошибки экспорта или импорта.
|
||||
def migrate_dashboard (dashboard_slug=dashboard_slug,
|
||||
from_c = from_c,
|
||||
to_c = to_c,
|
||||
logger=logger,
|
||||
update_db_yaml=False):
|
||||
|
||||
logger.info(f"[INFO] Конфигурация миграции: From '{from_c.config.base_url}' To '{to_c.config.base_url}' for dashboard slug '{dashboard_slug}'")
|
||||
while self.from_c is None:
|
||||
try:
|
||||
from_env_choice = input("Выберите исходное окружение (номер): ")
|
||||
from_env_name = available_envs.get(from_env_choice)
|
||||
if not from_env_name:
|
||||
print("Неверный выбор. Попробуйте снова.")
|
||||
continue
|
||||
|
||||
clients = init_superset_clients(self.logger, env=from_env_name.lower())
|
||||
self.from_c = clients[0]
|
||||
self.logger.info(f"[INFO][select_environments][STATE] Исходное окружение: {from_env_name}")
|
||||
|
||||
try:
|
||||
# [ACTION] Получение метаданных исходного дашборда
|
||||
logger.info(f"[INFO] Получение метаданных дашборда '{dashboard_slug}' из исходного окружения.")
|
||||
dashboard_meta = from_c.get_dashboard(dashboard_slug)
|
||||
dashboard_id = dashboard_meta["id"] # Получаем ID из метаданных
|
||||
logger.info(f"[INFO] Найден дашборд '{dashboard_meta['dashboard_title']}' с ID: {dashboard_id}.")
|
||||
except Exception as e:
|
||||
self.logger.error(f"[ERROR][select_environments][FAILURE] Ошибка при инициализации клиента-источника: {e}", exc_info=True)
|
||||
print("Не удалось инициализировать клиент. Проверьте конфигурацию.")
|
||||
|
||||
while self.to_c is None:
|
||||
try:
|
||||
to_env_choice = input("Выберите целевое окружение (номер): ")
|
||||
to_env_name = available_envs.get(to_env_choice)
|
||||
|
||||
# [CONTEXT_MANAGER] Работа с временной директорией для обработки архива дашборда
|
||||
with create_temp_file(suffix='.dir', logger=logger) as temp_root:
|
||||
logger.info(f"[INFO] Создана временная директория: {temp_root}")
|
||||
|
||||
# [ANCHOR] EXPORT_DASHBOARD
|
||||
# Экспорт дашборда во временную директорию ИЛИ чтение с диска
|
||||
# [COHERENCE_NOTE] В текущем коде закомментирован экспорт и используется локальный файл.
|
||||
# Для полноценной миграции следует использовать export_dashboard().
|
||||
zip_content, filename = from_c.export_dashboard(dashboard_id) # Предпочтительный путь для реальной миграции
|
||||
|
||||
# [DEBUG] Использование файла с диска для тестирования миграции
|
||||
#zip_db_path = r"C:\Users\VolobuevAA\Downloads\dashboard_export_20250704T082538.zip"
|
||||
#logger.warning(f"[WARN] Используется ЛОКАЛЬНЫЙ файл дашборда для миграции: {zip_db_path}. Это может привести к некогерентности, если файл устарел.")
|
||||
#zip_content, filename = read_dashboard_from_disk(zip_db_path, logger=logger)
|
||||
|
||||
# [ANCHOR] SAVE_AND_UNPACK
|
||||
# Сохранение и распаковка во временную директорию
|
||||
zip_path, unpacked_path = save_and_unpack_dashboard(
|
||||
zip_content=zip_content,
|
||||
original_filename=filename,
|
||||
unpack=True,
|
||||
logger=logger,
|
||||
output_dir=temp_root
|
||||
)
|
||||
logger.info(f"[INFO] Дашборд распакован во временную директорию: {unpacked_path}")
|
||||
|
||||
# [ANCHOR] UPDATE_YAML_CONFIGS
|
||||
# Обновление конфигураций баз данных в YAML-файлах
|
||||
if update_db_yaml:
|
||||
source_path = unpacked_path / Path(filename).stem # Путь к распакованному содержимому дашборда
|
||||
db_configs_to_apply = [database_config_click, database_config_gp]
|
||||
logger.info(f"[INFO] Применение трансформаций баз данных к YAML файлам в {source_path}...")
|
||||
update_yamls(db_configs_to_apply, path=source_path, logger=logger)
|
||||
logger.info("[INFO] YAML-файлы успешно обновлены.")
|
||||
if not to_env_name:
|
||||
print("Неверный выбор. Попробуйте снова.")
|
||||
continue
|
||||
|
||||
if to_env_name == self.from_c.env:
|
||||
print("Целевое и исходное окружения не могут совпадать.")
|
||||
continue
|
||||
|
||||
# [ANCHOR] CREATE_NEW_EXPORT_ARCHIVE
|
||||
# Создание нового экспорта дашборда из модифицированных файлов
|
||||
temp_zip = temp_root / f"{dashboard_slug}_migrated.zip" # Имя файла для импорта
|
||||
logger.info(f"[INFO] Создание нового ZIP-архива для импорта: {temp_zip}")
|
||||
create_dashboard_export(temp_zip, [source_path], logger=logger)
|
||||
logger.info("[INFO] Новый ZIP-архив дашборда готов к импорту.")
|
||||
else:
|
||||
temp_zip = zip_path
|
||||
# [ANCHOR] IMPORT_DASHBOARD
|
||||
# Импорт обновленного дашборда в целевое окружение
|
||||
logger.info(f"[INFO] Запуск импорта дашборда в целевое окружение {to_c.config.base_url}...")
|
||||
import_result = to_c.import_dashboard(temp_zip)
|
||||
logger.info(f"[COHERENCE_CHECK_PASSED] Дашборд '{dashboard_slug}' успешно импортирован/обновлен.", extra={"import_result": import_result})
|
||||
clients = init_superset_clients(self.logger, env=to_env_name.lower())
|
||||
self.to_c = clients[0]
|
||||
self.logger.info(f"[INFO][select_environments][STATE] Целевое окружение: {to_env_name}")
|
||||
|
||||
except (AuthenticationError, SupersetAPIError, NetworkError, DashboardNotFoundError) as e:
|
||||
logger.error(f"[ERROR] Ошибка миграции дашборда: {str(e)}", exc_info=True, extra=e.context)
|
||||
# exit(1)
|
||||
except Exception as e:
|
||||
logger.critical(f"[CRITICAL] Фатальная и необработанная ошибка в скрипте миграции: {str(e)}", exc_info=True)
|
||||
# exit(1)
|
||||
except Exception as e:
|
||||
self.logger.error(f"[ERROR][select_environments][FAILURE] Ошибка при инициализации целевого клиента: {e}", exc_info=True)
|
||||
print("Не удалось инициализировать клиент. Проверьте конфигурацию.")
|
||||
self.logger.info("[INFO][select_environments][EXIT] Шаг 1 завершен.")
|
||||
# END_FUNCTION_select_environments
|
||||
|
||||
logger.info("[INFO] Процесс миграции завершен.")
|
||||
# [ENTITY: Function('select_dashboards')]
|
||||
# CONTRACT:
|
||||
# PURPOSE: Шаг 2. Обеспечивает интерактивный выбор дашбордов для миграции.
|
||||
# SPECIFICATION_LINK: func_select_dashboards
|
||||
# PRECONDITIONS: `self.from_c` должен быть инициализирован.
|
||||
# POSTCONDITIONS: `self.dashboards_to_migrate` содержит список выбранных дашбордов.
|
||||
def select_dashboards(self):
|
||||
"""Шаг 2: Выбор дашбордов для миграции."""
|
||||
self.logger.info("[INFO][select_dashboards][ENTER] Шаг 2/4: Выбор дашбордов.")
|
||||
|
||||
# [CONTRACT]
|
||||
# Описание: Мигрирует все дашборды с from_c на to_c.
|
||||
# @pre:
|
||||
# - from_c и to_c должны быть инициализированы.
|
||||
# @post:
|
||||
# - Все дашборды с from_c успешно экспортированы и импортированы в to_c.
|
||||
# @raise:
|
||||
# - Exception: В случае ошибки экспорта или импорта.
|
||||
def migrate_all_dashboards(from_c: SupersetClient, to_c: SupersetClient,logger=logger) -> None:
|
||||
# [ACTION] Получение списка всех дашбордов из исходного окружения.
|
||||
logger.info(f"[ACTION] Получение списка всех дашбордов из '{from_c.config.base_url}'")
|
||||
total_dashboards, dashboards = from_c.get_dashboards()
|
||||
logger.info(f"[INFO] Найдено {total_dashboards} дашбордов для миграции.")
|
||||
try:
|
||||
all_dashboards = self.from_c.get_dashboards()
|
||||
if not all_dashboards:
|
||||
self.logger.warning("[WARN][select_dashboards][STATE] В исходном окружении не найдено дашбордов.")
|
||||
print("В исходном окружении не найдено дашбордов.")
|
||||
return
|
||||
|
||||
# [ACTION] Итерация по всем дашбордам и миграция каждого из них.
|
||||
for dashboard in dashboards:
|
||||
dashboard_id = dashboard["id"]
|
||||
dashboard_slug = dashboard["slug"]
|
||||
dashboard_title = dashboard["dashboard_title"]
|
||||
logger.info(f"[INFO] Начало миграции дашборда '{dashboard_title}' (ID: {dashboard_id}, Slug: {dashboard_slug}).")
|
||||
if dashboard_slug:
|
||||
try:
|
||||
migrate_dashboard(dashboard_slug=dashboard_slug,from_c=from_c,to_c=to_c,logger=logger)
|
||||
except Exception as e:
|
||||
logger.error(f"[ERROR] Ошибка миграции дашборда: {str(e)}", exc_info=True, extra=e.context)
|
||||
else:
|
||||
logger.info(f"[INFO] Пропуск '{dashboard_title}' (ID: {dashboard_id}, Slug: {dashboard_slug}). Пустой SLUG")
|
||||
while True:
|
||||
print("\nДоступные дашборды:")
|
||||
for i, dashboard in enumerate(all_dashboards):
|
||||
print(f" {i + 1}. {dashboard['dashboard_title']}")
|
||||
|
||||
print("\nОпции:")
|
||||
print(" - Введите номера дашбордов через запятую (например, 1, 3, 5).")
|
||||
print(" - Введите 'все' для выбора всех дашбордов.")
|
||||
print(" - Введите 'поиск <запрос>' для поиска дашбордов.")
|
||||
print(" - Введите 'выход' для завершения.")
|
||||
|
||||
logger.info(f"[INFO] Миграция всех дашбордов с '{from_c.config.base_url}' на '{to_c.config.base_url}' завершена.")
|
||||
choice = input("Ваш выбор: ").lower().strip()
|
||||
|
||||
# [ACTION] Вызов функции миграции
|
||||
migrate_all_dashboards(from_c, to_c)
|
||||
if choice == 'выход':
|
||||
break
|
||||
elif choice == 'все':
|
||||
self.dashboards_to_migrate = all_dashboards
|
||||
self.logger.info(f"[INFO][select_dashboards][STATE] Выбраны все дашборды: {len(self.dashboards_to_migrate)}")
|
||||
break
|
||||
elif choice.startswith('поиск '):
|
||||
search_query = choice[6:].strip()
|
||||
filtered_dashboards = [d for d in all_dashboards if search_query in d['dashboard_title'].lower()]
|
||||
if not filtered_dashboards:
|
||||
print("По вашему запросу ничего не найдено.")
|
||||
else:
|
||||
all_dashboards = filtered_dashboards
|
||||
continue
|
||||
else:
|
||||
try:
|
||||
selected_indices = [int(i.strip()) - 1 for i in choice.split(',')]
|
||||
self.dashboards_to_migrate = [all_dashboards[i] for i in selected_indices if 0 <= i < len(all_dashboards)]
|
||||
self.logger.info(f"[INFO][select_dashboards][STATE] Выбрано дашбордов: {len(self.dashboards_to_migrate)}")
|
||||
break
|
||||
except (ValueError, IndexError):
|
||||
print("Неверный ввод. Пожалуйста, введите корректные номера.")
|
||||
|
||||
except Exception as e:
|
||||
self.logger.error(f"[ERROR][select_dashboards][FAILURE] Ошибка при получении или выборе дашбордов: {e}", exc_info=True)
|
||||
print("Произошла ошибка при работе с дашбордами.")
|
||||
|
||||
self.logger.info("[INFO][select_dashboards][EXIT] Шаг 2 завершен.")
|
||||
# END_FUNCTION_select_dashboards
|
||||
|
||||
# [ENTITY: Function('confirm_db_config_replacement')]
|
||||
# CONTRACT:
|
||||
# PURPOSE: Шаг 3. Управляет процессом подтверждения и настройки замены конфигураций БД.
|
||||
# SPECIFICATION_LINK: func_confirm_db_config_replacement
|
||||
# PRECONDITIONS: `self.from_c` и `self.to_c` инициализированы.
|
||||
# POSTCONDITIONS: `self.db_config_replacement` содержит конфигурацию для замены или `None`.
|
||||
def confirm_db_config_replacement(self):
|
||||
"""Шаг 3: Подтверждение и настройка замены конфигурации БД."""
|
||||
self.logger.info("[INFO][confirm_db_config_replacement][ENTER] Шаг 3/4: Замена конфигурации БД.")
|
||||
|
||||
while True:
|
||||
choice = input("Хотите ли вы заменить конфигурации баз данных в YAML-файлах? (да/нет): ").lower().strip()
|
||||
if choice in ["да", "нет"]:
|
||||
break
|
||||
print("Неверный ввод. Пожалуйста, введите 'да' или 'нет'.")
|
||||
|
||||
if choice == 'нет':
|
||||
self.logger.info("[INFO][confirm_db_config_replacement][STATE] Замена конфигурации БД пропущена.")
|
||||
return
|
||||
|
||||
# Эвристический расчет
|
||||
from_env = self.from_c.env.upper()
|
||||
to_env = self.to_c.env.upper()
|
||||
heuristic_applied = False
|
||||
|
||||
if from_env == "DEV" and to_env == "PROD":
|
||||
self.db_config_replacement = {"old": {"database_name": "db_dev"}, "new": {"database_name": "db_prod"}} # Пример
|
||||
self.logger.info("[INFO][confirm_db_config_replacement][STATE] Применена эвристика DEV -> PROD.")
|
||||
heuristic_applied = True
|
||||
elif from_env == "PROD" and to_env == "DEV":
|
||||
self.db_config_replacement = {"old": {"database_name": "db_prod"}, "new": {"database_name": "db_dev"}} # Пример
|
||||
self.logger.info("[INFO][confirm_db_config_replacement][STATE] Применена эвристика PROD -> DEV.")
|
||||
heuristic_applied = True
|
||||
|
||||
if heuristic_applied:
|
||||
print(f"На основе эвристики будет произведена следующая замена: {self.db_config_replacement}")
|
||||
confirm = input("Подтверждаете? (да/нет): ").lower().strip()
|
||||
if confirm != 'да':
|
||||
self.db_config_replacement = None
|
||||
heuristic_applied = False
|
||||
|
||||
if not heuristic_applied:
|
||||
print("Пожалуйста, введите детали для замены.")
|
||||
old_key = input("Ключ для замены (например, database_name): ")
|
||||
old_value = input(f"Старое значение для {old_key}: ")
|
||||
new_value = input(f"Новое значение для {old_key}: ")
|
||||
self.db_config_replacement = {"old": {old_key: old_value}, "new": {old_key: new_value}}
|
||||
self.logger.info(f"[INFO][confirm_db_config_replacement][STATE] Установлена ручная замена: {self.db_config_replacement}")
|
||||
|
||||
self.logger.info("[INFO][confirm_db_config_replacement][EXIT] Шаг 3 завершен.")
|
||||
# END_FUNCTION_confirm_db_config_replacement
|
||||
|
||||
# [ENTITY: Function('execute_migration')]
|
||||
# CONTRACT:
|
||||
# PURPOSE: Шаг 4. Выполняет фактическую миграцию выбранных дашбордов.
|
||||
# SPECIFICATION_LINK: func_execute_migration
|
||||
# PRECONDITIONS: Все предыдущие шаги (`select_environments`, `select_dashboards`) успешно выполнены.
|
||||
# POSTCONDITIONS: Выбранные дашборды перенесены в целевое окружение.
|
||||
def execute_migration(self):
|
||||
"""Шаг 4: Выполнение миграции и обновления конфигураций."""
|
||||
self.logger.info("[INFO][execute_migration][ENTER] Шаг 4/4: Выполнение миграции.")
|
||||
|
||||
if not self.dashboards_to_migrate:
|
||||
self.logger.warning("[WARN][execute_migration][STATE] Нет дашбордов для миграции.")
|
||||
print("Нет дашбордов для миграции. Завершение.")
|
||||
return
|
||||
|
||||
db_configs_for_update = []
|
||||
if self.db_config_replacement:
|
||||
try:
|
||||
from_dbs = self.from_c.get_databases()
|
||||
to_dbs = self.to_c.get_databases()
|
||||
|
||||
# Просто пример, как можно было бы сопоставить базы данных.
|
||||
# В реальном сценарии логика может быть сложнее.
|
||||
for from_db in from_dbs:
|
||||
for to_db in to_dbs:
|
||||
# Предполагаем, что мы можем сопоставить базы по имени, заменив суффикс
|
||||
if from_db['database_name'].replace(self.from_c.env.upper(), self.to_c.env.upper()) == to_db['database_name']:
|
||||
db_configs_for_update.append({
|
||||
"old": {"database_name": from_db['database_name']},
|
||||
"new": {"database_name": to_db['database_name']}
|
||||
})
|
||||
self.logger.info(f"[INFO][execute_migration][STATE] Сформированы конфигурации для замены БД: {db_configs_for_update}")
|
||||
except Exception as e:
|
||||
self.logger.error(f"[ERROR][execute_migration][FAILURE] Не удалось получить конфигурации БД: {e}", exc_info=True)
|
||||
print("Не удалось получить конфигурации БД. Миграция будет продолжена без замены.")
|
||||
|
||||
for dashboard in self.dashboards_to_migrate:
|
||||
try:
|
||||
dashboard_id = dashboard['id']
|
||||
self.logger.info(f"[INFO][execute_migration][PROGRESS] Миграция дашборда: {dashboard['dashboard_title']} (ID: {dashboard_id})")
|
||||
|
||||
# 1. Экспорт
|
||||
exported_content = self.from_c.export_dashboards(dashboard_id)
|
||||
zip_path, unpacked_path = save_and_unpack_dashboard(exported_content, f"temp_export_{dashboard_id}", unpack=True)
|
||||
self.logger.info(f"[INFO][execute_migration][STATE] Дашборд экспортирован и распакован в {unpacked_path}")
|
||||
|
||||
# 2. Обновление YAML, если нужно
|
||||
if db_configs_for_update:
|
||||
update_yamls(db_configs=db_configs_for_update, path=str(unpacked_path))
|
||||
self.logger.info(f"[INFO][execute_migration][STATE] YAML-файлы обновлены.")
|
||||
|
||||
# 3. Упаковка и импорт
|
||||
new_zip_path = f"migrated_dashboard_{dashboard_id}.zip"
|
||||
create_dashboard_export(new_zip_path, [unpacked_path])
|
||||
|
||||
content_to_import, _ = read_dashboard_from_disk(new_zip_path)
|
||||
self.to_c.import_dashboards(content_to_import)
|
||||
self.logger.info(f"[INFO][execute_migration][SUCCESS] Дашборд {dashboard['dashboard_title']} успешно импортирован.")
|
||||
|
||||
except Exception as e:
|
||||
self.logger.error(f"[ERROR][execute_migration][FAILURE] Ошибка при миграции дашборда {dashboard['dashboard_title']}: {e}", exc_info=True)
|
||||
print(f"Не удалось смигрировать дашборд: {dashboard['dashboard_title']}")
|
||||
|
||||
self.logger.info("[INFO][execute_migration][EXIT] Шаг 4 завершен.")
|
||||
# END_FUNCTION_execute_migration
|
||||
|
||||
# END_CLASS_Migration
|
||||
|
||||
# [MAIN_EXECUTION_BLOCK]
|
||||
if __name__ == "__main__":
|
||||
migration = Migration()
|
||||
migration.run()
|
||||
# END_MAIN_EXECUTION_BLOCK
|
||||
|
||||
# END_MODULE_migration_script
|
||||
Reference in New Issue
Block a user