93 lines
5.9 KiB
Markdown
93 lines
5.9 KiB
Markdown
# Инструменты автоматизации Superset
|
||
|
||
## Обзор
|
||
Этот репозиторий содержит Python-скрипты и библиотеку (`superset_tool`) для автоматизации задач в Apache Superset, таких как:
|
||
- **Резервное копирование**: Экспорт всех дашбордов из экземпляра Superset в локальное хранилище.
|
||
- **Миграция**: Перенос и преобразование дашбордов между разными средами Superset (например, Development, Sandbox, Production).
|
||
|
||
## Структура проекта
|
||
- `backup_script.py`: Основной скрипт для выполнения запланированного резервного копирования дашбордов Superset.
|
||
- `migration_script.py`: Основной скрипт для переноса конкретных дашбордов между окружениями, включая переопределение соединений с базами данных.
|
||
- `search_script.py`: Скрипт для поиска данных во всех доступных датасетах на сервере
|
||
- `superset_tool/`:
|
||
- `client.py`: Python-клиент для взаимодействия с API Superset.
|
||
- `exceptions.py`: Пользовательские классы исключений для структурированной обработки ошибок.
|
||
- `models.py`: Pydantic-модели для валидации конфигурационных данных.
|
||
- `utils/`:
|
||
- `fileio.py`: Утилиты для работы с файловой системой (работа с архивами, парсинг YAML).
|
||
- `logger.py`: Конфигурация логгера для единообразного логирования в проекте.
|
||
- `network.py`: HTTP-клиент для сетевых запросов с обработкой аутентификации и повторных попыток.
|
||
|
||
## Настройка
|
||
|
||
### Требования
|
||
- Python 3.9+
|
||
- `pip` для управления пакетами.
|
||
- `keyring` для безопасного хранения паролей.
|
||
|
||
### Установка
|
||
1. **Клонируйте репозиторий:**
|
||
```bash
|
||
git clone https://prod.gitlab.dwh.rusal.com/dwh_bi/superset-tools.git
|
||
cd superset-tools
|
||
```
|
||
2. **Установите зависимости:**
|
||
```bash
|
||
pip install -r requirements.txt
|
||
```
|
||
(Возможно, потребуется создать `requirements.txt` с `pydantic`, `requests`, `keyring`, `PyYAML`, `urllib3`)
|
||
3. **Настройте пароли:**
|
||
Используйте `keyring` для хранения паролей API-пользователей Superset.
|
||
Пример для `backup_script.py`:
|
||
```python
|
||
import keyring
|
||
keyring.set_password("system", "dev migrate", "пароль пользователя migrate_user")
|
||
keyring.set_password("system", "prod migrate", "пароль пользователя migrate_user")
|
||
keyring.set_password("system", "sandbox migrate", "пароль пользователя migrate_user")
|
||
```
|
||
При необходимости замените `"system"` на подходящее имя сервиса.
|
||
|
||
## Использование
|
||
|
||
### Скрипт резервного копирования (`backup_script.py`)
|
||
Для создания резервных копий дашбордов из настроенных окружений Superset:
|
||
```bash
|
||
python backup_script.py
|
||
```
|
||
Резервные копии сохраняются в `P:\Superset\010 Бекапы\` по умолчанию. Логи хранятся в `P:\Superset\010 Бекапы\Logs`.
|
||
|
||
### Скрипт миграции (`migration_script.py`)
|
||
Для переноса конкретного дашборда:
|
||
```bash
|
||
python migration_script.py
|
||
```
|
||
**Примечание:** В текущей версии скрипт переносит жестко заданный дашборд (`FI0070`) и использует локальный `.zip` файл в качестве источника. **Для использования в Production необходимо:**
|
||
- В текущей версии управление откуда и куда выполняется параметрами
|
||
`from_c` и `to_c`.
|
||
|
||
### Скрипт поиска (`search_script.py`)
|
||
Строка для поиска и клиенты для поиска задаются здесь
|
||
# Поиск всех таблиц в датасете
|
||
```python
|
||
results = search_datasets(
|
||
client=clients['dev'],
|
||
search_pattern=r'dm_view\.account_debt',
|
||
search_fields=["sql"],
|
||
logger=logger
|
||
)
|
||
```
|
||
|
||
|
||
## Логирование
|
||
Логи пишутся в файл в директории `Logs` (например, `P:\Superset\010 Бекапы\Logs` для резервных копий) и выводятся в консоль. Уровень логирования по умолчанию — `INFO`.
|
||
|
||
## Разработка и вклад
|
||
- Следуйте архитектурным паттернам (`[MODULE]`, `[CONTRACT]`, `[SECTION]`, `[ANCHOR]`) и правилам логирования.
|
||
- Весь новый код должен соответствовать принципам "LLM-friendly" генерации.
|
||
- Используйте `Pydantic`-модели для валидации данных.
|
||
- Реализуйте всестороннюю обработку ошибок с помощью пользовательских исключений.
|
||
|
||
---
|
||
[COHERENCE_CHECK_PASSED] README.md создан и согласован с модулями.
|
||
|
||
Перевод выполнен с сохранением оригинальной Markdown-разметки и стиля документа. [1] |