Обязанности:

• Разработка ETL/ELT пайплайнов на Apache Airflow;
• Проектирование и реализация решений для интеграции источников данных (MongoDB, Kafka, S3, Postgres) в DWH;
• Работа с API различных сервисов для получения данных;
• Оптимизация запросов и архитектуры хранения в колоночных СУБД;
• Разработка сервисов обработки данных на Python (Pandas, Pydantic);
• Участие в проектировании архитектуры хранилища;
• Документирование архитектуры и процессов обработки данных;

Требования:

• Опыт работы Data Engineer от 2-ух лет;
• Уверенное владение Python 3.8+. Понимание принципов ООП, многопоточности, асинхронности и инструментов работы с БД (psycopg2, clickhouse-driver, SQLAlchemy);
• Практический опыт работы с Apache Airflow (2.10+), реляционный СУБД (Postgres), Kafka;
• Знание форматов данных JSON, XML, AVRO, Parquet;
• Опыт работы с GIT;

Будет плюсом:

• Опыт работы с Clickhouse, OpenMetadata, Docker, k8s, Debezium;
• Опыт в развертывании и администрировании Apache Airflow (2.0+).