Data Engineer

#вакансия #senior #DataEngineer #Python #etl #dwh #remote #удаленка #fulltime

Data Engineer Middle+/Senior
Формат работы: Удаленно
Локация: Любая
Занятость: Полная
З/п: 200-290 т.р. + премии
Компания: ggsel
Проект - маркетплейс цифровых товаров

Отклики сюда ➡️ Data Engineer

Основные задачи

Разработка и поддержка пайплайнов
·         Проектирование ETL/ELT-процессов для переноса данных из PostgreSQL и других источников в ClickHouse.
·         Написание надёжных и идемпотентных DAG в Airflow для регулярного обновления витрин данных.
·         Построение слоёв данных с использованием dbt.
·         Обеспечение качества данных: тесты, проверка свежести, мониторинг аномалий.
Оптимизация хранилища и производительности
·         Тюнинг ClickHouse: настройка схем таблиц под конкретные бизнес-запросы, устранение узких мест.
·         Оптимизация SQL-запросов для снижения нагрузки на БД.
·         Управление ресурсами кластера ClickHouse: CPU, RAM, Disk I/O.
·         Контроль стоимости хранения.
Администрирование и надёжность
·         Обеспечение отказоустойчивости: настройка репликации и бэкапов.
·         Мониторинг состояния пайплайнов и баз данных.
·         Оперативное реагирование на инциденты.

Требования

Глубокое знание ClickHouse
·         Проектирование схем: Знание семейства движков MergeTree, выбор ключей партиционирования и сортировки для оптимального сжатия и скорости чтения .
·         Оптимизация запросов: Умение читать планы запросов, оптимизировать потребление памяти, настраивать материализованные представления (Materialized Views) и проекции.
·         Администрирование: Настройка шардирования и репликации, управление TTL, мониторинг слияний.
Инструменты ETL/ELT и Оркестрация
·         Оркестрация: Управление сбором данных через Apache Airflow.
·         Трансформация: Опыт работы с dbt для построения слоев данных.
Языки и Инфраструктура
·         Python: Разработка ETL-скриптов, работа с Pandas, интеграция с API.
·         SQL: Владение на уровне эксперта (аналитические запросы, оптимизация).
·         Инфраструктура: Docker (для развертывания ClickHouse), Git.
 
Условия

·         Удаленная работа из любой точки мира.
·         Конкурентная зарплата + performance премия 2 раза в год.
·         Гибкий график и фокус на результат.
·         Оплата обучения, курсов и конференций.
·         Возможность реально влиять на продукт и команду.

Отклик можно оставить на нашем корпоративном портале ➡️ Data Engineer