Data engineer

#вакансия #удаленнаяработа #Data #Dataengineer #senior #РФ

✅Позиция:Data engineer💻
✅Вилка: 330.000 - 350.000 руб. гросс💰
✅Занятость: Полная
✅Локация и гражданство:РФ 📌 
✅Оформление: Как ИП

👋Привет! Меня зовут Ирина. Я представляю группу компаний Top Selection.
🔥В данный момент мы в поисках Data engineer  🔥

🛠Требования:
- Владение SQL на уровне оптимизированных сложных запросов;
- Понимание принципов функционирования традиционных СУБД и баз данных класса MPP;
- Опыт программирования на языках Python и/или Java, Scala;
- Опыт оркестрации ETL-пайплайнов с помощью Airflow;
- Наличие опыта взаимодействия с инструментом dbt;
- Умение работать с технологиями экосистемы Hadoop (HDFS, YARN, HIVE, Sqoop);
- Владение технологией Apache Spark (Spark DataFrames, Spark SQL);
- Опыт работы с банковской предметной областью.

📌Обязанности:
- Мигрировать процессы для отчетности и аналитики и настраивать их регламентную загрузку;
- Работать с общебанковской data-платформой (data lake, dwh, streaming, etc.);
- Разрабатывать end-to-end пайплайны по сбору и обработке данных: выбирать оптимальный формат, структуру хранения и архитектуру интеграционных решений;
- Анализировать и оптимизировать производительность пайплайнов, инструментов и дата-сервисов;
- Развивать архитектуру данных и внедрять новые технологические решения и сервисы;
- Управлять обновлениями, настройками, устранять выявленные уязвимости, восстанавливать сервисы после сбоев, обрабатывать инциденты;
- Настраивать и поддерживать процессы и инструменты интеграции Near-Real Time платформы с системами-источниками и потребителями данных.

📲Контакт для связи: @Iryn_pnz