Data Engineer

#РФ #вакансия #удаленно #remote #DataEngineer

Вакансия: DataEngineer
Грейд: Senior
Компания: JETLYN
Формат: удаленно
Локация: Россия
Гражданство: РФ
Вилка ЗП: от 230 000 до 320 000 рублей на руки в месяц
Условия оформления, формат: ТК/ИП

🟡Сфера деятельности: крупная ритейл компания.

🟡Задачи на проекте
- Самостоятельная разработка, реализация и поддержка интеграционных решений, на стеке технологий, принятых в команде (Java, Groovy, Apache Nifi, Airflow);
- Определение стека технологий для конкретных проектов и задач;
- Решать технически сложные задачи, которые другие инженеры в команде не в состоянии решить;
- Оперативное реагирование на информацию о проблемах в зоне ответственности, выполнение задач в установленный срок;
- Разработка и контроль актуальности документации взаимодействия конфигурационных единиц платформы больших данных;
- Предоставление отчетности о своей деятельности начальнику отдела/руководителю в порядке, установленном руководством;
- Контроль за качеством интеграционных решений, с последующим заведением задач/дефектов на рефакторинг;
- Определять технологическую стратегию развития проекта или продукта, работать на перспективу;
- Выстраивать процессы (например, CI/CD, код ревью), внедрять и развивать инженерные практики.

🟡Обязательные требования
- Владение одним из языков программирования (Java, Groovy), знание принципов ООП, умение читать чужой код;
- Опыт сборки проекта, компиляции и деплоя в Rancher (Docker); - Опыт проектирования, реализации, развития и поддержки интеграционных решений на стеке технологий BigData; - Знание SQL (индексы, функции, умение читать планы запросов, оптимизация запросов);
- Опыт работы с любой реляционной БД (Oracle, Postgres, MySQL, MsSQL, DB2 и т.п.); - Умение работать с Git в консоли;
- Знания специфики работы ETL инструментов (Apache Nifi, Airflow, интеграционные шины SAP BW, Talend, Informatica, SAS и т.п.);
- Опыт работы с Hadoop; - Понимание устройства HDFS, форматов данных;
- Опыт работы с Hive или любым другим хранилищем на основе Hadoop;
- Опыт использования систем ведения проектов и документации;
- Умение работы с архитектурными схемами;
- Понимание принципов построения и хранения данных
- DWH и DataLake.

📌Дополнительные требования
- Желателен опыт администрирования Unix/Linux или Hadoop (HDFS , Yarn, Ranger , Spark, Zookeeper), Zabbix, Ansible;
- Понимание диагностических и трейc файлов SAP HANA: структура, назначение, базовая интерпретация событий;
- Уверенный Python/Go/Java/C++/Rust для парсинга логов и бинарных форматов, опыт написания утилит для разбора файлов;
- Опыт работы с SAP HANA как источником данных: SQL диалект HANA, типы данных, форматы экспорта (CSV/бинарный), базовая администрация полезна;
-Умение превращать разобранные данные в формат Iceberg/Paimon (таблицы, события, JSON) и выгружать в Apache Kafka (или любой другой подходящий источник);
- Практика в data engineering/observability/SRE: автоматизация анализа логов/трейсов, расследование инцидентов производительности и ошибок.

Резюме и вопросы направляйте, пожалуйста, в телеграмм в ЛС @Geniya_HR 📲