Senior Data Engineer (Data & Platform Foundations)

#vacancy #DataEngineer #BigData #Relocation #UAE #AbuDhabi #Senior #A028

Senior Data Engineer (Data & Platform Foundations) 🇦🇪🏗

РФ релокация в Абу-Даби, ОАЭ (Onsite).
Формат: Full-time (долгосрочный проект от Government).
Язык: Английский (B2+ и выше).
Старт: ASAP.
Релокация: Полная поддержка при переезде. Минимум первые 6 месяцев работа на месте (Onsite), далее возможен гибрид или удаленка по согласованию.

🚀 О проекте:
Строительство современного Data Lakehouse и пайплайнов для неструктурированных данных в рамках масштабного ИИ-проекта для цепочек поставок (Supply Chain) и инженерных рабочих процессов. Работа в строго регулируемой и защищенной среде.

🛠 Технологический стек:
Языки: Python, SQL.
Data Stack: Spark, Kafka, Airflow, Databricks / Delta Lake.
Интеграции: SAP S/4HANA, SAP Ariba (SAP BTP — плюс), PLM-системы.
AI Ops: Векторные БД (Weaviate / Milvus), пайплайны для RAG.
Инфраструктура: Docker, Kubernetes, CI/CD, dbt / Dagster / Prefect.

📋 Чем предстоит заниматься:
— Проектирование и поставка архитектуры Data Lakehouse как единого источника истины для аналитики и ИИ.
— Построение пайплайнов инджестинга из корпоративных систем (SAP, PLM) с доступностью данных в near real-time.
— Интеграция внешних рыночных фидов для обогащения данных по закупкам и операциям.
— Обработка неструктурированных данных (PDF-тендеры, чертежи, техдокументация) в форматы, готовые для векторного поиска (RAG).
— Оптимизация векторных баз данных для быстрого извлечения информации.
— Внедрение Governance: аудит, RBAC, Data Lineage, автоматические проверки качества данных (BOM, стоимость).

🎯 Требования (Must-have):
— Опыт в Data Engineering от 5 лет (из них 2+ года с пайплайнами для ML/GenAI/RAG).
— Уверенный опыт работы со Spark, Kafka и Airflow.
— Подтвержденный опыт интеграции с системами SAP (S/4HANA, Ariba).
— Практические навыки работы с Databricks и PostgreSQL.
— Готовность пройти строгую проверку безопасности (background screening).

➕ Будет плюсом:
— Знание домена Supply Chain / Manufacturing (жизненный цикл закупок, BOM).
— Опыт работы в закрытых/ограниченных сетевых контурах (restricted network).
— Понимание концепций Digital Thread и прослеживаемости данных.

📲 Контакт для связи: @hrwomenpro
(указывайте ID: А-028_Gul)