Data Engineer

💻 Data Engineer в команду CDP
Удалённо · полный рабочий день

2ГИС развивает внутреннюю Customer Data Platform. Она объединяет данные из разных источников, строит пользовательские профили и помогает персонализировать продукт. Предстоит улучшать batch-пайплайны ежедневных признаков, создавать realtime-пайплайн на Kafka и проектировать обработку миллиардов событий.

Требования:
— опыт highload-систем и проектирования архитектуры данных или платформенного кода
— опыт Kafka, ClickHouse либо других систем потоковой и аналитической обработки
— понимание Spark и умение с ним работать
— хорошее владение языком программирования, например Python или Scala

Плюсом будут Airflow, SQL, Data Quality и Data Contracts, Data Lineage и Data Catalog, знание S3 и опыт персонализации, сегментации или real-time аналитики.

Стек платформы ещё формируется, можно влиять на архитектуру. Зарплата и грейд не указаны. Страны, из которых можно работать удалённо, в объявлении не перечислены.

➡️ Подробнее о вакансии на career.habr.com

📍 Навигация: контакт скрыт • контакт скрыт • контакт скрыт