Senior Data инженер

data
Проектирование, разработка и сопровождение масштабируемых решений по интеграции, обработке и хранению данных в корпоративной платформе данных.
Company RedLab
Мы предоставляем экспертизу и ресурсы для реализации ИТ-проектов. Наше главное преимущество — высокая квалификация специалистов со всего мира.
• Разработка и оптимизация batch- и streaming-пайплайнов для загрузки, трансформации и публикации данных. • Разработка ETL/ELT-процессов с использованием современных инструментов обработки данных. • Проектирование моделей данных для аналитических и операционных сценариев. • Оптимизация производительности процессов обработки данных и SQL-запросов. • Обеспечение качества данных: реализация механизмов валидации, мониторинга и контроля полноты данных. • Участие в проектировании архитектуры платформы данных и выборе технологических решений. • Внедрение и развитие практик DataOps и CI/CD для процессов обработки данных. • Подготовка технической документации и архитектурных артефактов. • Проведение код-ревью, техническое менторство и участие в развитии команды.
• Опыт работы Data Engineer от 5 лет. • Знание методологии Data Vault 2.0 • Уверенные знания Python/Scala/Java для разработки ETL/ELT-процессов и сервисов обработки данных. • Отличное знание SQL, опыт оптимизации сложных запросов и работы с большими объемами данных. • Опыт проектирования и разработки промышленного Data Warehouse, Data Lake или Lakehouse решений. • Практический опыт работы с Apache Spark. • Опыт работы с Apache Airflow, Apache Kafka • Опыт работы с системами потоковой обработки данных • Опыт работы с распределенными файловыми системами и форматами хранения данных: HDFS, Parquet, Avro; • Опыт работы с экосистемой Hadoop/Apache Iceberg или современными платформами хранения и обработки данных. • Опыт работы с реляционными СУБД (PostgreSQL, Oracle, Clickhouse, Greenplum). • Уверенное владение Git и понимание процессов CI/CD. • Опыт работы с системами управления задачами и документацией (Jira, Confluence или аналоги). • Понимание принципов построения отказоустойчивых и масштабируемых решений. • Опыт использования dbt для построения трансформационных слоев данных. • Практика внедрения Data Quality решений (Great Expectations, Soda и др.). • Опыт работы с Data Catalog и Data Governance инструментами.
Оформление по ГПХ
Log InOnly registered users can open employer contacts.
Our website uses cookies, including web analytics services. By using the website, you consent to the processing of personal data using cookies. You can find out more about the processing of personal data in the Privacy policy