Middle+ Data Engineer
Ptolemay · РФ, РБ
- Зарплата
- 3 000 – 3 500 $
- Грейд
- Middle
- Формат
- Удалённо
- Занятость
- Полная
- Категория
- Data/ML
- Источник
- Telegram IT Job
Контакт HR — бесплатно после входа
Войдите через Telegram — покажем, кому писать напрямую. Без резюме и анкет.
Описание
#вакансия #vacancy #dataengineer #DE #middle #senior #remote #fulltime
Вакансия: Middle+ Data Engineer
Формат: Удалённый (аутстафф)
Занятость: Полная
Локация и гражданство: РФ, РБ
Оформление: ИП, СМЗ, либо оплата криптовалютой USDT
Длительность проекта: от года
Оплата: 3000 - 3500$ net.
Ptolemay - аутсорсинговая IT-компания полного цикла по разработке мобильных и веб-приложений для бизнеса и стартапов. Ищем Middle+ Data Engineer для долгосрочного аутстафф-проекта в банковской сфере.
Проект по разработке решения для xbrl отчетности по форме 577-п от ЦБ.
Стек на проекте:
Python, Trino, dbt, Airflow, Spark, Hadoop, Hive, Postgres, Greenplum, Kubernetes, Gitlab.
Задачи:
• Мигрировать процессы для отчетности и аналитики и настраивать их регламентную загрузку;
• Работать с общебанковской data-платформой (data lake, dwh);
• Разрабатывать end-to-end пайплайны по сбору и обработке данных: выбирать оптимальный формат, структуру хранения и архитектуру интеграционных решений;
• Анализировать и оптимизировать производительность пайплайнов, инструментов и дата-сервисов;
• Развивать архитектуру данных и внедрять новые технологические решения и сервисы;
• Управлять обновлениями, настройками, устранять выявленные уязвимости, восстанавливать сервисы после сбоев, обрабатывать инциденты.
Обязательные требования:
• От 3-х лет коммерческого опыта на аналогичной должности.
• Знание и опыт в банковской предметной области.
• Знание SQL на уровне оптимизации сложных запросов.
• Знание принципов работы классических и MPP-СУБД.
• Опыт разработки на Python и/или Java, Scala.
• Опыт оркестрации ETL-пайплайнов с помощью Airflow.
• Опыт работы с dbt.
• Опыт работы с продуктами экосистемы Hadoop (HDFS, YARN, HIVE, Sqoop).
• Опыт Apache Spark (Spark DataFrames, Spark SQL).
Будет плюсом:
• Опыт работы с Kafka, Trino.
• Опыт работы с контейнерными технологиями и оркестрацией: kubernetes, helm.
• Знания и опыт CI/CD-практик и инструментов.
Условия:
• Удалённый формат работы.
• Полная занятость.
• Оформление по ИП, СМЗ, либо оплата криптовалютой USDT.
• Оплата 3000 - 3500$ net.
Буду рад ответить на вопросы и ознакомиться с резюме: @DmitriyPtolemay
Вакансия: Middle+ Data Engineer
Формат: Удалённый (аутстафф)
Занятость: Полная
Локация и гражданство: РФ, РБ
Оформление: ИП, СМЗ, либо оплата криптовалютой USDT
Длительность проекта: от года
Оплата: 3000 - 3500$ net.
Ptolemay - аутсорсинговая IT-компания полного цикла по разработке мобильных и веб-приложений для бизнеса и стартапов. Ищем Middle+ Data Engineer для долгосрочного аутстафф-проекта в банковской сфере.
Проект по разработке решения для xbrl отчетности по форме 577-п от ЦБ.
Стек на проекте:
Python, Trino, dbt, Airflow, Spark, Hadoop, Hive, Postgres, Greenplum, Kubernetes, Gitlab.
Задачи:
• Мигрировать процессы для отчетности и аналитики и настраивать их регламентную загрузку;
• Работать с общебанковской data-платформой (data lake, dwh);
• Разрабатывать end-to-end пайплайны по сбору и обработке данных: выбирать оптимальный формат, структуру хранения и архитектуру интеграционных решений;
• Анализировать и оптимизировать производительность пайплайнов, инструментов и дата-сервисов;
• Развивать архитектуру данных и внедрять новые технологические решения и сервисы;
• Управлять обновлениями, настройками, устранять выявленные уязвимости, восстанавливать сервисы после сбоев, обрабатывать инциденты.
Обязательные требования:
• От 3-х лет коммерческого опыта на аналогичной должности.
• Знание и опыт в банковской предметной области.
• Знание SQL на уровне оптимизации сложных запросов.
• Знание принципов работы классических и MPP-СУБД.
• Опыт разработки на Python и/или Java, Scala.
• Опыт оркестрации ETL-пайплайнов с помощью Airflow.
• Опыт работы с dbt.
• Опыт работы с продуктами экосистемы Hadoop (HDFS, YARN, HIVE, Sqoop).
• Опыт Apache Spark (Spark DataFrames, Spark SQL).
Будет плюсом:
• Опыт работы с Kafka, Trino.
• Опыт работы с контейнерными технологиями и оркестрацией: kubernetes, helm.
• Знания и опыт CI/CD-практик и инструментов.
Условия:
• Удалённый формат работы.
• Полная занятость.
• Оформление по ИП, СМЗ, либо оплата криптовалютой USDT.
• Оплата 3000 - 3500$ net.
Буду рад ответить на вопросы и ознакомиться с резюме: @DmitriyPtolemay
- python
- trino
- dbt
- airflow
- spark
- hadoop
- hive
- postgres
- greenplum
- kubernetes
- gitlab
- java
- scala
- kafka
- kubernetes
- helm
Оценка вакансии
100/100 · отлично
- Оценка описания недоступна
- Зарплатная вилка указана
- Компания и проект описаны
- Контакт HR подтверждён
- Стек описан подробно
- Формат работы понятен
Похожие вакансии
Senior Machine Learning Engineer (Computer Vision)
AI-балл 64/100infomedijidoo · Belgrade, Serbia
SeniorУдалённоpythoncpppytorch
Sr. Associate, Data Scientist
AI-балл 69/100revantage · United States of America
123 600 – 164 800 $
SeniorУдалённоazuregitlabml
Director, Data Science – Credit Risk & AI
AI-балл 64/100aquafinance · United States of America
LeadУдалённоpythonsqlmachine_learning
AI Systems Engineer
AI-балл 84/100Craftzing / Sagacify · Antwerp, Woluwe-Saint-Pierre
3 000 – 4 500 €
MiddleОфисpythonopenai_apihuggingface_transformers
Staff Data Scientist - Wildfire
AI-балл 64/100Overstory · Canada
SeniorУдалённоpythonpytorchscikit_learn