Мы – команда, которая собирает, готовит и анализирует данные для принятия ключевых стратегических, оптимизационных и операционных решений в группе компаний. Среди задач, которые мы решаем:

• Сбор статистических данных из внутренних и внешних источников в наш data-lake на базе Hadoop (по заказу внутренних заказчиков и для реализации собственных идей);

• Создание подготовленных витрин данных для отделов бизнес/ финансовой аналитики и маркетинга;

• Создание витрин данных со статистикой внутренних операционных показателей (в т.ч. хостинга);

• Создание удобных инструментов для пользователей для работы с нашими решениями и статистикой;

• Сбор и подготовка данных из открытых источников;

• Переход от пакетного к потоковому сбору и обработке данных.

Сейчас мы ищем человека, с навыками в Data Engineering, готового участвовать в подготовке данных для внутренних пользователей. Плюсы – возможность развиваться в разных областях и много свободы для реализации своих идей и предложений.

Обязанности:

• Разработка и поддержка автоматизированных ETL/ELT процессов на Spark/Hadoop (интеграция источников данных в Data Lake, создание витрин данных под потребности пользователей и сервисов);

• Сбор, обработка и парсинг "сырых" данных;

• Написание сервисов для работы с внешними источниками/потребителями данных;

• Поддержка и развитие хранилища данных.

Must-have skills:

• Опыт промышленной разработки на Python;

• Уверенные знания SQL/оконные функции/CTE;

• Опыт работы с инструментами экосистемы Hadoop: Hive, Impala;

• Наличие опыта разработки на Python / разработки на pySpark;

• Опыт работы с Superset/Tableau;

• Опыт написания DAG в Airflow/Luigi/Preset;

• Знание основных понятий и концепций из области Data Warehousing;

• Опыт разработки витрин данных.

Несомненными плюсами будут:

• Опыт работы с docker, k8s, kafka;

• Опыт работы с нереляционными БД;

• Наличие профессионального интереса к развития архитектуры данных: хранение, транспортировка, обработка, применение, обеспечение AI/ML и DataOps;

• Удаленный формат работы
• График работы 5/2 с гибким началом рабочего дня
• ДМС, с телемедициной и льготной стоматологией, скидки на фитнес и англ.язык, корпоративное оборудование
• Также, участие в различных профессиональных митапах и конференциях.