Наша команда занимается разработкой и поддержкой программных продуктов для извлечения, трансформации, выгрузки и анализа данных.

Каждый день больше 40 000 000 активных пользователей играют в наши игры на всех мобильных платформах. Объем данных в нашем Data Lake больше 2.5 петабайт: маркетинговые метрики, игровые события, параметры операционной деятельности. Больше 1000 ETL-задач загружают, валидируют, трансформируют критичные для бизнеса данные.

Мы делаем всё возможное, чтобы не возникало ни малейших сомнений в полноте, актуальности и достоверности предоставляемых нами данных. Особое внимание мы уделяем скорости обработки и качеству данных. Все позволяет нам принимать верные решения относительно развития наших игр!

В нашу команду нужен Data Engineer, готовый помогать развивать наши продукты.

Наши задачи

• подготовка источников данных для заказчика - маркетинг и игровая аналитика;
• разработка конвейера поставки данных - Python-таски для трансформации и валидации данных. Описание DAG процессов для Luigi/Airflow;
• интеграция с сервисами партнеров для получения данных от них (рекламные сети, Appsflyer, Google, Remerge и тп);
• разработка инструментов контроля качества данных.

Наш стек

Наш основной язык программирования - Python. Для доступа к данным используем SQL. Datalake построен на S3, Parquet и Glue. В качестве DWH используем Redshift/Postgresql. Инфраструктура в AWS. CI/CD - TeamCity.

Мы ожидаем

• отличное знание Python, опыт разработки на нем, умение читать и анализировать чужой код;
• навыки написания и оптимизации SQL запросов, готовность углублять свои знания и писать код на SQL 50% времени;
• аналитические навыки работы с данными.

Будет плюсом

• опыт работы с AWS/Azure/GCP;

• опыт работы с системами управления ETL (Luigi, Airflow);

• знание Tableau, опыт работы с backend web-приложений (Django/Flask).