Data Engineer

з/п не указана

Требуемый опыт работы: 1–3 года

Полная занятость, удаленная работа

Data-Driven Lab
4,1

Санкт-Петербург

О нас:

Data Driven Lab – высокотехнологичная продуктовая компания с головным офисом в Белграде. Сегодня наша команда насчитывает более 450 человек в 15 странах. Основные регионы присутствия DDL – Азия, Южная Америка, Африка, Европа и Океания.

Мы используем передовые практики и реализуем масштабные проекты: наши продукты переведены на 21 язык и представлены более чем в 150 странах. Наши решения основаны на анализе данных, исследованиях и стремлении к тому, чтобы стать еще эффективнее. В своей работе мы используем современные аналитические инструменты, прогрессивные методы, передовые технологии и ML.

Тебе предстоит:

  • Проектирование решения DWH / DataLake (на базе облачного Databricks), участие в проработке архитектуры и логики сервисов сбора данных совместно с командами разработки и аналитики
  • Создание интеграционных сценариев для сбора, хранения, обработки, очистки и обогащения данных. Желательно иметь опыт с полным циклом работы с данными (CRISP-DM)
  • Валидация, оптимизация и внедрение моделей расчета аналитических показателей
  • Создание и поддержка ETL-процессов, настройка сопутствующего мониторинга и алертинга, контроль качества доставки данных
  • Описание моделей данных, их происхождения; составление сопутствующей документации
  • Контроль доступа к данным и мониторинг безопасности данных в облачном хранилище
  • Разработка механизмов нормализации очистки/дедупликации необработанных данных на этапах ETL-трансформации или загрузки данных в хранилище
  • Поддержка по части технических проблем и потребностей, связанных с данными облачного хранилища
  • Активное взаимодействие с разными командами аналитиков внутри компании

Основная задача проекта: построение прогнозных моделей вероятности
конверсий в депозиты и размеров Revenue, LTV и CAC, а также других аналитических
решений для финансовых KPI компании.

Мы ожидаем от тебя:

  • Релевантный опыт работы от 2х лет в роли Data engineer
  • Опыт работы с базами данных и хранилищами широкого профиля (PostgreSQL, MySQL, MongoDB, Elasticsearch, Greenplum)
  • Опыт применения языков программирования (Scala, Python) для обработки больших массивов данных (Jupyter Notebooks, Scala, Hadoop,BigQuery)
  • Опыт преобразования сырых данных (событийных) согласно бизнес-логике заказчика в табличные данные для аналитики
  • Опыт построения и оптимизации ETL-процессов, включающих множество трансформаций
  • Самостоятельность, творческий и аналитический подход к решению задач.

Будет плюсом:

  • Экспертный уровень владения языком запросов SQL
  • Опыт работы с брокерами сообщений (Kafka, RabbitMQ), понимание принципов построения отказоустойчивых кластеров
  • Опыт работы с облачными решениями (GCP/Azure) и их администрирование (DevOps, Solution Architect)

С каким стеком предстоит работать:

  • Databricks с интеграцией в инфраструктуру GCP
  • PostgreSQL
  • Apache Airflow, DBT
  • Kafka, RabbitMQ
  • Scala, Python, SQL
  • Jira, Confluence, Git

Мы предлагаем:

Релокацию. Возможность релокации в Сербию (на нас: билеты, аренда жилья, подъемные, полное сопровождение официального оформления).

Стабильность. Конкурентная з/п в евро, продвинутая система бенефитов (медицина, спорт)

Развитие экспертизы. Возможности для нетворкинга, обмена опытом, внутреннего и внешнего обучения за счет компании.Возможность писать статьи и получать за это вознаграждение, выступать на профильных мероприятиях.

Возможность влиять на результат. Отсутствие бюрократии и необходимости большого количества согласований. Можно легко повлиять на развитие и выстраивание глобальных процессов.

Комфортные условия. Гибридный график – можно совмещать работу в офисе с удаленкой.

Welcome to DDL!

Ключевые навыки

Python
SQL
SCALA
Databricks

Задайте вопрос работодателю

Он получит его с откликом на вакансию

Где располагается место работы?Какой график работы?Вакансия открыта?Какая оплата труда?Как с вами связаться?Другой вопрос

Вакансия опубликована 1 февраля 2023 в Санкт-Петербурге

Отзывы о компании

4,1очень хорошо
Оценка Dream Job

67%

Рекомендуют
Ваши отзывы помогают людям принимать взвешенные карьерные решения
Оставить отзыв

Что говорят сотрудники

Преимущества и льготы
  • Своевременная оплата труда
  • Наличие кухни, места для обеда
  • Оплата больничного
Отзыв сотрудника
Январь 2023
Конкурентный уровень дохода, хороший офис и условия труда. Иногда были интересные задачи. Хороший коллектив (коллеги).
Войдите, чтобы увидеть все отзывы
Войти

Похожие вакансии

Откликнитесь среди первых
Можно из дома
Проектирование и разработка SQL-процедур, обработчиков данных на Spark (Scala) и ETL-процессов (в т.ч. AirFlow). Оптимизация производительности кода.
Какие знания и навыки для нас важны: Опыт работы с инструментарием Hadoop (HDFS, Yarn, Spark, Hive). Опыт работы с промышленными...
Откликнитесь среди первых
Можно из дома
Реализация сервисов потоковой (near-realtime) обработки данных. Разработка компонентов ETL-фреймворка. Участие в развитии процессов и фрэймворков команды разработки.
Опыт разработки с использованием Apache Spark. Опыт и навыки работы с реляционными базами данных. Знание базовых алгоритмов и структур данных.
Откликнитесь среди первых
Можно из дома
Проектирование и разработка SQL-процедур, обработчиков данных на Spark (Scala) и ETL-процессов (в т.ч. AirFlow). Оптимизация производительности кода.
Какие знания и навыки для нас важны: Опыт работы с инструментарием Hadoop (HDFS, Yarn, Spark, Hive). Опыт работы с промышленными...
Можно из дома
Работать с базами данных SQL и NoSQL, масштабировать и шардировать их. Обрабатывать массивы данных с учётом eventual consistency и других...
Санкт-Петербург
Откликнитесь среди первых
Можно из дома
Подготовка источников данных для заказчика - маркетинг и игровая аналитика. Разработка конвейера поставки данных в виде DAG процессов для Airflow/Luigi.
Технический бэкграунд в Python от 5 лет: навык проектирования фреймворков и библиотек, умение читать и анализировать код, опыт профилирования и...

Data Engineer (удалённо)

до 180 000 руб.
Санкт-Петербург
Можно из дома
Разработка конвейеров данных ETL / ELT и их хранение (например, Apache Airflow). - Настройка цепочки SQL-запросов и подготовки витрин данных для...
Опыт в аналогичной должности от 2х лет. - Владение Python. - Знание SQL и опыт работы с различными СУБД, реляционными, нереляционными...