Senior Data Engineer/Data Engineer

з/п не указана

Требуемый опыт работы: 3–6 лет

Полная занятость, удаленная работа

Мы разрабатываем аналитические системы на базе единой платформы, которые позволяют безопасно работать с данными независимо от их формата, метода хранения и эксплуатации. Платформа основана на концепции Infrastructure as Code (IAC) и состоит из нескольких независимых программных продуктов и сервисов на базе JVM/Scala и Kubernetes. Она обеспечивает высокий уровень потоковой обработки и хранения данных, управления доступом и метаданными, а также контролем их использования в периметре частных облачных сред.

Для участия в разработке аналитической платформы требуется Data Engineer.

Технологический стек:

  • Языки программирования: Scala, Python.
  • Обработка и хранение данных: Spark, Flink, Kafka, ClickHouse, Cassandra, ElasticSearch.
  • Прочие технологии и фреймворки: Finagle, Jackson, ScalaTest, Docker.

Задачи:

  • Реализация компонентов платформы, связанных с обработкой больших данных.
  • Реализация распределенных алгоритмов на больших данных и внедрение моделей машинного обучения.
  • Формирование и обработка больших наборов данных.
  • Участие в разработке архитектуры платформы.

Наши ожидания:

  • Профильное образование: информационные технологии, статистика, математика.
  • Опыт работы по специальности от 3-х лет (для Senior Data Engineer от 5 лет).
  • Опыт разработки на Scala или Java от 1-го года (для Senior Data Engineer от 3-х лет).
  • Знание особенностей реализации различных алгоритмов и структур данных.
  • Опыт работы в команде.

Будет плюсом:

  • Опыт работы с Apache Spark, Flink, Kafka.
  • Опыт работы с распределенными БД: Cassandra, HBase, ElasticSearch и т.д.
  • Глубокое понимание особенностей архитектуры JVM.
  • Интерес к технологиям Data Science, участие в конкурсах по машинному обучению.

Что мы предлагаем:

  • Работу в развивающейся технологической компании.

  • Комфортные рабочие места в современном офисе, зона отдыха.
  • Оформление в соответствии с ТК РФ.
  • Заработную плату на уровне лидеров индустрии.
  • Гибкий график для совмещения с научной и преподавательской деятельностью.
  • ДМС + стоматология. Тестирование на COVID в медцентрах, в офисе и на дому.
  • Курсы английского языка, в том числе с носителем языка.
  • Возможность участия в профессиональных конференциях.
  • Корпоративные скидки в фитнес-клуб World Class.
  • Спортивные активности.
  • Релокационный пакет для специалистов из других регионов.
  • Работу дистанционно, в офисе или комбинированный формат.

Ключевые навыки

SCALA
Kafka
Clickhouse
Cassandra
Data Engineering
Python
DWH
ETL
SQL
Finagle

Адрес

Василеостровская, Санкт-Петербург, Уральская улица, 4
Показать на большой карте

Вакансия опубликована 20 июня 2022 в Санкт-Петербурге

Отзывы о компании

4,8отлично
Оценка Dream Job

100%

Рекомендуют
Ваши отзывы помогают людям принимать взвешенные карьерные решения
Оставить отзыв о компании

Что говорят сотрудники

Преимущества и льготы
  • Своевременная оплата труда
  • Удобное расположение работы
  • Удаленная работа
Отзыв сотрудника
Июнь 2022
Хороший коллектив который всегда поможет. Добрая атмосфера. Хорошая зп. интересные проекты.
Войдите, чтобы увидеть все отзывы
Войти

Похожие вакансии

Можно работать из дома
Санкт-Петербург
Участвовать в работах по развитию корпоративного ХД на базе PostgreSQL и SQL Server. Разрабатывать и эксплуатировать ETL-процедуры с использованием...
Опыт выстраивания ETL-процессов. Знание на высоком уровне SQL/T-SQL (аналитические оконные функции). Опыт работы с PostgreSQL, Мicrosoft SQL...
Можно работать из дома
Санкт-Петербург
Работа с большими данными на входе. Развитие культуры визуализации информации. Кросс-валидация по различным источникам. Формирование и ревью схемы данных...
Опыт работы с Tableau. Хорошее знание SQL. Понимание ООП, design patterns. Опыт работы с Docker. Опыт работы с UNIX-based...
Можно работать из дома
Санкт-Петербург
Участие в разработке ядра продуктов Data Platform. Разработка и оптимизация процессов выгрузки данных.
Знание одного из языков программирования: Python, Java, Go. Знание основ ООП, теории алгоритмов, структур данных. Знание SQL. Опыт написания процессов...
Можно работать из дома
Санкт-Петербург
Будьте первыми
Миграционные задачи: перенос существующих витрин на фреймворк SDP Hadoop. Развитие и внедрение продуктов Сбербанка.
Опыт работы от 2х лет. Навыки программирования на Java. Наличие практического опыта работы с Hadoop (Hive, Impala, sqoop, oozie...
Можно работать из дома
Санкт-Петербург
Сбор статистических данных из внутренних и внешних источников в наш data-lake на базе Hadoop (по заказу внутренних заказчиков и...
Опыт промышленной разработки на Python. Уверенные знания SQL/оконные функции/CTE. Опыт работы с инструментами экосистемы Hadoop: Hive, Impala.
Можно работать из дома
Санкт-Петербург
Будьте первыми
Подготовка и сопровождение инфраструктуры для ETL\ELT\CDC инструментов и оперативного хранилища данных (совместно с DevOps инженерами компании).
Практический опыт работы с реляционными СУБД (знание принципов работы, опыт написания SQL-запросов, опыт в оптимизации производительности БД, мониторинг работы...