Senior Data Engineer/Data Engineer

з/п не указана

Требуемый опыт работы: 3–6 лет

Полная занятость, удаленная работа

Мы разрабатываем аналитические системы на базе единой платформы, которые позволяют безопасно работать с данными независимо от их формата, метода хранения и эксплуатации. Платформа основана на концепции Infrastructure as Code (IAC) и состоит из нескольких независимых программных продуктов и сервисов на базе JVM/Scala и Kubernetes. Она обеспечивает высокий уровень потоковой обработки и хранения данных, управления доступом и метаданными, а также контролем их использования в периметре частных облачных сред.

Для участия в разработке аналитической платформы требуется Data Engineer.

Технологический стек:

  • Языки программирования: Scala, Python
  • Обработка и хранение данных: Spark, Flink, Kafka, ClickHouse, Cassandra, ElasticSearch
  • Прочие технологии и фреймворки: Finagle, Jackson, ScalaTest, Docker

Задачи:

  • Реализация компонентов платформы, связанных с обработкой больших данных
  • Реализация распределенных алгоритмов на больших данных и внедрение моделей машинного обучения
  • Формирование и обработка больших наборов данных
  • Участие в разработке архитектуры платформы

Наши ожидания:

  • Профильное образование: информационные технологии, статистика, математика
  • Опыт работы по специальности от 3-х лет (для Senior Data Engineer от 5 лет)
  • Опыт разработки на Scala или Java от 1-го года (для Senior Data Engineer от 3-х лет)
  • Знание особенностей реализации различных алгоритмов и структур данных
  • Опыт работы в команде

Будет плюсом:

  • Опыт работы с Apache Spark, Flink, Kafka
  • Опыт работы с распределенными БД: Cassandra, HBase, ElasticSearch и т.д
  • Глубокое понимание особенностей архитектуры JVM
  • Интерес к технологиям Data Science, участие в конкурсах по машинному обучению

Что мы предлагаем:

  • Оформление в соответствии с ТК РФ

  • Индивидуальный график для совмещения с научной и преподавательской деятельностью
  • ДМС + стоматология
  • Корпоративные скидки в фитнес-клуб World Class
  • Корпоративный тариф на абонементы FITMOST
  • Спортивные мероприятия (турниры по футболу, волейболу, киберспорт, забеги)
  • Курсы английского языка, в том числе с носителем языка
  • Возможность участия в профессиональных конференциях в России и зарубежом
  • Корпоративные скидки в фитнес-клуб World Class
  • Внешние курсы, сертифицированное обучение, которые вы выбираете сами
  • Экскурсии в Музей криптографии для сотрудников и их семей
  • Релокационный пакет для специалистов из других регионов
  • Работу дистанционно, в офисе или комбинированный формат

Ключевые навыки

SCALA
Kafka
Clickhouse
Cassandra
Data Engineering
Python
DWH
ETL
SQL
Finagle

Задайте вопрос работодателю

Он получит его с откликом на вакансию

Где располагается место работы?Какой график работы?Вакансия открыта?Какая оплата труда?Как с вами связаться?Другой вопрос

Адрес

Санкт-Петербург, Василеостровская, Уральская улица, 4

Вакансия опубликована 27 февраля 2023 в Санкт-Петербурге

Отзывы о компании

4,9отлично
Оценка Dream Job

100%

Рекомендуют
Ваши отзывы помогают людям принимать взвешенные карьерные решения
Оставить отзыв

Что говорят сотрудники

Преимущества и льготы
  • Своевременная оплата труда
  • Удобное расположение работы
  • Удаленная работа
Фронтенд-разработчик
Ноябрь 2022
Коллектив - лучшая команда фронтов ever, добрая уютная атмосфера, классные руководители, налаженные коммуникации, понятные и прозрачные процессы. Классный офис с кофе и печеньками, всякие разные бонусы. Тебя всегда услышат, бюрократия если есть, то не ощущается совсем, никак. Просто лучшие
Войдите, чтобы увидеть все отзывы
Войти

Похожие вакансии

Откликнитесь среди первых
Проектирование и разработка SQL-процедур, обработчиков данных на Spark (Scala) и ETL-процессов (в т.ч. AirFlow). Оптимизация производительности кода.
Какие знания и навыки для нас важны: Опыт работы с инструментарием Hadoop (HDFS, Yarn, Spark, Hive). Опыт работы с промышленными...
Откликнитесь среди первых
Управление командой разработки бэкендов, обеспечение ее работоспособности и эффективности. Плотное взаимодействие с сотрудниками: поддержание мотивации, проведение 1-1, участие в...
Опыт управления командой не менее 2 лет. Роль предполагает хорошие знания C++17 и STL, наличие опыта коммерческой разработки от...
Проектированием нейросети, доработкой готовых моделей новыми слоями. Писать промты. Подготовкой обучающей выборки, организацией процесса ручной разметки, в т.ч.
Опыт работы с машинным обучением и искусственным интеллектом, включая знание алгоритмов, таких как нейронные сети, сверточные и рекуррентные архитектуры, а...
Откликнитесь среди первых
Интересные проекты и современный стек (Celery, FastAPI, Tornado, PostgreSQL, RabbitMQ, Docker. Для разработки используем VS Code, Gitlab, Jira, Confluence).
Нестандартные решения и желание экспериментировать. Успешный опыт в разработке на Python 3.* (скоринговых карт, анти-фрод решений, интеграционной шины).
Откликнитесь среди первых
Разработкой высокопроизводительных data path, control/management path, уровня data protection и кластерных компонентов для системы хранения данных. Разработкой эффективных алгоритмов...
Понимание устройства современных компьютеров и операционных систем в целом. Знание С и C++11/14/17. Отличное понимание как устроен...
Санкт-Петербург
Откликнитесь среди первых
Разработка микросервисной архитектуры приложения. Формирование бэклога задач для разработчиков. Обеспечение команды всем необходимым в техническом отношении. Планирование, внедрение и контроль...
Опыт работы с Node.JS от 5-х лет. Опыт разработки архитектуры приложений. Опыт работы с Nest.JS. Опыт работы с реляционными...