Senior Data Engineer

Требуемый опыт работы: 3–6 лет

Полная занятость, полный день

Криптонит
4,8

Санкт-Петербург

Напишите телефон, чтобы работодатель мог связаться с вами

Чтобы подтвердить, что вы не робот, введите текст с картинки:
captcha

Команда департамента разработки создает аналитические системы на базе единой платформы, которые позволяют безопасно работать с данными независимо от их формата, метода хранения и эксплуатации. Платформа основана на концепции Infrastructure as Code (IAC) и состоит из нескольких независимых программных продуктов и сервисов на базе JVM/Scala и Kubernetes. Она обеспечивает высокий уровень потоковой обработки и хранения данных, управления доступом и метаданными, а также контролем их использования в периметре частных облачных сред.

Задачи:

  • Реализация компонентов платформы, связанных с обработкой больших данных
  • Реализация распределенных алгоритмов на больших данных и внедрение моделей машинного обучения
  • Формирование и обработка больших наборов данных
  • Участие в разработке архитектуры платформы

Технологический стек:

  • Языки программирования: Scala, Python
  • Обработка данных: Spark, Nifi, Airflow
  • Хранение данных: Kafka, S3, ClickHouse, Scylla, ElasticSearch, Opensearch, Milvus
  • Мониторинг: Grafana, Prometheus
  • Прочие технологии и фреймворки: Docker, Kubernetes (Openshift), Typelevel (Cats Effect,Circe, Doobie, Weaver), Finagle, Jackson, ScalaTest.

Наши ожидания:

  • Профильное образование: информационные технологии, статистика, математика
  • Опыт разработки на Scala или Java от от 3-х лет
  • Опыт работы по специальности от 5-ти лет
  • Знание особенностей реализации различных алгоритмов и структур данных
  • Опыт работы в команде

Будет плюсом:

  • Опыт работы с Apache Spark, Kafka, Nifi, Airflow
  • Опыт работы с распределенными БД: Cassandra, HBase, ElasticSearch и т.д.
  • Глубокое понимание особенностей архитектуры JVM
  • Интерес к технологиям Data Science, участие в конкурсах по машинному обучению

Что мы предлагаем:

Здоровье и спорт:

  • ДМС + стоматология
  • Корпоративные скидки в фитнес-клуб World Class
  • Корпоративный тариф на абонементы FITMOST
  • Спортивные мероприятия (турниры по футболу, волейболу, киберспорт, забеги)

Обучение и развитие:

  • Курсы английского языка, в том числе с носителем языка
  • Внешние курсы, сертифицированное обучение, которые вы выбираете сами
  • Возможность участия в конференциях в России и за рубежом
  • Экскурсии в Музей криптографии для сотрудников и их семей

Работа в удобном формате:

  • Дистанционная работа, в офисе или комбинированный формат

Программа релокации:

  • Оплата переезда в Москву или Санкт-Петербург для будущих сотрудников и их семей
  • Релокационный бонус для аренды жилья

Ключевые навыки

SCALA
Spark
Kubernetes
Docker
Apache Kafka

Задайте вопрос работодателю

Он получит его с откликом на вакансию

Где располагается место работы?Какой график работы?Вакансия открыта?Какая оплата труда?Как с вами связаться?Другой вопрос

Вакансия опубликована 21 февраля 2024 в Санкт-Петербурге

Отзывы о компании

4,8отлично
Оценка Dream Job

100%

Рекомендуют
Ваши отзывы помогают людям принимать взвешенные карьерные решения
Оставить отзыв

Что говорят сотрудники

Разработчик интерфейсов
Декабрь 2023
Отличная команда, есть возможности технического и картерного роста, свободный график
Хотите видеть здесь больше отзывов?
Дайте знать об этом — попросим работодателя открыть их

Похожие вакансии

Криптонит
4,8

Санкт-Петербург