Компания IT1 расширяет команду и ищет разработчиков для создания и развития big data платформы для крупнейшей логистической компании России. Платформа позволяет обрабатывать до 500 млн. событий в сутки и активно развивается.

Стек:
Streaming: Kafka, Spark Streaming, Flink
Batch: Flink, Spark (DF, Scala), Hive, HDFS
DataLake c выделенными слоями STG, ODS и DDS
Автоматизированная генерация рутинного кода SQL
Оркестрация на Oozie (в планах airflow) + Kubernetes
Базы данных: Vertica, Cassandra, ClickHouse, KSQL DB

Команда
Состав подгруппы разработки:
8 разработчиков, 6 из них - Senior Data Engineer + Scala

Отдельные подгруппы аналитиков, тестировщиков, экспертов поддержки и релиз-инженер
Команда Devops выделена, помогает команде разработки и тестирования c инфраструктурой и CD/CD

Методология разработки ПО:
Scrum для разработки
Kanban для поддержки 3й линии.

Возможна удаленная работа.

Обязанности:

• Разработка фичей для платформы, фреймворков, затрагивающих батч и стриминг
• Рефакторинг, оптимизация кода, code coverage
• Классические задачи Data Engineering: интеграции, конвертации, streaming и батч обработка, построение базовых слоев данных DataLake
• Проработка и реализация интеграционных решений с источником в Kafka, REST, FTP и получателем HDFS, формированием ODS, DDS
• Прототипирование и оценка новых open source frameworks и in house solutions

Требования:
  • ​​​​​​​Хорошие знания одного из языков Java, Scala
  • Опыт работы с обработкой данных (Spark, Hive или MapReduce)
  • Опыт работы и хорошие знания SQL
  • Опыт работы с любой очередью (Kafka, IBM MQ, Rabbit MQ или др.)

Scala Developer

В архиве с 11 декабря 2021
з/п не указана

Вакансия в архиве

Работодатель, вероятно, уже нашел нужного кандидата и больше не принимает отклики на эту вакансию

Показать описание вакансии

Похожие вакансии