Программист-разработчик (hadoop)

з/п не указана

Требуемый опыт работы: 1–3 года

Полная занятость, полный день

BIA-Technologies — бизнес-интегратор и разработчик программного обеспечения. Мы создаём удобные решения для эффективного бизнеса наших клиентов.

100Крупных проектов в год

2 000 000Пользователей

12 летработы

500сотрудников

Мы расширяем команду и находимся в поиске разработчика-эксперта для развития больших данных с помощью фреймворка Hadoop.

Что мы делаем:

Решаем сложные задачи, связанные с логистикой, например, задачи построения оптимальных маршрутов или определение манеры вождения водителя по данным с GPS-датчиков.

Наш стек:

  • Hadoop (HDFS, Kafka, Hive)
  • ETL Talend
  • Java, Scala, Python
  • RDBMS: MSSQL Server и PostgreSQL
  • BI: QlikView, Power BI
  • Docker, Kubernetes

У нас амбициозные задачи:

  • Развитие инфраструктуры Hadoop (выбор, обоснование и внедрение технологий, реорганизация Hadoop в соответствии с потребностями бизнеса и т.д.)
  • Взаимодействие с системными аналитиками, бизнес-аналитиками и заказчиками
  • Оценка состава и сроков работ, а также трудоемкости на доработку систем
  • Участие в составлении планов проектов, оценка проектных сроков и рисков, подготовка проектной документации по Hadoop
  • Выявление и управление техническими рисками работы компонентов Hadoop
  • Решение вопросов интеграции с системами-источниками
  • Разработка процедур для обеспечения качества данных
  • Разработка и внедрение внутренних стандартов разработки ПО
  • Проведение мониторинга и оптимизации механизмов систем для обеспечения должной производительности
  • Проектирование и разработка новой функциональности на базе Hadoop
  • Разработка процессов и внедрение CI/CD совместно с DevOps

Требования:

• Опыт работы с Hadoop и его экосистемой Hive, Spark, Kafka, Airflow и т.д.
• Знание SQL
• Опыт программирования на Java, Scala, Python
• Отличное понимание процессов ETL/ELT и как их применять
• Понимание принципов CI/CD
• Широкий кругозор в технологиях хранения, обработки и анализа данных (СУБД, ETL-инструменты, BI-решения и т.д.)
• Аналитический склад ума

Будет преимуществом:
• Опыт в администрировании Linux
• Опыт работы с RDBMS: MSSQL Server и/или PostgreSQL
• Опыт работы с ETL Talend
• Опыт работы с Docker, Kubernetes
• Опыт в областях: машинное обучение, интеллектуальный анализ данных, рекомендательные системы

Условия:

  • Бесценный опыт работы над интересными проектами в сильной команде экспертов
  • Достойный уровень заработной платы, официальное оформление, социальные гарантии
  • Комфортные условия: гибкий график работы, свободный дресс-код, кофе-поинты на каждом этаже с чаем/какао/кофе, игровая зона для активных перерывов, спортзал в офисе
  • Бизнес центр класса "А" (Московский проспект, м. Фрунзенская), полная инфраструктурная обеспеченность: паркинг, несколько точек общественного питания, кафетерий, вендинговые аппараты

Ключевые навыки

Python
Java
PostgreSQL
SQL
SCALA
Hadoop
Spark
Kafka
Airflow
Hive

Вакансия опубликована 20 июля 2020 в Санкт-Петербурге

Похожие вакансии