Мы занимаемся развитием и поддержкой платформы Big Data на vk.com. Она построена как на проверенных решениях с открытым исходным кодом (Hadoop, Kafka, Spark, Zeppelin), так и на собственных разработках, заточенных под работу 24/7 в условиях высоких нагрузок.
Самая большая социальная сеть России — самая большая Big Datа!
Kafka: ~1PB
HDFS: ~50PB
Clickhouse: ~3PB (nvme)
Для нас важно отлично разбираться в любом из этих инструментов. Любим Spark. Пишем на любых языках, но особенно на Java/Scala и Python.
Вам предстоит:
-
построение и управление командой из 3–8 Data-инженеров;
-
формирование архитектуры платформы хранения и обработки больших данных;
-
решение задач производительности и отказоустойчивости инфраструктуры Big Data.
Мы ожидаем, что у вас есть:
- опыт управления командой разработчиков;
-
хорошее знание Java/Scala, Phython;
-
знание принципов работы баз данных, распределенных систем хранения и обработки данных;
-
опыт работы и понимание внутреннего устройства: Hadoop, HDFS, Kafka, Spark, Zeppelin, Airflow, Zookeeper, Clickhouse.
Мы предлагаем:
-
сложные и интересные задачи: высоконагруженные быстрорастущие сервисы, которые задают уровень для конкурентов качеством и технологиями;
-
выбор: удаленка или уютный офис — в историческом центре Санкт-Петербурга или в небоскребе с шикарным видом на Москву;
-
дополнительное обучение за счет компании, занятия английским языком, участие в профессиональных конференциях и форумах по всему миру;
-
новый опыт: лучшие сотрудники преподают в наших образовательных проектах, выступают на российских и международных конференциях;
-
минимум бюрократии;
-
полный социальный пакет (спорт, ДМС, английский) и комфортные условия для работы и творчества.