Senior Data Engineer
Требуемый опыт работы: 3–6 лет
Полная занятость, удаленная работа
Привет!
Мы — Кошелёк, приложение, которое заменяет бумажник с пластиковыми картами. Каждый день наша команда решает сложные задачи, чтобы покупки миллионов людей были проще.
Наши партнёры — торговые сети, банки и платёжные системы, а ещё мы занимаемся разработкой платёжных сервисов, с помощью которых Кошелёк превращается в универсальный инструмент для выгодного шоппинга.
Ежемесячно Кошельком пользуется 12,5 миллионов человек, в том числе наши друзья, родные и близкие. И это далеко не предел!
Присоединяйся к команде Кошелька и меняй мир покупок вместе с нами!
В Кошельке мы собираем и анализируем много разной информации. В данный момент у нас около 30 TB сжатых сырых данных и мы активно растем. У нас полностью потоковая обработка событий в реальном времени и хранилище в Яндекс Облаке. Активно интегрируемся в экосистему "Тинькофф".
Чем предстоит заниматься:
Всего у команды инженеров данных в нашей компании есть три направления работы:
1) Инфраструктура. Это поддержка всех наших серверов, сервисов и инструментов.
Сейчас у нас используются ClickHouse, Greenplum и MSSQL (постепенно отказываемся).
Потоковая обработка событий с использованием RabbitMQ, Kafka и Flink.
Сырые данные мы храним в Yandex Object Storage, а обрабатываем в Airflow.
Кроме того, есть и PowerBI, и Metabase, и Zeppelin, и Jupyter. Нужно следить за тем, чтобы это все работало и улучшать.
2) Data Pipelines. Управление потоками данных, наполнение Data Lake и DWH, создание детального слоя и витрин. Для этого используются Kafka, Flink и Airflow.
3) Автоматизация работы аналитиков. Сюда входит создание скриптов и инструментов, которые помогают автоматизировать рутинные задачи.
Что мы ждём от вас:
- Свободное владение SQL (на уровне оптимизации запросов);
- Опыт коммерческой разработки (предпочтительно на Python/Java);
- Опыт работы с потоками данных и их загрузкой (ETL, батчи, потоковая обработка);
- Опыт работы с MPP хранилищами (предпочтительно Greenplum и ClickHouse);
- Понимание принципов работы Big Data стека;
- Желателен опыт с Airflow, Flink и Kafka.
Со своей стороны предлагаем:
- возможность делать приложение, которым пользуется каждый четвёртый житель России;
- работу с сильной инженерной командой;
- оформление по ТК РФ с первого дня работы, конкурентную белую зарплату;
- ДМС со стоматологией и оплату мобильной связи;
- помощь с переездом для кандидатов из других городов (welcome бонус);
- гибкий график, возможность гибридной или полностью удалённой работы;
- оплату профильных курсов и конференций;
- спорт пять раз в неделю в офисе — йога, зумба, растяжка и силовые тренировки;
- командные мероприятия, экскурсии и тимбилдинги;
- мы регулярно проводим тематические митапы с экспертами, внутренние лекции для сотрудников, а также готовы инвестировать в профильное обучение и развитие сотрудников.
Ключевые навыки
Задайте вопрос работодателю
Где располагается место работы?Какой график работы?Вакансия открыта?Какая оплата труда?Как с вами связаться?Другой вопрос
Вакансия опубликована 19 марта 2023 в Санкт-Петербурге
Отзывы о компании
100%
Что говорят сотрудники
- Удаленная работа
- Своевременная оплата труда
- Наличие кухни, места для обеда