Senior Data Engineer

з/п не указана

Требуемый опыт работы: 3–6 лет

Полная занятость, удаленная работа

4,5
Санкт-Петербург, Чкаловская, Лодейнопольская улица

Привет!

Мы — Кошелёк, приложение, которое заменяет бумажник с пластиковыми картами. Каждый день наша команда решает сложные задачи, чтобы покупки миллионов людей были проще.

Наши партнёры — торговые сети, банки и платёжные системы, а ещё мы занимаемся разработкой платёжных сервисов, с помощью которых Кошелёк превращается в универсальный инструмент для выгодного шоппинга.

Ежемесячно Кошельком пользуется 12,5 миллионов человек, в том числе наши друзья, родные и близкие. И это далеко не предел!

Присоединяйся к команде Кошелька и меняй мир покупок вместе с нами!

В Кошельке мы собираем и анализируем много разной информации. В данный момент у нас около десяти терабайт сжатых сырых данных и мы активно растем. Инфраструктура почти не менялась с самого запуска приложения и уже не справляется с поставленными перед ней задачами.

Всего у команды инженеров данных в нашей компании есть три направления работы:

1) Инфраструктура. Это поддержка всех наших серверов, сервисов и инструментов.

Сейчас у нас используются MSSQL и Clickhouse.

Мы переезжаем на полностью новую инфраструктуру хранения и обработки данных.

До конца года мы хотим совсем отказаться от MSSQL и разгрузить Clickhouse от нетипичных для него задач. Для этого мы поднимаем Greenplum.

Сырые данные мы храним в Minio, а обрабатывают это все Airflow с Flink'ом.

Кроме того, есть и PowerBI, и Metabase, и Zeppelin, и Jupyter. Нужно следить за тем, чтобы это все работало и улучшать.

2) ETL/ELT. Управление потоками данных, наполнение Data Lake и DWH, создание витрин и подобное. Для этого используются Airflow и Flink.

3) Автоматизация работы аналитиков. Сюда входит создание скриптов и инструментов, которые помогают автоматизировать рутинные задачи.

Что ждём от вас:

  • опыт поддержки инфраструктуры данных (devops, аналитические базы данных, ETL-инструменты, BI-инструменты);
  • опыт коммерческой разработки (предпочтительно Python и Java);
  • опыт работы с потоками данных и их загрузкой (ETL, батчи, потоковая обработка);
  • понимание принципов работы big data стека;
  • опыт работы с терабайтами данных;
  • умение работать с аналитиками (запросы на витрины данных и автоматизацию);
  • желателен опыт администрирования и работы с Greenplum и Clickhouse;
  • желателен опыт с Airflow, Flink и Minio.

Со своей стороны предлагаем:

  • возможность делать приложение, которым пользуется каждый четвёртый житель России;
  • работу с сильной инженерной командой;
  • оформление по ТК РФ с первого дня работы, конкурентную белую зарплату;
  • ДМС со стоматологией и оплату мобильной связи;
  • помощь с переездом для кандидатов из других городов (welcome бонус);
  • гибкий график, возможность гибридной или полностью удалённой работы;
  • комфортный офис в центре города (5 минут от станции метро Чкаловская);

  • оплату профильных курсов и конференций;
  • спорт пять раз в неделю в офисе — йога, зумба, растяжка и силовые тренировки;
  • командные мероприятия, экскурсии и тимбилдинги;
  • мы регулярно проводим тематические митапы с экспертами, внутренние лекции для сотрудников, а также готовы инвестировать в профильное обучение и развитие сотрудников.

Ключевые навыки

Английский — B1 — Средний

Задайте вопрос работодателю

Он получит его с откликом на вакансию

Где располагается место работы?Какой график работы?Вакансия открыта?Какая оплата труда?Как с вами связаться?Другой вопрос

Адрес

Санкт-Петербург, Чкаловская, Лодейнопольская улица

Вакансия опубликована 26 сентября 2022 в Санкт-Петербурге

Отзывы о компании

4,5отлично
Оценка Dream Job

100%

Рекомендуют
Ваши отзывы помогают людям принимать взвешенные карьерные решения
Оставить отзыв

Что говорят сотрудники

Преимущества и льготы
  • Своевременная оплата труда
  • Удобное расположение работы
  • Удаленная работа
Java-разработчик
Октябрь 2021
Супер-команда, со всеми приятно работать и просто общаться вне работы. Интересные и инновационные проекты в области финтеха.
Войдите, чтобы увидеть все отзывы
Войти

Похожие вакансии

Санкт-Петербург, Чкаловская
Будьте первыми
Можно из дома
2) ETL/ELT. Управление потоками данных, наполнение Data Lake и DWH, создание витрин и подобное. Для этого используются Airflow и...
До конца года мы хотим совсем отказаться от MSSQL и разгрузить Clickhouse от нетипичных для него задач. Для этого мы...
Санкт-Петербург
Будьте первыми
Можно из дома
Архитектурная проработка, проведение PoC, разработка и улучшение наших сервисов. Контроль выполнения задач, работа с рисками. Найм, развитие, оценка и мотивация...
Опыт управления командой от 2 лет (6+ человек). Отличное знание Python, опыт разработки на нем, умение читать и анализировать...
Санкт-Петербург
Можно из дома
Разработка ETL/ELT. —Разработка слоев данных DWH, витрин DM. —Описание разработок в Confluence; Оформление работ в Jira. —Участие в выборе...
Профилирование/Понимание данных в системах источниках. — Уверенные навыки работы с одной современной СУБД (GreenPlum, PostgreSQL, MS SQL Server, Oracle, Teradata...
Санкт-Петербург
Можно из дома
Точная геолокация, анализ активности ребёнка и контроль окружения ребенка для того, чтобы помочь родителям обеспечивать безопасность детей. Аналитика использования приложений...
Владение Python. Умение разрабатывать и оптимизировать ETL-процессы (пакетные и потоковые). Умение составлять и оптимизировать SQL запросы. Умение собирать требования...
Санкт-Петербург
Можно из дома
Участие в разработке ядра продуктов Data Platform. Разработка и оптимизация процессов выгрузки данных.
Знание одного из языков программирования: Python, Java, Go. Знание основ ООП, теории алгоритмов, структур данных. Знание SQL. Опыт написания процессов...
Санкт-Петербург
Будьте первыми
Можно из дома
Наша команда занимается разработкой и поддержкой программных продуктов для извлечения, трансформации, выгрузки и анализа данных. Архитектурная проработка, проведение PoC, разработка...
Опыт управления командой от 2 лет (6+ человек). Отличное знание Python, опыт разработки на нем, умение читать и анализировать...
4,5
Санкт-Петербург, Чкаловская, Лодейнопольская улица