Senior Data Engineer

з/п не указана

Требуемый опыт работы: 3–6 лет

Полная занятость, удаленная работа

Привет!

Мы — Кошелёк, приложение, которое заменяет бумажник с пластиковыми картами. Каждый день наша команда решает сложные задачи, чтобы покупки миллионов людей были проще.

Наши партнёры — торговые сети, банки и платёжные системы, а ещё мы занимаемся разработкой платёжных сервисов, с помощью которых Кошелёк превращается в универсальный инструмент для выгодного шоппинга.

Ежемесячно Кошельком пользуется 12,5 миллионов человек, в том числе наши друзья, родные и близкие. И это далеко не предел!

Присоединяйся к команде Кошелька и меняй мир покупок вместе с нами!

В Кошельке мы собираем и анализируем много разной информации. В данный момент у нас около 30 TB сжатых сырых данных и мы активно растем. У нас полностью потоковая обработка событий в реальном времени и хранилище в Яндекс Облаке. Активно интегрируемся в экосистему "Тинькофф".

Чем предстоит заниматься:

Всего у команды инженеров данных в нашей компании есть три направления работы:

1) Инфраструктура. Это поддержка всех наших серверов, сервисов и инструментов.

Сейчас у нас используются ClickHouse, Greenplum и MSSQL (постепенно отказываемся).

Потоковая обработка событий с использованием RabbitMQ, Kafka и Flink.

Сырые данные мы храним в Yandex Object Storage, а обрабатываем в Airflow.

Кроме того, есть и PowerBI, и Metabase, и Zeppelin, и Jupyter. Нужно следить за тем, чтобы это все работало и улучшать.

2) Data Pipelines. Управление потоками данных, наполнение Data Lake и DWH, создание детального слоя и витрин. Для этого используются Kafka, Flink и Airflow.

3) Автоматизация работы аналитиков. Сюда входит создание скриптов и инструментов, которые помогают автоматизировать рутинные задачи.

Что мы ждём от вас:

  • Свободное владение SQL (на уровне оптимизации запросов);
  • Опыт коммерческой разработки (предпочтительно на Python/Java);
  • Опыт работы с потоками данных и их загрузкой (ETL, батчи, потоковая обработка);
  • Опыт работы с MPP хранилищами (предпочтительно Greenplum и ClickHouse);
  • Понимание принципов работы Big Data стека;
  • Желателен опыт с Airflow, Flink и Kafka.

Со своей стороны предлагаем:

  • возможность делать приложение, которым пользуется каждый четвёртый житель России;
  • работу с сильной инженерной командой;
  • оформление по ТК РФ с первого дня работы, конкурентную белую зарплату;
  • ДМС со стоматологией и оплату мобильной связи;
  • помощь с переездом для кандидатов из других городов (welcome бонус);
  • гибкий график, возможность гибридной или полностью удалённой работы;
  • оплату профильных курсов и конференций;
  • спорт пять раз в неделю в офисе — йога, зумба, растяжка и силовые тренировки;
  • командные мероприятия, экскурсии и тимбилдинги;
  • мы регулярно проводим тематические митапы с экспертами, внутренние лекции для сотрудников, а также готовы инвестировать в профильное обучение и развитие сотрудников.

Ключевые навыки

DWH
Big Data
ETL
Java
Python
ClickHouse
Greenplum
Airflow
Английский — B1 — Средний

Задайте вопрос работодателю

Он получит его с откликом на вакансию

Где располагается место работы?Какой график работы?Вакансия открыта?Какая оплата труда?Как с вами связаться?Другой вопрос

Адрес

Санкт-Петербург, Чкаловская, Лодейнопольская улица

Вакансия опубликована 19 марта 2023 в Санкт-Петербурге

Отзывы о компании

4,6отлично
Оценка Dream Job

100%

Рекомендуют
Ваши отзывы помогают людям принимать взвешенные карьерные решения
Оставить отзыв

Что говорят сотрудники

Преимущества и льготы
  • Удаленная работа
  • Своевременная оплата труда
  • Наличие кухни, места для обеда
Старший инженер-программист
Март 2023
Открытость, хорошие условия труда, сплочённая команда, проекта компания пытается решить проблемы сотрудников
Войдите, чтобы увидеть все отзывы
Войти

Похожие вакансии

Откликнитесь среди первых
Проектирование и разработка SQL-процедур, обработчиков данных на Spark (Scala) и ETL-процессов (в т.ч. AirFlow). Оптимизация производительности кода.
Какие знания и навыки для нас важны: Опыт работы с инструментарием Hadoop (HDFS, Yarn, Spark, Hive). Опыт работы с промышленными...
Санкт-Петербург, Выборгская и еще 2 
Создание единого пайплайна обновления отчетности на базе Airflow + Clickhouse + Postgres. Создание витрин с разными слоями данных (сырые данные...
Уверенное владение Python. Владение SQL, понимание принципов оптимизации запросов и организации хранения данных. Автономность и проактивность в работе - умение находить...
Санкт-Петербург
Взаимодействие с техническими писателями по своему направлению работ. Разработка программного обеспечения согласно проекту и/или техническому заданию. Решение технических проблем...
Уверенные знания SQL, PL/SQL (Oracle)/PostgreSQL. Знание системных библиотек или расширений БД Oracle/PostgreSQL. Опыт работы с большими объёмами...
Откликнитесь среди первых
Администрирование серверов PostgreSQL. Решение возникающих инцидентов с СУБД и их последующий анализ. Развертывание и настройка новых серверов и отказоустойчивых конфигураций...
Опыт работы c Postgres от трёх лет. Глубокие знания принципов работы СУБД, запросы, планы выполнения, индексы. Опыт работы с Linux...
настраивать биллинг при внедрении в компаниях по всему миру (без выезда). — поддерживать работу уже внедренного биллинга. — участвовать в решении сложных...
умение установить и настроить приложение в консоли Linux. — знание основ языка запросов SQL (опыт работы с любой СУБД будет плюсом). —
Откликнитесь среди первых
Проектирование и разработка SQL-процедур, обработчиков данных на Spark (Scala) и ETL-процессов (в т.ч. AirFlow). Оптимизация производительности кода.
Какие знания и навыки для нас важны: Опыт работы с инструментарием Hadoop (HDFS, Yarn, Spark, Hive). Опыт работы с промышленными...