Java-разработчик в Поиск

з/п не указана

Требуемый опыт работы: 1–3 года

Полная занятость, полный день

Mail.ru Group

Мы делаем современные и быстрые интернет-сервисы, которые помогают миллионам пользователей. С нами люди работают, решают бытовые задачи, учатся и развлекаются. Мы делаем их жизнь радостней и удобней. Более 90% пользователей Рунета выбирают продукты Mail.ru Group.

Мы собрали команду профессионалов из самых разных областей. Это эксперты, которые умеют реализовывать необычные и сложные идеи и задачи. Вместе мы используем передовые технологии и учим их работать на благо общества. Развиваем интернет и определяем его будущее.

Мы всегда рады профи, которые разделяют наши стремления, кому интересны наши задачи, кого не пугают вызовы и заводит наш драйв. Тем, у кого достаточно амбиций, чтобы каждый день вместе с нами формировать будущее интернета.

Поиск Mail.Ru ― это полноценная поисковая система рунета, в которой проиндексированы 5 миллиардов документов и которая отвечает на десятки миллионов запросов в сутки. Кроме поиска по вебу у нас есть поиски по картинкам, видео, новостям, обсуждениям и т.п. Мы работаем с самыми современными технологиями, используем Hadoop и HBase для подготовки данных, применяем разнообразные методы искусственного интеллекта и машинного обучения, активно используем статистическую лингвистику.

Спайдер является основным источником данных для поисковой системы. Он постоянно обходит весь Интернет, скачивая веб-страницы и обнаруживая новые публикации.
Чтобы хорошо выполнять эту работу, спайдер должен соответствовать широкому набору требований. Он должен обеспечивать большую пропускную способность, соответствующую масштабам Интернета. Не менее важна скорость доставки документов в индекс. При этом следует соблюдать правила обхода сайтов, не перегружая их.

Команда спайдера разрабатывает и развивает систему выкачки Поиска, решая задачи хранения и обработки больших объёмов данных. Мы используем технологии Big Data, такие как Apache Spark, Hadoop, Hbase и Kafka, для построения масштабируемых воркфлоу. В нашем ведении самый большой в России кластер Hadoop.

Мы также постоянно совершенствуем наши решения, находя новые архитектурные подходы - перед командой всегда стоит множество сложных и интересных задач.

От вас мы ожидаем свободное владение средствами разработки на языке Java, умение проектировать и оценивать архитектурные решения, чётко формулировать решаемые проблемы. Важно уметь как предложить новое решение, так и действовать в рамках принятых ранее.

Создание большой поисковой системы по интернету похоже по сложности на запуск космической ракеты в космос ― и мы смогли это сделать!

Мы ищем разработчика Java в команду поисковой базы.

Задачи:

  • написание хадуп-джоб;
  • поддержка, мониторинг и улучшение качества существующих компонент, написание новых;
  • технологии, с которыми предстоит работать: Java, Hadoop, Python, Bash, Scala, Spark, Airflow.

Требования:

  • язык Java - опыт разработки от двух лет;
  • уверенное знание базовых алгоритмов и структур данных.

Будет плюсом:

  • базовые представления о работе в командной строке;

  • опыт работы с bash, python;

  • опыт работы или желание изучить Scala;

  • опыт работы с Hadoop.

Работа в Mail.Ru Group ― это:

  • проекты большого масштаба: соцсети, почтовые сервисы, киберспорт, портал, игры, электронная коммерция ― в каждом есть возможность делать жизнь миллионов людей лучше;

  • сложные и интересные задачи: высоконагруженные сервисы, которые задают уровень для конкурентов качеством и технологиями; быстрый рост в трендовых направлениях; амбициозные цели перед каждым проектом;

  • оборудование: мощное железо, дополнительные мониторы, специализированные гаджеты ― все для решения масштабных задач и экспериментов;

  • команда: работа бок о бок со «звездами» IT-индустрии, каждый из которых может поделиться своей экспертизой;

  • профессиональное развитие: прямо в офисе мы организуем митапы, конференции, встречи разработчиков и тестировщиков, семинары и тренинги, куда открыт доступ каждому сотруднику;

  • новый опыт: лучшие сотрудники преподают в наших образовательных проектах, выступают на российских и международных конференциях;

  • офис в 5 минутах от метро, крытый паркинг для всех сотрудников, велопарковка, а летом ― прокат велосипедов, лонгбордов и самокатов;

  • здоровье и спорт: программа ДМС доступна с первого месяца работы; для поддержания иммунитета круглый год во фреш-баре овощи и фрукты; собственный тренажерный и спортивный зал в офисе.

Ключевые навыки

Python
Java
SCALA
Linux
Bash

Адрес

Санкт-Петербург, Херсонская улица, 12-14
Показать на большой карте

Вакансия опубликована 23 ноября 2020 в Санкт-Петербурге

Похожие вакансии