< вернуться к списку
Дата публикации
19.08.2021

Data Engineer в платформу Data Lake

Райффайзенбанк ищет Data Engineer'а, который станет частью IT-команды (~10 человек) развития платформы Data Lake.

Перед нами стоит задача создания современной аналитической платформы, включающей инструменты по сбору, хранению, обработке и анализу данных. В результате построения платформы подразделения банка получают возможность использовать разработанные нашей командой инструменты, процессы и интерфейсы для быстрой и независимой разработки для решения своих прикладных бизнес-задач, связанных с анализом данных.

Пользователи нашей платформы - разработчики из продуктовых команд, решающие прикладные задачи ETL для автоматизации бизнес-процессов, Data Scientist'ы и аналитики, которые анализирующие с помощью разных инструментов данные, хранящиеся в Data Lake, строят дашборды, обучают и применяют к новым данным модели машинного обучения.

В настоящее время на платформе Data Lake одновременно ведут разработку 40 продуктовых разработчиков, чьими результатами в прод-контуре пользуются около 500 пользователей, включая Data Scientist'ов и аналитиков данных. Данные в Data Lake в автоматическом режиме поставляются из более чем 100 источников, как внутренних, так и внешних.

Наш текущий стек: RHEL, Hadoop, Sqoop, Hive, Hbase, Spark, Ranger, Greenplum, PostgreSQL, Airflow, NiFi, Kafka, Zabbix, Rundeck, Jira/Confluence, Bitbucket, Bamboo, Ansible, Docker, Nginx, Grafana. Командная коммуникация в Zoom, текстовые сообщения (включая от ботов по мониторингу) - в Slack.

В связи с увеличением популярности платформы и роста количества задач мы ищем Data Engineer'а, который усилит команду и поможет нам в достижении наших целей по развитию платформы.

Обязанности

Кандидат, успешно прошедший собеседование и присоединившийся к платформенной команде Data Lake, будет:

  • анализировать используемый стек технологий на соответствие текущим потребностям продуктовых бизнес-команд, выявлять нереализованные потребности;
  • проводить RnD, изучать новое open-source ПО (соответствует ли оно нашим стандартам и действительно ли закрывает выявленные потребности);
  • прорабатывать архитектурные вопросы взаимодействия существующих и добавляемых компонентов платформы как между собой, так и с внешними системами (источники, потребители);
  • автоматизировать развертывание ПО;
  • заниматься "платформизацией" используемого стека с целью максимальной автоматизации и оптимизации процесса параллельной независимой разработки на платформе (скрытие сложности реализации низкоуровнего ПО типа Hadoop или Airflow за определенным уровнем абстракции путем разработки интерфейсов, процессов, CI/CD пайплайнов, соглашений, документации и т.д., чтобы продуктовые разработчики могли сосредоточиться на решении прикладных задач);
  • оказывать поддержку разработчикам Data Lake из продуктовых команд;
  • эпизодически решать прикладные задачи на платформе для понимания опыта разработчиков из продуктовых команд - построение ETL-пайплайнов для загрузки в/из Data Lake с использованием платформенных инструментов;
  • осуществлять поддержку и решать инциденты в прод-контуре (в том числе от пользователей).

 

Требования

Эта вакансия для тебя, если ты:

Как Junior Data Engineer:

  • изучал SQL и тебя не пугают: join’ы, агрегатные функции, подзапросы;
  • как плюс: имеешь опыт работы с любой из "классических" РСУБД (Oracle, MS-SQL PostgreSQL) в качестве разработчика/администратора
  • изучал о HDFS и Hadoop и пробовал разворачивать дистрибутив Hadoop дома или в облаке;
  • писал код на Python или любом другом языке программирования общего назначения
  • готов узнавать много нового и активно развивать навыки по обработке данных

Как Middle Data Engineer:

  • умеешь все то же, что и Junior Data Engineer;
  • работал с SQL и не раз писал сложные запросы;
  • использовал Hadoop, знаешь, как работает YARN, как эффективно хранить данные на HDFS, писал запросы в Hive;
  • знаешь, что такое Unit тесты;
  • писал код на Spark и можешь считать данные сервиса, используя его Rest API, отсортировать, отфильтровать их и сохранить результат на HDFS;
  • Знаком с различными типами СУБД (SQL, NoSQL) и профилями использования (OLAP, OLTP) и можешь аргументированно выбрать оптимальный тип СУБД под задачу
  • имеешь опыт работы с Airflow или любым другим оркестратором
  • пишешь прозрачный читающийся код, разделяешь его на классы, применяешь паттерны;
  • Как плюс: имел опыт с Kafka или другим message broker'ом и знаешь основные концепции потоковой обработки данных

Как Senior Data Engineer:

  • умеешь все то же что и Middle Data Engineer;
  • плотно работал с Hadoop в качестве разработчика/Data engineer’а;
  • у тебя есть опыт работы со Spark не менее 2-х лет;
  • знаешь, что нового в Spark 2.4 и Hadoop 3.0;
  • можешь определить для решения какой задачи выбор того или иного инструмента архитектурно более правильный;
  • можешь ставить задачи, планировать работу, общаться с заказчиками, быть наставником для менее опытных коллег;

    Будет преимуществом, если ты:

  • знаком с банковской предметной областью;
  • имеешь опыт разработки/внедрения систем класса DWH
  • можешь деплоить приложения в Docker;
  • разбираешься в CI/CD практиках и инструментах;
  • можешь продемонстрировать один из своих проектов на GitHub
  • умеешь писать на Java или Scala (на последней - применительно к использованию в связке со Spark)

 

Условия

Мы обещаем тебе возможность:

  • Самостоятельно сформировать гибкий график работы с высокой долей удаленки и просторным и современным офисом в одной минуте ходьбы от метро Технопарк в случаях, когда командная работа предполагает физическое присутствие
  • Работать в сплочённом IT-сообществе, где коллеги становятся настоящими друзьями;
  • Развиваться: мы оплачиваем профессиональные тренинги и образовательные курсы (в т.ч. на Сoursera), отправляем на лучшие тематические профессиональные конференции, а также проводим внутрибанковские митапы с приглашёнными экспертами;
  • Влиять на конечный результат и понимать бизнес-логику продуктов
  • Работать на корпоративном MacBook'е
  • Получать корпоративные льготы: ДМС с первого рабочего дня, скидки на банковские продукты, а также услуги и товары от компаний-партнеров.

Откликнуться

Дата рождения


< вернуться к списку

Условия обработки персональных данных

Кандидат, сведения о котором (фамилия, имя, отчество, пол, дата и место рождения, гражданство, адрес проживания, телефон, адрес электронной почты, знание иностранных языков, образование, опыт работы, текущая или последняя должность, профессиональные знания и навыки) содержатся в представленных в Банк документах, дает свое согласие на обработку АО «Райффайзенбанк», 129090, г. Москва, ул. Троицкая, д. 17, стр.1 (далее – «Банк») персональных данных Кандидата в порядке и на условиях, определенных Федеральным законом от 27 июля 2006 года №152-ФЗ «О персональных данных» и подтверждает, что, давая такое согласие, действует своей волей и в своем интересе.

Согласие дается Кандидатом для целей возможного замещения вакантных должностей в рамках правоотношений, урегулированных Трудовым Кодексом РФ, порождающих юридические последствия в отношении Кандидата, формирования кадрового резерва (включения в кадровый резерв), предоставления Кандидату информации об имеющихся в Банке вакансиях, и распространяется на следующую информацию: фамилия, имя, отчество, пол, дата и место рождения, гражданство, адрес проживания, телефон, адрес электронной почты, знание иностранных языков, образование, опыт работы, текущая или последняя должность, профессиональные знания и навыки, и любую иную информацию, относящуюся к личности Кандидата и отвечающую вышеперечисленным целям обработки (далее — «Персональные данные»).

Обработка Персональных данных Кандидата осуществляется Банком в объеме, который необходим для достижения каждой из вышеперечисленных целей. Кандидат подтверждает, что данное согласие действует до момента его отзыва субъектом персональных данных в порядке, предусмотренном ниже.

Кандидат вправе в любое время на основании письменного заявления отозвать свое согласие не менее чем за 3 (три) месяца до момента отзыва согласия. В случае отзыва согласия Кандидата на обработку Персональных данных, Банк вправе не прекращать обработку Персональных данных и не уничтожить их в случаях, предусмотренных законодательством РФ, в том числе, если сроки хранения Персональных данных не истекли.

Настоящее согласие предоставляется на осуществление любых действий с использованием средств автоматизации или без использования таких средств в отношении Персональных данных, которые необходимы для достижения каждой из указанных выше целей, включая, без ограничения: сбор, запись, систематизацию, накопление, хранение, уточнение (обновление, изменение), извлечение, использование, передачу (распространение, предоставление, доступ), блокирование, удаление, уничтожение, трансграничную передачу Персональных данных, а также осуществление любых иных действий с Персональными данными Кандидата с учетом действующего законодательства РФ.

Обработка Персональных данных осуществляется Банком с применением следующих основных способов (но, не ограничиваясь ими): хранение, запись на электронные носители и их хранение, составление перечней, маркировка.

x закрыть страницу

Благодарим вас за интерес к нашим вакансиям!

Мы получили ваше резюме и обязательно его рассмотрим. Если ваш опыт и навыки соответствуют вакансии, мы вам перезвоним. В любом случае, резюме будет добавлено в базу данных.

x закрыть страницу