Райффайзенбанк ищет Data Engineer'а, который станет частью нашей команды.
Перед нами стоит задача наполнения корпоративного хранилища на стыке распределённой файловой системы HDFS и MPP Greenplum, используя как инструменты по сбору, хранению и обработке данных, так и сбору самих данных в режиме real-time.
Наша вакансия подразумевает получение и применение уникального опыта на стыке построения ETL-пайплайнов на основе open-source технологий (Spark, Ignite, Hadoop, Greenplum, NiFi, Airflow, Kafka).
Обязанности
- определять с заказчиком, какие данные нужны для решения задач и оперативно строить пайплайны по загрузке данных в Data Lake и GreenPlum на регулярной основе;
- применять техники потоковой обработки данных для решения реал-тайм задач;
- строить витрины под аналитические цели коллег, выбирая оптимальный формат и структуру хранения данных;
- строить отчёты в BI Tableu
Требования
- Как Middle Data Engineer:
- работаешь с SQL на уровне написания сложных запросов: знаешь, что такое оконные функции, функции ранжирования, CTE;
- используешь Hadoop, знаешь, как работает YARN, как эффективно хранить данные на HDFS, пишешь запросы в Hive;
- пишешь код на Python, пользуешься GIT, знаешь, что такое Unit тесты;
- пишешь код на Spark и можешь считать данные сервиса, используя его API, отсортировать, отфильтровать их и сохранить результат на HDFS;
- Знаком с различными типами СУБД (SQL, NoSQL) и профилями использования (OLAP, OLTP) и можешь аргументированно выбрать оптимальный тип СУБД под задачу
- имеешь опыт работы с Airflow или любым другим оркестратором
- пишешь прозрачный читающийся код, разделяешь его на классы, применяешь паттерны;
- как плюс: имеешь опыт с Kafka или другим message broker'ом и знаешь основные концепции потоковой обработки данных
- как плюс: имеешь опыт работы с Greenplum
- Как Senior Data Engineer:
- умеешь все то же что и Middle Data Engineer;
- плотно работаешь с Hadoop в качестве разработчика/Data engineer’а;
- у тебя есть опыт работы со Spark не менее 2х лет;
- знаешь, что нового в Spark 3.0 и Hadoop 3.0;
- можешь определить для решения какой задачи выбор того или иного инструмента архитектурно более правильный;
- можешь ставить задачи, планировать работу, менторить джуна, общаться с заказчиками;
- как плюс: имеешь опыт работы с Tableu
+ Будет преимуществом, если ты:
- знаешь банковскую предметную область;
- имеешь опыт разработки/внедрения систем класса DWH
- разбираешься в CI/CD практиках и инструментах;
- можешь продемонстрировать один из своих проектов на GitHub
- умеешь писать на Java или Scala (на последней - применительно к использованию в связке со Spark)
Условия
- гибкое начало рабочего дня; сейчас мы работаем удаленно, после снятия ограничений - частично удаленный формат;
- у тебя будет расширенная страховка почти во всех клиниках Москвы от Росгосстрах (со стоматологией, телемедициной);
- ты сможешь бесплатно тренироваться в нашем спортзале, либо ты можешь выбрать другой фитнес зал с большой скидкой (например, world class);
- у нас отличная столовая с завтраками, обедами и ужинами, оборудованные кухни, кофе бар;
- у тебя есть возможность повышать свой уровень - есть компенсация курсов на coursera, udemy;
- мы посещаем различные конференции и наши сотрудники выступают на крупных мероприятиях (например, Joker);
- можно подключиться к корпоративной библиотке MyBook, воспользоваться Premium от Wikium;
- мы предоставляем страхование (в путешествиях, от несчастных случаев и др.).
Условия обработки персональных данных
Кандидат, сведения о котором (фамилия, имя, отчество, пол, дата и место рождения, гражданство, адрес проживания, телефон, адрес электронной почты, знание иностранных языков, образование, опыт работы, текущая или последняя должность, профессиональные знания и навыки) содержатся в представленных в Банк документах, дает свое согласие на обработку АО «Райффайзенбанк», 129090, г. Москва, ул. Троицкая, д. 17, стр.1 (далее – «Банк») персональных данных Кандидата в порядке и на условиях, определенных Федеральным законом от 27 июля 2006 года №152-ФЗ «О персональных данных» и подтверждает, что, давая такое согласие, действует своей волей и в своем интересе.
Согласие дается Кандидатом для целей возможного замещения вакантных должностей в рамках правоотношений, урегулированных Трудовым Кодексом РФ, порождающих юридические последствия в отношении Кандидата, формирования кадрового резерва (включения в кадровый резерв), предоставления Кандидату информации об имеющихся в Банке вакансиях, и распространяется на следующую информацию: фамилия, имя, отчество, пол, дата и место рождения, гражданство, адрес проживания, телефон, адрес электронной почты, знание иностранных языков, образование, опыт работы, текущая или последняя должность, профессиональные знания и навыки, и любую иную информацию, относящуюся к личности Кандидата и отвечающую вышеперечисленным целям обработки (далее — «Персональные данные»).
Обработка Персональных данных Кандидата осуществляется Банком в объеме, который необходим для достижения каждой из вышеперечисленных целей. Кандидат подтверждает, что данное согласие действует до момента его отзыва субъектом персональных данных в порядке, предусмотренном ниже.
Кандидат вправе в любое время на основании письменного заявления отозвать свое согласие не менее чем за 3 (три) месяца до момента отзыва согласия. В случае отзыва согласия Кандидата на обработку Персональных данных, Банк вправе не прекращать обработку Персональных данных и не уничтожить их в случаях, предусмотренных законодательством РФ, в том числе, если сроки хранения Персональных данных не истекли.
Настоящее согласие предоставляется на осуществление любых действий с использованием средств автоматизации или без использования таких средств в отношении Персональных данных, которые необходимы для достижения каждой из указанных выше целей, включая, без ограничения: сбор, запись, систематизацию, накопление, хранение, уточнение (обновление, изменение), извлечение, использование, передачу (распространение, предоставление, доступ), блокирование, удаление, уничтожение, трансграничную передачу Персональных данных, а также осуществление любых иных действий с Персональными данными Кандидата с учетом действующего законодательства РФ.
Обработка Персональных данных осуществляется Банком с применением следующих основных способов (но, не ограничиваясь ими): хранение, запись на электронные носители и их хранение, составление перечней, маркировка.
Благодарим вас за интерес к нашим вакансиям!
Мы получили ваше резюме и обязательно его рассмотрим. Если ваш опыт и навыки соответствуют вакансии, мы вам перезвоним. В любом случае, резюме будет добавлено в базу данных.