< вернуться к списку
Дата публикации
29.06.2020

Data Engineer в команду Data Lake

Райффайзенбанк ищет Data Engineer'а, который станет частью IT-команды (~10 человек) развития Data Lake.
Перед нами стоит задача создания современной аналитической инфраструктуры, включающей как инструменты по сбору, хранению и обработке данных, так и сбору самих данных в режиме real-time. Отдельное внимание уделяется разработке масштабируемого универсального подхода по выводу в продуктивную эксплуатацию моделей машинного обучения. Ожидается, что на выходе из этого проекта целые дирекции смогут переключить ежедневные процессы принятия решений на Data Lake, как в части управленческой ретроспективной отчетности, так и в части совершения действий, подсказанных предиктивными моделями.
Наша вакансия подразумевает получение и применение уникального опыта на стыке построения ETL- пайплайнов на основе open-source технологий (Spark, Ignite, Hadoop, Greenplum, NiFi, Airflow, Kafka), построения production ready CI/CD процессов и вывода в производственную эксплуатацию моделей машинного обучения.

Вместе мы будем:

- определять с заказчиком, какие данные нужны для решения задач и оперативно строить пайплайны по загрузке данных в Data Lake на регулярной основе;
- применять техники потоковой обработки данных для решения реал-тайм задач;
- строить витрины под аналитические цели коллег, выбирая оптимальный формат и структуру хранения данных;
- помогать коллегам Data Scientist'истам в разработке и выводе в промышленную эксплуатацию моделей машинного обучения.
Мы не отдаем предпочтение какому-то определенному уровню подготовки, у нас есть работы и перспективы как для Junior, так и для Middle и Senior специалистов. Но всё же теоретические знания в части Hadoop, HDFS, парадигм разработки и практические - в части программирования и применения SQL являются обязательными.

Эта вакансия для тебя, если ты:

Как Junior Data Engineer:
- изучал SQL и тебя не пугают: join’ы, агрегатные функции, подзапросы, DDL, DML, DCL, CTE, транзакции;
- читал о HDFS и Hadoop и даже сам пробовал разворачивать дистрибутив Hadoop дома или в облаке;
- писал код Python или любом другом языке программирования общего назначения;
- готов узнавать много нового и активно развивать навыки по обработке данных.
Как Middle Data Engineer:
- умеешь все то же, что и Junior Data Engineer;
- работал с SQL и не раз писал сложные запросы;
- использовал Hadoop, знаешь, как работает YARN, как эффективно хранить данные на HDFS, писал запросы в Hive;
- пишешь прозрачный читающийся код, разделяешь его на классы, применяешь паттерны;
- знаешь, что такое Unit тесты;
- обязательно и часто сохраняешь сделанные изменения в Git;
- писал код на Spark и можешь считать данные сервиса, используя его Rest API, отсортировать, отфильтровать их и сохранить результат на HDFS;
- имел опыт с Kafkой и знаешь основные концепции потоковой обработки данных;
- умеешь работать самостоятельно.
Как Senior Data Engineer:
- умеешь все то же, что и Middle Data Engineer;
- плотно работал с Hadoop в качестве разработчика/Data engineer’а;
- имеешь опыт работы с Airflow или любым другим оркестратором
- у тебя есть опыт работы со Spark не менее 2х лет;
- знаешь, что нового в Spark 2.4 и Hadoop 3.0;
- можешь определить, для решения какой задачи выбор того или иного инструмента архитектурно более правильный;
- можешь ставить задачи, планировать работу, общаться с заказчиками.
Будет преимуществом, если ты:
- знаком с банковской предметной областью;
- имеешь опыт разработки/внедрения систем класса DWH;
- имеешь опыт работы с любой из "классических" РСУБД (Oracle, MS-SQL PostgreSQL);
- можешь деплоить приложения в Docker;
- разбираешься в CI/CD практиках и инструментах;
- можешь продемонстрировать один из своих проектов на GitHub;
- умеешь писать на Java или Scala (на последней - применительно к использованию в связке со Spark).

Мы предлагаем:

- свободу в выборе инструментов для решения задач;
- регулярное посещение тренингов, митапов и конференций (в том числе как спикер) за наш счет;
- командную работу и поддержку;
- гибкий график;
- отличный социальный пакет (ДМС, скидки на корпоративные продукты, спортзал в здании);
- кафе в здании, где можно обедать и пить свежесваренный кофе;
- возможность за одну минуту добраться от ст.м.Технопарк до комфортного офиса;
- отсутствие формализма и позитивный настрой.

Откликнуться

Дата рождения


< вернуться к списку

Условия обработки персональных данных

Кандидат, сведения о котором (фамилия, имя, отчество, пол, дата и место рождения, гражданство, адрес проживания, телефон, адрес электронной почты, знание иностранных языков, образование, опыт работы, текущая или последняя должность, профессиональные знания и навыки) содержатся в представленных в Банк документах, дает свое согласие на обработку АО «Райффайзенбанк», 129090, г. Москва, ул. Троицкая, д. 17, стр.1 (далее – «Банк») персональных данных Кандидата в порядке и на условиях, определенных Федеральным законом от 27 июля 2006 года №152-ФЗ «О персональных данных» и подтверждает, что, давая такое согласие, действует своей волей и в своем интересе.

Согласие дается Кандидатом для целей возможного замещения вакантных должностей в рамках правоотношений, урегулированных Трудовым Кодексом РФ, порождающих юридические последствия в отношении Кандидата, формирования кадрового резерва (включения в кадровый резерв), предоставления Кандидату информации об имеющихся в Банке вакансиях, и распространяется на следующую информацию: фамилия, имя, отчество, пол, дата и место рождения, гражданство, адрес проживания, телефон, адрес электронной почты, знание иностранных языков, образование, опыт работы, текущая или последняя должность, профессиональные знания и навыки, и любую иную информацию, относящуюся к личности Кандидата и отвечающую вышеперечисленным целям обработки (далее — «Персональные данные»).

Обработка Персональных данных Кандидата осуществляется Банком в объеме, который необходим для достижения каждой из вышеперечисленных целей. Кандидат подтверждает, что данное согласие действует до момента его отзыва субъектом персональных данных в порядке, предусмотренном ниже.

Кандидат вправе в любое время на основании письменного заявления отозвать свое согласие не менее чем за 3 (три) месяца до момента отзыва согласия. В случае отзыва согласия Кандидата на обработку Персональных данных, Банк вправе не прекращать обработку Персональных данных и не уничтожить их в случаях, предусмотренных законодательством РФ, в том числе, если сроки хранения Персональных данных не истекли.

Настоящее согласие предоставляется на осуществление любых действий с использованием средств автоматизации или без использования таких средств в отношении Персональных данных, которые необходимы для достижения каждой из указанных выше целей, включая, без ограничения: сбор, запись, систематизацию, накопление, хранение, уточнение (обновление, изменение), извлечение, использование, передачу (распространение, предоставление, доступ), блокирование, удаление, уничтожение, трансграничную передачу Персональных данных, а также осуществление любых иных действий с Персональными данными Кандидата с учетом действующего законодательства РФ.

Обработка Персональных данных осуществляется Банком с применением следующих основных способов (но, не ограничиваясь ими): хранение, запись на электронные носители и их хранение, составление перечней, маркировка.

x закрыть страницу

Благодарим вас за интерес к нашим вакансиям!

Мы получили ваше резюме и обязательно его рассмотрим. Если ваш опыт и навыки соответствуют вакансии, мы вам перезвоним. В любом случае, резюме будет добавлено в базу данных.

x закрыть страницу