< вернуться к списку
Дата публикации
15.09.2020

DevOps engineer в команду Data Lake

Платформенная команда Data Lake развивает инструменты и сервисы, позволяющие продуктовым бизнес-командам вести параллельную разработку аналитических решений, включая ETL-пайплайны и витрины данных.

Развитие платформы состоит из нескольких этапов:

  • Анализ используемого стека на соответствие текущим потребностям продуктовых бизнес-команд, паттернам нагрузки и трендам в индустрии, выявление "разрывов" и софта, который мог бы их заполнить
  • Проведение RnD, изучение программных средств в изолированной песочнице, соответствуют ли они нашим стандартам и действительно ли они могут заполнить выявленные "разрывы". Например, в случае какой-либо NoSQL СУБД мы на практике проверяем возможность синхронизации с Active Directory, наличие ролевой модели, совместимость со штатными инструментами мониторинга и создания резервных копий и восстановления из них, сканируем на уязвимости, проверяем нагрузку, считаем сайзинг. В случае кластерных решений проверяем отказоустойчивость при отключении нод итд. Работа на данном этапе также включает в себя проработку вопросов архитектурного взаимодействия тестируемого инструмента и уже имеющегося решения.
  • По инструментам, успешно прошедшим RnD, мы пишем ansible-playbook по развертыванию, описываем способы постановки на эксплуатацию.
  • Одновременно с этим мы создаем CI/CD пайплайны, позволяющие вести параллельную разработку и безопасно поставлять изменения в Продуктив. Также по возможности мы стараемся сделать обвязку вокруг нового средства, чтобы скрыть от продуктовых разработчиков сложность нижележащей выбранной технологии за неким уровнем абстракции, чтобы позволить им непосредственно сосредоточиться на решении бизнес-задачи. Например, в случае с Airflow мы стараемся, чтобы добавление загрузки нового источника в Data Lake сводилось, по возможности, к редактированию метаданных
  • После перехода к эксплуатации мы занимаемся поддержкой всей системы в целом. Наша задача - максимальное покрытие мониторингом всех ключевых индикаторов жизнедеятельности системы, чтобы платформенная команда могла предотвращать инциденты до того, как они успели стать заметными для пользователей, визуализация текущего состояния платформы на дашбордах в Grafana, а также максимальная автоматизация решения возникающих проблем.
  • Мы также занимаемся решением инцидентов в Проде (например, от пользователей), решение которых невозможно автоматизировать

Наш текущий стек: RHEL, Hadoop, Sqoop, Hive, Hbase, Spark, Ranger, Greenplum, PostgreSQL, Airflow, NiFi, Kafka, Zabbix, Rundeck, Jira/Confluence, Bitbucket, Bamboo, Ansible, Docker, Nginx, Grafana. Командная коммуникация в Zoom, текстовые сообщения (включая от ботов по мониторингу) - в Slack.

В настоящее время на Data Lake одновременно ведут разработку 40 продуктовых разработчиков, чьими результатами в проде пользуются около 500 пользователей, включая data-scientist'ов и аналитиков данных. Данные в Data Lake в автоматическом режиме поставляются из 75 источников, как внутренних, так и внешних.

Мы ищем опытного инженера по автоматизации и поддержке Data Lake, разделяющего ценности культуры DevOps, который поможет нам в достижении наших целей по развитию платформы и привнесет новые знания и опыт в нашу команду.

Кандидат, успешно прошедший отбор, будет наравне с коллегами по платформе (разработчиками и инженерами по автоматизации и поддержке) участвовать во всех этапах развития платформы:

  • Обеспечивать работоспособность экосистемы Datalake (в первую очередь - Airflow, Hadoop/Hortonworks Data Platform, NiFi, GreenPlum) - настраивать и осуществлять мониторинг, анализировать и оптимизировать производительность, поддерживать в актуальном состоянии имеющуюся инфраструктуру (новые версии, патчи), устранять выявленные уязвимости
  • Создавать, настраивать и поддерживать системы отказоустойчивости/высокой доступности на базе используемого стека Data Lake
  • Настраивать и поддерживать процедуры и политики резервного копирования/восстановления
  • Настраивать и поддерживать процессы и инструменты интеграции Data Lake с системами-источниками и потребителями данных
  • Анализировать текущее состояние платформы и выявлять места для оптимизации, изучать продукты-кандидаты, потенциально подходящие для оптимизации Data Lake, прорабатывать архитектуру взаимодействия программных компонент внутри платформы, автоматизировать развертывание
  • Разрабатывать CI/CD конвейеры
  • Решать пользовательские инциденты и анализировать их причины
  • Документировать разрабатываемые процессы

Требования

  • Опыт администрирования Linux от 3 лет
  • Опыт администрирования СУБД PostgreSQL от 2 лет
  • Опыт работы с экосистемой Hadoop в качестве разработчика/архитектора/инженера поддержки от 3 лет,
  • Отличное понимание внутренней архитектуры и принципов работы Hadoop
  • Опыт построения CI/CD пайплайнов на любой из популярных платформ от 3 лет
  • Опыт работы с контейнерами, понимание внутренней архитектуры Docker
  • Опыт работы с любым популярным инструментом по мониторингу
  • Опыт написания playbook'ов Ansible
  • Знание английского языка как минимум на уровне чтения технической документации
  • Инициативность, желание развиваться в области эксплуатации Big Data решений

Плюсом будет:

  • Опыт программирования на языке Java, способность при необходимости оформить pull request к используемым у нас opensource проектам, умение исправить и пересобрать opensource проект
  • Опыт работы с Kafka
  • Опыт администрирования Airflow или любого другого оркестратора в кластерном режиме
  • Опыт работы с NoSQL базой данных в качестве администратора, знание подходов к классификации и выбору NoSQL базы под конкретные задачи
  • Опыт работы с Kubernetes

Мы обещаем тебе возможность:

  • Самостоятельно сформировать гибкий график работы с высокой долей удаленки и просторным и современным офисом в одной минуте ходьбы от метро Технопарк в случаях, когда командная работа предполагает физическое присутствие
  • Работать в сплочённом IT-сообществе, где коллеги становятся настоящими друзьями;
  • Развиваться: мы оплачиваем профессиональные тренинги и образовательные курсы (в т.ч. на Сoursera), отправляем на лучшие тематические профессиональные конференции, а также проводим внутрибанковские митапы с приглашёнными экспертами;
  • Влиять на конечный результат и понимать бизнес-логику продуктов
  • Работать на корпоративном MacBook'е
  • Получать корпоративные льготы: ДМС с первого рабочего дня, скидки на банковские продукты, а также услуги и товары от компаний-партнеров.

Откликнуться

Дата рождения


< вернуться к списку

Условия обработки персональных данных

Кандидат, сведения о котором (фамилия, имя, отчество, пол, дата и место рождения, гражданство, адрес проживания, телефон, адрес электронной почты, знание иностранных языков, образование, опыт работы, текущая или последняя должность, профессиональные знания и навыки) содержатся в представленных в Банк документах, дает свое согласие на обработку АО «Райффайзенбанк», 129090, г. Москва, ул. Троицкая, д. 17, стр.1 (далее – «Банк») персональных данных Кандидата в порядке и на условиях, определенных Федеральным законом от 27 июля 2006 года №152-ФЗ «О персональных данных» и подтверждает, что, давая такое согласие, действует своей волей и в своем интересе.

Согласие дается Кандидатом для целей возможного замещения вакантных должностей в рамках правоотношений, урегулированных Трудовым Кодексом РФ, порождающих юридические последствия в отношении Кандидата, формирования кадрового резерва (включения в кадровый резерв), предоставления Кандидату информации об имеющихся в Банке вакансиях, и распространяется на следующую информацию: фамилия, имя, отчество, пол, дата и место рождения, гражданство, адрес проживания, телефон, адрес электронной почты, знание иностранных языков, образование, опыт работы, текущая или последняя должность, профессиональные знания и навыки, и любую иную информацию, относящуюся к личности Кандидата и отвечающую вышеперечисленным целям обработки (далее — «Персональные данные»).

Обработка Персональных данных Кандидата осуществляется Банком в объеме, который необходим для достижения каждой из вышеперечисленных целей. Кандидат подтверждает, что данное согласие действует до момента его отзыва субъектом персональных данных в порядке, предусмотренном ниже.

Кандидат вправе в любое время на основании письменного заявления отозвать свое согласие не менее чем за 3 (три) месяца до момента отзыва согласия. В случае отзыва согласия Кандидата на обработку Персональных данных, Банк вправе не прекращать обработку Персональных данных и не уничтожить их в случаях, предусмотренных законодательством РФ, в том числе, если сроки хранения Персональных данных не истекли.

Настоящее согласие предоставляется на осуществление любых действий с использованием средств автоматизации или без использования таких средств в отношении Персональных данных, которые необходимы для достижения каждой из указанных выше целей, включая, без ограничения: сбор, запись, систематизацию, накопление, хранение, уточнение (обновление, изменение), извлечение, использование, передачу (распространение, предоставление, доступ), блокирование, удаление, уничтожение, трансграничную передачу Персональных данных, а также осуществление любых иных действий с Персональными данными Кандидата с учетом действующего законодательства РФ.

Обработка Персональных данных осуществляется Банком с применением следующих основных способов (но, не ограничиваясь ими): хранение, запись на электронные носители и их хранение, составление перечней, маркировка.

x закрыть страницу

Благодарим вас за интерес к нашим вакансиям!

Мы получили ваше резюме и обязательно его рассмотрим. Если ваш опыт и навыки соответствуют вакансии, мы вам перезвоним. В любом случае, резюме будет добавлено в базу данных.

x закрыть страницу