< вернуться к списку
Дата публикации
16.02.2021

DevOps engineer в команду Data Lake

Перед командой Data Lake стоит задача развития и поддержки современной аналитической платформы, включающей инструменты по сбору, хранению, обработке и анализу данных.

Платформа дает нашим пользователям (разработчикам из продуктовых команд) возможность быстрой, параллельной и независимой разработки ETL по загрузке данных и построению витрин для решения прикладных бизнес-задач. Данные, которые регулярно загружаются в Data Lake, используются Data Scientist'ами и аналитиками данных для построения моделей машинного обучения, отчетности и визуализации.

Наш стек: RHEL, Hadoop, Sqoop, Hive, Hbase, Spark, Ranger, Greenplum, PostgreSQL, Airflow, NiFi, Kafka, Zabbix, Rundeck, Jira/Confluence, Bitbucket, Bamboo, Ansible, Docker, Nginx, Grafana. Командная коммуникация в Zoom, текстовые сообщения (включая от ботов по мониторингу) - в Slack.

Обязанности

  • Обеспечивать работоспособность экосистемы Datalake (в первую очередь - Airflow, Hadoop/Hortonworks Data Platform, NiFi) - настраивать и осуществлять мониторинг, анализировать и оптимизировать производительность, поддерживать в актуальном состоянии имеющуюся инфраструктуру (новые версии, патчи), устранять выявленные уязвимости;
  • Создавать, настраивать и поддерживать системы отказоустойчивости/высокой доступности на базе используемого стека Data Lake;
  • Настраивать и поддерживать процедуры и политики резервного копирования/восстановления;
  • Настраивать и поддерживать процессы и инструменты интеграции Data Lake с системами-источниками и потребителями данных;
  • Анализировать текущее состояние платформы и выявлять места для оптимизации, изучать продукты-кандидаты, потенциально подходящие для оптимизации Data Lake, прорабатывать архитектуру взаимодействия программных компонент внутри платформы, автоматизировать развертывание;
  • Разрабатывать CI/CD конвейеры;
  • Решать пользовательские инциденты и анализировать их причины;
  • Документировать разрабатываемые процессы и обучать коллег работе с ними.

Требования

  • Linux: знания rpm-based дистрибутивов (RHEL, CentOS) на уровне RHCSA+: troubleshooting, virtualization, performance optimization;
  • Programming: опыт автоматизации с помощью скриптов на Python, общие знания в области устройства JVM/JDK (gc, heap);
  • DevOps: опыт работы со стэком Atlassian (bamboo, bitbucket), Gitlab или другим в части организации CI/CD пайплайнов, глубокие знания в области автоматизации (Ansible, Rundeck).
  • Database: опыт администрирования и эксплуатации PostgreSQL: создание резервных копий, восстановление после аварий, работа с различными типами репликаций, организация отказоустойчивости, умение найти и отладить тяжёлые запросы, понимание ролевой модели и структуры сервисных объектов, базовые навыки в написании SQL запросов.
  • Hadoop: опыт администрирования стэка Hadoop (предпочтительно Hortonworks или Cloudera), умение работать с HDFS, Hive, Ranger, Spark и прочими компонентами окружения. Понимание архитектуры и навыки в устранении проблем и оптимизации производительности в разрезе различных компонентов.

Мы предлагаем

  • возможность влиять на конечный результат и понимать бизнес-логику продуктов — мы следуем принципам Agile;
  • комфортные условия труда: просторный и современный офис в минуте ходьбы от станции метро «Технопарк»;
  • работу в сплоченном IT-сообществе, где коллеги становятся настоящими друзьями;
  • отличный социальный пакет (ДМС, страхование выезжающих за рубеж, скидки на корпоративные продукты, тренажерный зал в офисе);
  • льготное кредитование, программа корпоративных скидок и другое;
  • профессиональные обучающие курсы и конференции в России и за рубежом;
  • современное оборудование.

Откликнуться

Дата рождения


< вернуться к списку

Условия обработки персональных данных

Кандидат, сведения о котором (фамилия, имя, отчество, пол, дата и место рождения, гражданство, адрес проживания, телефон, адрес электронной почты, знание иностранных языков, образование, опыт работы, текущая или последняя должность, профессиональные знания и навыки) содержатся в представленных в Банк документах, дает свое согласие на обработку АО «Райффайзенбанк», 129090, г. Москва, ул. Троицкая, д. 17, стр.1 (далее – «Банк») персональных данных Кандидата в порядке и на условиях, определенных Федеральным законом от 27 июля 2006 года №152-ФЗ «О персональных данных» и подтверждает, что, давая такое согласие, действует своей волей и в своем интересе.

Согласие дается Кандидатом для целей возможного замещения вакантных должностей в рамках правоотношений, урегулированных Трудовым Кодексом РФ, порождающих юридические последствия в отношении Кандидата, формирования кадрового резерва (включения в кадровый резерв), предоставления Кандидату информации об имеющихся в Банке вакансиях, и распространяется на следующую информацию: фамилия, имя, отчество, пол, дата и место рождения, гражданство, адрес проживания, телефон, адрес электронной почты, знание иностранных языков, образование, опыт работы, текущая или последняя должность, профессиональные знания и навыки, и любую иную информацию, относящуюся к личности Кандидата и отвечающую вышеперечисленным целям обработки (далее — «Персональные данные»).

Обработка Персональных данных Кандидата осуществляется Банком в объеме, который необходим для достижения каждой из вышеперечисленных целей. Кандидат подтверждает, что данное согласие действует до момента его отзыва субъектом персональных данных в порядке, предусмотренном ниже.

Кандидат вправе в любое время на основании письменного заявления отозвать свое согласие не менее чем за 3 (три) месяца до момента отзыва согласия. В случае отзыва согласия Кандидата на обработку Персональных данных, Банк вправе не прекращать обработку Персональных данных и не уничтожить их в случаях, предусмотренных законодательством РФ, в том числе, если сроки хранения Персональных данных не истекли.

Настоящее согласие предоставляется на осуществление любых действий с использованием средств автоматизации или без использования таких средств в отношении Персональных данных, которые необходимы для достижения каждой из указанных выше целей, включая, без ограничения: сбор, запись, систематизацию, накопление, хранение, уточнение (обновление, изменение), извлечение, использование, передачу (распространение, предоставление, доступ), блокирование, удаление, уничтожение, трансграничную передачу Персональных данных, а также осуществление любых иных действий с Персональными данными Кандидата с учетом действующего законодательства РФ.

Обработка Персональных данных осуществляется Банком с применением следующих основных способов (но, не ограничиваясь ими): хранение, запись на электронные носители и их хранение, составление перечней, маркировка.

x закрыть страницу

Благодарим вас за интерес к нашим вакансиям!

Мы получили ваше резюме и обязательно его рассмотрим. Если ваш опыт и навыки соответствуют вакансии, мы вам перезвоним. В любом случае, резюме будет добавлено в базу данных.

x закрыть страницу