Проект: разработка решения, которое соединяет онлайн-продавцов и многомиллионную аудиторию покупателей.

Цель проекта: предоставить качественные бизнес-инсайты и данные для команд и компаний, в проектах с которыми мы участвуем. Для этого нужна устойчивая и легко расширяемая платформа для обработки и хранения данных

Мы ищем специалиста, который имеет необходимый опыт и готов развиваться в этой роли.

Ключевые задачи:

• Написание и поддержка коннекторов для Kafka Connect и Debezium.
• Разработка DAGов на Airflow.
• Написание процедур обработки данных + Data Quality Control.
• Развитие системы мониторинга данных и процессов.
• Участие во внедрении систем Data Governance и DQC.

Что мы от ожидаем от кандидата:

• SQL - на уровне аналитических функций.
• Python - на уровне написания дагов для Airflow, если лучше то как преимущество.
• Airflow - человек должен понимать что это за инструмент и уметь использовать его.
• Опыт работы с одной из MPP DB(в порядке приоритета): Greenplum, Teradata.
• Опыт работы с PostgreSQL.
• Kafka - понимание работы, базовые навыки работы: создать/удалить, партиционировать топик, сбросить офсеты у топика.
• Опыт работы с Hadoop стеком приветствуется, особенно понимание форматов хранения данных.
• Kafka Connect опыт написания коннекторов загрузки данных - преимущество, но не обязательно.