Обязанности:
Финтех — одно из самых смелых и активных направлений Яндекса. Мы создаём удобные платёжные сервисы и инструменты для управления личными финансами многомиллионной аудитории Яндекса. Придерживаемся data-driven-подхода. Мы работаем с большими объёмами данных, и делать это надо быстро и правильно. Для этого нам нужно создать большую, безопасную и удобную аналитическую платформу. Мы ищем Дата-инженера в нашу команду, чтобы вместе разрабатывать DWH. Какие задачи вас ждут работать с базами данных SQL и NoSQL, масштабировать и шардировать их; обрабатывать массивы данных с учётом eventual consistency и других аспектов ACID; проектировать модели данных; продумывать отказоустойчивость системы: хранилище должно пережить всё, включая падение дата-центра и вторжение инопланетян; развивать собственный data quality фреймворк вместе с лидом команды проектировать архитектуру хранилища. Мы ждём, что вы пишете код на Python; работали с базами данных SQL и NoSQL; знакомы с брокерами сообщений (Kafka, RabbitMQ или что-то подобное); работали с инструментами Hadoop. Будет плюсом, если вы работали со Spark или Spark SQL; работали с Greenplum; умеете разрабатывать DAG для Airflow.Похожие вакансии