Tech Lead Data Engineer

Обязанности: Проработка High Level Design процессов загрузки данных на платформу Выполнение Code review и контроль правильности реализации принятых технических решений Формирование требований, декомпозиция задач Реализация процессов загрузки данных на платформу из различных источников (s3, hdfs, samba, sftp) в различных форматах (csv, parquet, json, xml) Выбор подходящих СУБД и моделирование схем данных под нагрузку в соответствии с функциональными требованиями систем потребителей данных Анализ и устранение причин production инцидентов Взаимодействие с смежными командами Требования: Опыт разработки на Scala или Java в качестве Data Engineer (Spark или Flink) от 3-х лет Опыт работы по специальности от 5-ти лет Понимание принципов работы распределенных БД - Scylla/Cassandra, Kafka Знание алгоритмов и структур данных Знание SQL Опыт решения проблем в production при внедрении разработанных продуктов, включая performance tuning Готовность к командировкам Будет плюсом: Опыт работы с Nifi, Airflow Опыт работы с распределенными БД: Cassandra, HBase, Opensearch и т.д. Опыт работы в Kubernetes окружениях Понимание особенностей архитектуры JVM Наличие опыта backend разработки Что мы предлагаем: Здоровье и спорт: ДМС + стоматология Корпоративные скидки в фитнес-клуб World Class Корпоративный тариф на абонементы FITMOST Спортивные мероприятия (турниры по футболу, волейболу, киберспорт, забеги) Обучение и развитие: Курсы английского языка, в том числе с носителем языка Внешние курсы, сертифицированное обучение, которые вы выбираете сами Возможность участия в конференциях в России и за рубежом Экскурсии в Музей криптографии для сотрудников и их семей Работа в удобном формате: Работа в офисе, удаленно или комбинированный формат