Обязанности:
Мы ведущий технологический партнер Счетной палаты Российской Федерации.АНО «Цифровой аудит» специализируется на внедрении инноваций в области Big Data и AI для создания надежных, эффективных и масштабируемых технологических решений. Мы ищем Lead Data Engineer / руководителя команды, который возьмет на себя техническое лидерство и организацию работы по построению и поддержке нашей платформы данных. Что нужно делать: Организация деятельности по созданию и поддержке аналитических хранилищ; Организация поддержки полного цикла ETL/ELT; Обеспечение поддержки в построении аналитических запросов со стороны инженерии. Наши ожидания: Опыт руководства коллективом дата-инженеров не менее 3 лет Глубокие знания SQL: Знание, что такое физический и логический JOIN; Умение применять план запроса; Понимание что такое индексы, партиционирование, шардирование, сжатие данных, тюнинг параметров СУБД, распределенные таблицы, параллельные вычисления, форматы ORC/parquet; Опыт работы с оконными функциями, ROLLUP; Опыт работы с одной или несколькими аналитическими СУБД или платформами (Greenplum, Clickhouse, Vertica, Hive, Redshift или похожими); Понимание процессов Data-инженерии; Знание, чем отличаются ETL, ELT, CDC и опыт работы хотя бы с одним из этих data pipeline; Понимаете OLTP и OLAP, Опыт работы с Data Warehouse и Data Lake; Опыт разработки на языке программирования Python или Java; Знание Apache Airflow/Apache NiFi (иные похожие инструменты) Знание инструментов Pentaho Data Integration (PDI) или Hop (иные похожие инструменты); Умение проводить обработку структурированных данных (XML, JSON, YAML, CSV/TSV, иных) Опыт работы с обработкой не структурированных или слабо структурированных данных (электронные письма, логи, HTML-страницы, PDF документы, иные похожие виды данных) и извлечь из них требуемые сведения Навыки работы с ОС Linux Опыт работы с GIT Будет плюсом: Опыт работы с архитектурой Data Vault Опыт работы с Postgres и Clickhouse Опыт работы с Hadoop и/или S3 Умение "чинить" невалидные данные. Мы предлагаем: Работу в аккредитованной IT компании с большим потенциалом; Прозрачную систему мотивации, стабильную загрузку; Оформление в соответствии с ТК РФ; Дружный коллектив и лояльное внимательное руководство; Разнообразный набор социальных льгот и гарантий; Уровень заработной платы по результатам собеседования.Похожие вакансии
Договорная
Москва. Станции метро: Серпуховская, Павелецкая, Добрынинская
Эвокарго
Договорная
Москва. Станции метро: Серпуховская, Павелецкая, Добрынинская
НООСФЕРА
Договорная
Москва. Станции метро: Серпуховская, Павелецкая, Добрынинская
MAREE
Договорная
Москва. Станции метро: Серпуховская, Павелецкая, Добрынинская
GlowByte
Team Lead Data Engineer (GigaData)
Договорная
Москва. Станции метро: Серпуховская, Павелецкая, Добрынинская
СБЕР