Обязанности:
Лига Цифровой Экономики в поиске Руководителя группы Data-инженеров на проект крупного Банка. Команда разрабатывает и внедряет информационную систему функционально-стоимостного анализа для целей распределения административно-хозяйственных расходов по объектам затрат в рамках импортозамещения. Твои задачи: Формировать техническое видение системы и разрабатывать дорожную карту (roadmap) развития системы Руководить командой инженеров (2-5 человек): распределять задачи, проводить код-ревью, участвовать в наставничестве и повышении квалификации команды Развивать архитектуру платформы: выявлять узкие места, оптимизировать и масштабировать систему Проводить рефакторинг и оптимизацию существующих процессов для повышения производительности и надежности системы Реализовывать высокопроизводительные расчетные алгоритмы на базе Apache Spark (Java), анализировать планы запросов и оптимизировать алгоритмы для снижения времени выполнения и потребления ресурсов Проектировать новые модели данных и процедурную логику, внедрять их реализацию в Greenplum, PostgreSQL, Clickhouse для поддержки новых видов аллокаций, аналитик, отчетов Реализовывать новые модели данных на базе Apache HiveMetastore над HDFS Выстраивать и сопровождать производственные DAG в Apache Airflow с использованием специально созданных операторов для системы как на базе стандартных, так и в рамках расширения функционала, надежности, наблюдаемости специальных операторов Взаимодействовать с аналитиками для анализа требований, проектирования новых функциональных возможностей и консультирования по архитектурным и техническим вопросам Принимать технические и архитектурные решения в рамках задач, рефакторинга существующих процессов и оптимизации системы с последующей реализацией и контролем их имплементации Мы ждем от тебя: Опыт работы на позиции Tech Lead, Team Lead или Ведущего инженера с функциями технического лидера и управление командой Опыт развития и масштабирования сложных Data-систем, а не только поддержки существующих систем Практический опыт с Apache Spark (Java): разработка, оптимизация алгоритмов для обработки больших данных, подбор и оптимизация параметров, анализ логов, умение выявлять и отделять разные типы ошибок по источнику их возникновения (данные, алгоритм, параметры запуска и пр.) Опыт с Greenplum (или аналогичные MPP-системы): архитектура, оптимизация распределенных запросов, партиционирование, шардирование, создание объектов разного типа, понимание различий таблиц разного типа Умение создавать операторы в Apache Airflow, проектировать графы (dag) сложной топологии с учетом разной логики запуска задач, связей между ними PostrgeSQL: работа с индексами, оптимизация запросов, секционирование таблиц, глубокие знания SQL и процедурного SQL HDFS: понимать принцип работы распределённой файловой системы, процессов чтения, записи удаления данных, принцип настройки прав доступа к данным Apache Hive Metastore: понимание назначения, принципа работы, знание особенностей HiveQL для создания, анализа объектов ClickHouse: архитектура, принцип построения кластеров, работы с ним, знание о разных типах движков и их различий и иных объектах помимо табличных движков, понимание особенностей настроек сессий подключения, фоновых процессов и умение управлять ими, понимать принципы шардирования и репликации данных Умение проектировать масштабируемые и надежные ETL/ELT-процессы Понимание принципов работы и построение Gitlab CI/CD или аналогов Что мы предлагаем: Команда профессионалов, где каждый увлечен своим делом и готов поделиться экспертизой Безграничная прокачка скиллов Работа в современном и комфортном офисе ст. м. Савеловская, гибридный график Поездки на конференции и тренинги за счет компании, внутренние семинары, внутренние митапы, мы очень любим учиться новому Новая техника для комфортной работы Сессии профессионального развития 2 раза в год, результатом которых является план индивидуального развития каждого сотрудника и получение обратной связи Корпоративная культура со своими ценностями и традициями, в которой каждый чувствует себя частью командыПохожие вакансии
Руководитель группы разработки / Tech Lead С# / .Net
Договорная
Москва. Станции метро: Савеловская
МКК ДеньгиОК