Рабочие задачи
- Разработка и оптимизация пайплайнов данных для сбора, обработки и подготовки данных (batch/инкрементально), включая загрузку в DWH и витрины.
- Проектирование и поддержка решений для хранения данных: реляционные БД и (при необходимости) NoSQL.
- Совместная работа с архитекторами данных, аналитиками и бизнес-командами: уточнение требований, согласование моделей, SLA, критериев качества.
- Обеспечение качества и согласованности данных: DQ-проверки, reconciliation, контроль полноты, обработка дублей/аномалий.
- Диагностика и устранение инцидентов с данными, оптимизация производительности, автоматизация рутины.
- Ведение технической документации по пайплайнам/таблицам/интерфейсам, участие в code review.
Профильные навыки
- SQL: PostgreSQL, MS SQL Server, MySQL, Oracle и др.
- Понимание принципов проектирования и эксплуатации DWH/витрин данных.
- Знакомство с NoSQL (как минимум на уровне понимания и базовой практики): MongoDB, Cassandra, Redis и др.
- Data Modeling: Dimensional Modeling, Star/Snowflake Schema; понимание SCD/историзации будет плюсом.
- Базовое понимание архитектуры данных и подходов к оптимизации производительности (индексы, партиционирование, план выполнения, батч/инкрементальные загрузки).
- Уверенное владение одним из языков: Python (приоритетно), либо Scala/Java.
- Git
- Jenkins/GitLab CI (или аналоги)
- IaC (Terraform/Ansible)
- Подтвержденный опыт построения надёжных, автоматизированных data workflows: расписания, мониторинг, ретраи, идемпотентность, логирование.
Коммерческий опыт
Рассматриваем Junior+, Middle и Senior. Минимум для каждого направления: 6 месяцев коммерческого опыта по профилю. Курсы и личные проекты могут дополнить его.
Курсы и личные проекты не заменяют коммерческий опыт.
Плюсом будет опыт применения AI-инструментов в коммерческой работе: с проверкой результата тестами и ревью, соблюдением конфиденциальности.
Расскажите о своём опыте
Опишите пайплайн, который вы разрабатывали: источники, хранение, повторные загрузки и проверки качества. Укажите язык и инструменты оркестрации.
Рассказать об опытеЗнакомимся со специалистами этого направления для будущих проектов. Эта страница не является объявлением об открытой вакансии.