Data Engineer

October 20, 2026

Remote

Middle

Description

Ищем дата-инженера для аналитической платформы мобильной MMO RPG с открытым миром, ролевыми и гоночными механиками. В проекте много событийных данных, используются ClickHouse, Airflow, dbt и BI-отчёты с продуктовыми витринами. Специалист будет отвечать за надёжность, производительность и развитие платформы.

Responsibilities

Проектировать, поддерживать и оптимизировать ETL/ELT-процессы в Airflow: инкрементальные загрузки, backfill, cleanup, full-refresh, обработка исторических данных
Развивать ClickHouse-хранилище: проектировать таблицы, партиционирование, ключи сортировки, TTL и cleanup-логику, оптимизировать тяжёлые запросы и снижать лишние full scan
Работать с событийными потоками: ingestion из RabbitMQ и сырых event-таблиц, дедупликация, парсинг JSON-событий, контроль пропусков, восстановление необработанных событий
Поддерживать и развивать dbt-модели и BI-витрины: продуктовые отчёты, агрегаты, исторические срезы, контроль полноты и корректности данных
Разбирать инциденты с данными: почему отчёт полупустой, где пропали исторические значения, почему DAG стал выполняться дольше и накапливается очередь
Строить мониторинг качества и свежести данных: лаги пайплайнов, объёмы входящих и обработанных событий, пропуски по датам, аномалии в витринах, длительность DAG и task
Оптимизировать существующие процессы: убирать неэффективные anti-join и NOT IN, тяжёлые FINAL, полные OPTIMIZE, лишние 90-дневные cleanup-циклы, неоправданные full-refresh
Делать восстановление данных управляемым: безопасные backfill-сценарии, батчирование, проверка результата, повторяемые процедуры восстановления витрин и raw/event-потоков
Документировать критичные пайплайны: источники, SLA, логика дедупликации, как делать backfill, где смотреть бэклог, какие таблицы являются source of truth
Работать вместе с аналитиками и продуктом: понимать, какая витрина влияет на отчёт, какие события нужны бизнесу и как техническая проблема проявляется в продуктовой аналитике

Requirements

Уверенный SQL и опыт оптимизации запросов на больших объёмах данных
Практический опыт с ClickHouse или похожими columnar OLAP-хранилищами
Опыт с Airflow: DAG-и, retries, timeouts, backfill, dependency management, диагностика долгих task
Понимание event-driven data pipelines: очереди, raw events, idempotency, дедупликация, late events
Опыт с dbt или похожим подходом к аналитическим моделям
Готовность соединять в работе data engineering, AI-инструменты и практическую автоматизацию внутренних процессов
Умение расследовать проблемы системно: от симптома в BI-отчёте до конкретного запроса, таблицы, ключа сортировки или сломанной логики cleanup
Желание работать не только над доставкой данных, но и над надёжностью всей data-платформы