Data Engineer
Current— Проектирование схем хранения данных— Приведение сырых данных к плоским таблицам согласно схеме данных— Работа со следующими системами (источники данных и целевые системы для хранения витрин): Hadoop, PostgreSQL, Clickhouse, Teradata, Kafka.— Загрузка и обработка данных из внешних источников: sFTP, API— Автоматизация пайплайнов по обработке данных с помощью Airflow (в том числе обработка потоковых данных).— Организация процесса проверки качества данных: разработка метрик… Show more — Проектирование схем хранения данных— Приведение сырых данных к плоским таблицам согласно схеме данных— Работа со следующими системами (источники данных и целевые системы для хранения витрин): Hadoop, PostgreSQL, Clickhouse, Teradata, Kafka.— Загрузка и обработка данных из внешних источников: sFTP, API— Автоматизация пайплайнов по обработке данных с помощью Airflow (в том числе обработка потоковых данных).— Организация процесса проверки качества данных: разработка метрик, автоматизация расчета метрик, сохранение результатов в БД для построения дашбордов по качеству данных— Предоставление экспертной поддержки внутренним потребителям (data analysts, data scientists)— Создание и поддержка в актуальном состоянии документации в Confluence (описание витрин, DAG'ов Airflow, DQ, инструкций для дата аналитиков) Show less