Иван Клименко Email & Phone Number

Санкт-Петербург, Россия

Санкт-Петербург, Россия

Руководство направлением интеграции данных для аналитического хранилища. Анализ источников, разработка систем интеграции, обеспечение заполнения первичных слоев хранилища в целях продуктовых команд. Формирование инфраструктуры ETL, разработка релизных циклов, ревью кода.Основные результаты:1. Модификация загрузки в DWH АПИ RuData Интрерфакс. Внедрение многопоточности, разделения цепочек загрузки по деревьям методов, что позволило сократить общее время загрузки с 9 часов до 2 часов.2. Внедрение ETl/ELT кластера - Kafka, Nifi, Schema Registry, Redis3. Внедрение CDC на базе Debezium4. Разработка релизного цикла для конфигурации CDC, пайплайнов NIFI, разработки схем данных

Санкт-Петербург, Россия

Разработка ETL процессов с применением Apache Airflow и Apache NIFI для целевой БД GP.Формирование инфраструктуры ETl.Основные направления, позволившие оптимизировать загрузку:1. Разработка системы загрузки в DWH от API RuData Интерфакс -разработана конфигурируемая система, позволяющая с небольшой модификацией кода добавлять новые цепочки загрузки2. Разработка системы загрузки Excel файлов в вертикальной раскладке, что позволило грузить разнородные файлы в одном механизме. Преобразование в табличный вид выполняется на этапе стейджинга

Санкт-Петербург, Россия

Внедрение сервиса Apache NiFi как основного ETL инструмента. Разработка потоков ETL для различных источников (Oracle, MsSql, MySql, PostgreSQL, Kafka) и загрузка данных в различные целевые системы. Оценка работоспособности сервиса, организация мониторинга.Разработка параметризированных потоков, что позволило ускорить подключение нового источника в целевую архитектуру. Разработка системы ведения архива - запись, извлечение, автоматическая очистка устаревших данных.Внедрение сервиса Apache Airflow - оркестратор процессов. Развертывание и конфигурирование сервиса, разработка Docker-контейнера для DEV-среды. Разработка DAG (Python), разработка собственных провайдеров ( Airflow к Clickhouse), операторов. Раработка процессов.

Санкт-Петербург, Россия

- Руководство командой разработчиков и системных администраторов;- Выработка стратегии развития инфраструктуры, в том числе с внедрением решений по автоматизации задач системного администрирования;- Разработка системы метрик и показателе, внедрение в СППР;- Разработка требований к системам, бизнес аудит, экспертиза решений, разработанных внутри организации и от подрядчиков организации;- Организация (внедрение) корпоративной системы управления проектами и задачами (Atlassian Jira), разработка системы доставки приложений в условиях обособленной сетевой инфраструктуры;• Презентация проектов;- Участие в работе над проектами команды (FrontEnd/BackEnd разработка) с исползованием C# (.Net и .Net Core), решений доступа к базам данных через Entity FrameWork, графических интерфейсов с помощью React.Js (Node.JS/Typescritp/Javascript), общей шины данных Apache Kafka, баз данных Ms Sql Server и MongoDB, поставка решений в Docker-контейнеры;- Разработка приложений с хостингов в Ms Azure;

Санкт-Петербург, Россия

Инженер-программист1. Разработка программного обеспечения (C#):- Портирование ранее разработанного ПО на стеке Delphi/Pascal/Borland C++ на стек .Net (C#);- Разработка Desctop приложений на платформе .Net - управление базой данных системы поиска;- Разработка модулей системы конвеейрной обработки- Участие в разработке модулей системы распределённой конвейерной обработки потоковых данных.2. Базы Данных - Проективание и разработка баз данных, таблиц, представлений, хранимых процедур и функций.- Разработка CLR-хранимых процедур

Санкт-Петербург, Россия

Инженер-программист1. Разработка программного обеспечения (C#):- Портирование ранее разработанного ПО на стеке Delphi/Pascal/Borland C++ на стек .Net (C#);- Разработка Desctop приложений на платформе .Net - управление базой данных системы поиска;- Разработка модулей системы конвеейрной обработки- Участие в разработке модулей системы распределённой конвейерной обработки потоковых данных.2. Базы Данных - Проективание и разработка баз данных, таблиц, представлений, хранимых процедур и функций.- Разработка CLR-хранимых процедур

Санкт-Петербург, Россия

Младший инженер-программист1. Программирование (Delphi):- Разработка Desktop приложений доступа к данным, приложений работы 24/7.- Разработка и поддержка внутренней многопользовательской системы управления задачами и обмена данными.- Разработка dll библиотек поисковых алгоритмов для потоковых данных.- Разработка dll библиотек обмена данными по сети с использованием TCP/IP и UDP;- Разработка и реализация протоколов обмена данными между компонентами конвейерной обработки данных;- Тестирование, внедрение стороннего программного обеспечения.2. Базы Данных- Разработка представлений баз данных- Разработка хранимых процедур и функций

Диплом Специалиста По Инженерной Специальности, Асу, 5

Activities and Societies: Спортивное ориентирование

Инженер, Асу, 5