Aleksandr Dmitriev Email and Phone Number

Разработал и поддерживал систему подготовки и хранения данных в банке на кластерах Hadoop, используя: python, hdfs, impala, hive, yarn. Масштаб кластера: 2 ПБ, 30 разнородных источников данных, 500 пользователей.Создал "с нуля" систему подготовки данных на Hadoop, разработал для нее свой ELT-движок. Реализовал разграничение доступа к данным, тесты качества данных, синхронизацию объектов на резервном кластере Hadoop. Оптимизировал обработку данных как по быстродействию, так и по занимаемому объему. Проводил обучение пользователей при переходе с Oracle на Hadoop. Совместно с Data Scientist работал над прикладным использованием подготовленных данных. Обеспечивал непрерывность предоставления услуг пользователям при авариях и сбоях. Обучил и руководил группой сотрудников.

Начальник отдела сопровождения хранилища данных и систем отчетности.Руководил группой экспертов; вместе сопровождаем системы аналитической и обязательной отчетности в банке.Работал над сводным хранилищем данных ВТБ на СУБД Oracle почти с момента его создания (проект начался в 2007). За это время участвовал во всех этапах его становления:– разрабатывал логическую модель и архитектуру,– исследовал источники данных (порядка 35),– анализировал бизнес-требования заказчика (Центральная бухгалтерия, Управление отчетности, Департамент рисков и пр.) и требования ЦБ РФ,– писал маппинги, технические задания, руководства пользователя и другую документацию,– разрабатывал и внедрял системы загрузки из источников, витрины данных, отчеты,– разрабатывал процедуры контроля качества данных,– оптимизировал работу хранилища, как по быстродействию, так и по занимаемому объему,– разработал систему автоматического мониторинга и предупреждения (отслеживает нарушение регламентов загрузки, целостность данных, работоспособность систем и пр.),– разработал систему метрик для автоматического мониторинга штатной работы систем, а также оценки эффективности оптимизации,– обеспечивал непрерывность предоставления услуг пользователям при авариях и сбоях.

Благодаря долгой работе по поддержке больших production систем (17 ТБ данных, 700 пользователей, 30 систем-потребителей данных) выработался навык решать сбои и аварийные ситуации быстро и аккуратно, прогнозировать последствия каждого изменения, не оставлять причины сбоев нерасследованными и нерешенными.Частая смена разработчиков показала важность использования стандартов, разработки автоматических контролей, регламентов, документирования проекта.На всех этапах жизненного цикла систем последовательно наладил регулярную обратную связь с потребителями, научился правильно расставлять приоритеты для подчиненных, узнал, как должны работать user-friendly приложения.Вследствие сопровождения большого парка систем и регулярно поступающим запросам на анализ данных в них или на проведение экспертизы научился работать в многозадачном режиме.Последние интересные и масштабные проекты, в подготовке и выполнении которых был задействован мой отдел:1) Замена ETL-инструмента. ETL-процессы были переведены с Oracle Warehouse Builder (OWB) на другой инструмент (Informatica Power Center) без потерь в качестве данных и сопровождения. Для меня этот проект был интересен кардинальной сменой парадигмы загрузки и, как следствие, новыми проблемами, и подробнейшим тестированием, для которого я разработал автоматические тесты.2) Слияние с Банком Москвы (крупный розничный банк). В этом проекте было интересно решать проблемы, связанные со скачкообразным увеличением масштабов информационных систем. Руководил проактивной оптимизацией, которая позволила сохранить быстродействие систем, практически не изменяя аппаратный комплекс.3) Переход на новую АБС – источник детальных данных (в процессе). После проведенного гэп-анализа загрузки данных из новой АБС в хранилище прорабатывал перестройку интеграции АБС и хранилища.

Специалист. Проект по автоматизации процесса бизнес-планирования в крупном банке. Собрал и проанализировал требования заказчика, спроектировал и разработал прототип системы, написал документацию.