宋世俊 Email and Phone Number

【1】对目前项目上遇到的问题，通过数仓开发规范的形式，总结一些共有问题，以结论的形式体现在规范中，并确保规范在开发同学实际开发中可以得到普及应用：举例有：（1）数仓底层文件存储格式选用orc file（符合条件的前提下），好处为，为后期优化提供空间，且，改文件格式特性具备10+倍的空间压缩效果，且文件格式具备自描述索引，极大压缩框架对待处理数据的文件扫描，提高了框架自身谓词下推的前置上限；（2）表命名、路径命名有了参考、由于好多项目工期紧张、实施压力大，逻辑混杂，可供数据探查调研时间短到几乎没有，中后期理解后前期的工程已经混乱，前期具有一定章法的命名及路径规范对中后期工程不论重构还是有条理的查找提供了一定基础，更有条理；（3）对项目共有不知如何做数据探查及数据质量的保证，总结出数据质量篇嵌入规范，提供一定理论参考，每个项目根据自身特殊性，酌情参考实施；（4）针对不同项目存在的不同维度性能问题，总结出共性问题，直接将优化形成总结性方案，嵌入规范章节中，开发直接根据结论，开发过程中直接应用，做到开发出来的代码既是优化后的结果，比如HIVE的谓词下推特性，以不同关联条件下，结合HIVE本身CBO特性下，谓词下推是否开启形成结论，开发直接以公式代入的方式进行实施，并养成了开发习惯。【2】规约数仓离线分层处理逻辑，汇总各层间业务通用场景，架构通用代码工程，达到ODS入仓及ODS-DW层依赖配置实现的低代码工程，后期规划结合前端实现界面编辑通用ETL逻辑码配置，触发后端任务执行，实现非开发人员的低代码工程功能。【3】协同不同团队，对交付开发部与业务POD起到衔接沟通的功能，将业务侧需求以开发可以理解的思维方式进行转化，形成内部高效沟通管道，避免了低效沟通及无效沟通；【4】参与分配到的不同项目的项目组，承担售前架构、职能架构、技术经理、ETL落地开发的功能职责；【5】协同团队直属leader，沟通协商团队发展、扩大团队、人员编排、团队梯队建设等问题；【6】解决项目实施过程中开发同学遇到的技术问题，编写Hadoop生态各常用组件培训文档，对相关技术人员进行技术培训

【1】负责业务数据调研，数据接入、清洗、落地、数据老化全链路流转设计及落地实现【2】数据中台的逻辑架构、元数据、数据资产、数据质量、数据生命周期管理、数据链路监测等环节与模块的设计及实现【3】以现网数据中台业务为出发点，结合现存问题调研新技术解决痛点问题及方案落地【4】作业级性能调优，维护稳定运行【5】编写Hadoop生态各常用组件培训文档，对相关技术、实施、产品、策划等人员进行技术培训

【1】架构设计方案的提出及建设【2】集群环境搭建， 配置及维护【3】针对业务方(网安、网信等)需求进行方案设计及实现、mapreduce、spark程序编写及调优【4】涉及文档的编写及完成CI/CD管道

【1】参与大数据测试环境及生产环境的建设与维护；【2】负责友空间的用户使用产生日志及业务数据的处理分析及数据挖掘；【3】负责友空间产品的运营情况数据的分析产出；【4】基于hive的数据仓库的搭建及数据的增量导入；【5】基于Apache kylin的OLAP系统架构方案提出及建设。

【1】参与大数据项目的需求分析/技术方案设计/社区版环境搭建；负责基于Spark分布式并行计算框架的应用代码实现/troubleshooting及性能调优；【2】参与城市消防远程监控系统项目的技术选型，参与前期开发，后期参与大数据项目开发；【3】负责消防联动系统上位机软件设计与开发及系统通讯调优工作，通讯协议的拟定；【4】协调嵌入式及上位机开发人员的资源配置，进行进度控制，产品技术支持，对实施人员进行培训；【5】辅助生产，设计开发工装软件提高生产效率及生产线自动化程度。