blabla

京东-智能城市事业部-时空数据产品组负责电商/零售/金融/物流/时空/交通/电信/宏观等数据的管理分析平台、上层数据分析应用的开发12 repositories，854 commits，243K effective lines of code◆ 地块指标分析（通用平台）：整合线上电商/线下消费/轨迹/电信/交通/宏观数据，展示地区/时间指标数据趋势，并对产业零售/人群消费画像/区域建设等做功能性挖掘分析◆ 时空数据管理平台（JUST）：分布式时空数据管理分析平台，在完整DBMS基础上提供Web用户控制台；整合电商零售/物流/交通/POI数据并支持用户数据载入；内置多情景挖掘算法函数；以Driver SDK形式接入第三方应用◆ 国家现代产业园：可视化大屏展示四川产业园的商家销售、贸易流通、线上/线下消费现状。◆ 区域经济研究：从全国到用户自定义街区，通过分析宏观统计、线上线下消费、路网出行等数据，从购买力、街道便利度、经济流动等角度分析地区发展现状◆ 新冠病毒分析系统：疫情期间根据交通出行、线上购物、驻留居住记录，追溯密切接触者和高风险地区

◆ PaaS平台上的权限控制系统设计、拦截模式、粗/细粒度的访问限制，以及管理员后门。累计接入300余内部/企业应用，控制100+角色类型以及50000+业务◆ SaaS上的服务器配置平台-服务器健康监测、性能排名（实时+缓存）、流量分析、权限系统接入、国际化（实现全自动化）◆ 老应用的附件，从老服务器到新服务器的数据迁移：旧链接扫描、文件内存缓存、腾讯云接口对接上传（实现拥塞控制）、数据库更新、自动化确认。共超过500W条（5T）附件夜间迁移

◆ HBase的日志批量导入、查询，性能测试以及优化：将数据导入速度提升15倍以上◆ 集群数据准确性监控脚本：监控三方数据源，汇报异常数据、新数据以及组件运行状态。100天内共汇报30W余条异常以及异常根源，将数据异常频率降低98.9%◆ 数元API：HBase、ES以及MySQL的数据访问接口，自动数据清洗，提供多维、级联查询（缓存并实现内网缓存共享，查询速度提升5倍）◆ 使用logstash解析超过300种类型日志的全部字段，自动化入库到ES、hive、Hbase、MySQL，将入库时间从15小时优化到3.5小时◆ 数据仓库选型：重点字段MySQL索引、Hbase字段分割、hive和impala非高峰期转表

◆ 针对网站点击流日志，多维度分析网站内容、用户访问（日20-40W）、流量转换等指标◆ 设计数据仓库模型，建立事实表与维度表，根据分析需要，构建数据中间表◆ 数据清理：MapReduce进行预处理并导入HDFS存储，加载到数据仓库（日5-10T）◆ 通过MapReduce和Hive多维度分析PV/UV以及用户来源、行为、忠诚度等指标，并分析网站漏斗模型转换率，将业务广告点击量提升3%