工作内容：大数据采集系统规划设计和研发，该系统的主要任务是数据抓取；数据的清洗；数据的分析；基于大数据生态系统的hadoop以及spark、ignate、drill、nutch、hbase、kafka等技术为依托数据中心。代理IP管理服务器的研发；极验验证码破解。负责的主要项目介绍： 数据采集清洗分析系统责任描述：架构设计和技术落地，数据存储标准的制定，清洗规则制定，分析业务规范。项目简介：分布式存储服务：存储爬虫爬取的网页源代码，以及网页相关信息（url，时间，网页等信息类型）。基于rpc接口，接受爬虫远程调用，存储网页源码数据和日志等数据。监控是基于spring-boot 的rest api监控。存储是apache hbase 的底层存储。高速存储，可水平扩展，支持集群的分布式数据存储服务。数据清洗服务：数据清洗是爬虫爬取的数据解析和校验服务，检验数据的完整性和正确性，和数据转换。数据解析，复杂数据解析基于xpath；cssselector；正则表达式做数据提取；新闻或帖子等简单数据基于抽取算法 。数据解析后（格式化/结构化）发送到kafka ，。校验与转换通过订阅kafka流，持续校验与转换服务计算数据的缺失率；记录空置字段；货币单位统一等并记录业务日志，通过drill对日志分析来发现数据的问题，来改善数据质量。并保证入库数据的质量。程序运行时可基于ignate的分布式网格计算引擎。也可以基于spark stream运行。 监控是基于spring-boot 的rest api监控。通过校验的数据存储到mysql。业务日志存储到分布式存储服务（hbase）。校验规则和转换规则储到mysql。采集服务： apache Nutch爬虫框架的扩展，研发自定义动态fetch插件和可配置插件；自定义解析插件； 基于hadoop的mr分布式运行，hbase分布式存储。代理IP管理服务： 代理IP服务器的研发，该服务负责代理ip的可用性检查；以及代理ip的使用策略；动态添加删除ip；基于spring-boot 集成thrift 的rpc接口为爬虫程序调用。验证码识别与破解服务：极验验证码破解是工商网站数据抓取必须的环节。是基于浏览器破解和非浏览器破解。图片验证码识别是光学字符识别技术实现的，opencv + tesseract 基于spring-boot 集成thrift 的rpc接口为爬虫程序调用。用nginx做负载均衡

工作内容：云球app 产品的架构设计：设计核心业务数据模型，编写核心代码，制定产品的开发计划，组织团队进行开发工作。负责的主要项目介绍：云球APP 云球APP是一款足球APP，主要为足球爱好者提供线上约战服务、为金超联赛提供线上服务、球员和球队的数据收集、数据统计、技能指标分析、现场照片、现场视频等线上服务。开发语言后端服务为java， pc前端为extjs ，手机端为跨平台的hybird （html5 + touch）模式， 后台webserver服务为 nginx （静态服务）+ tomcat（动态服务）， 由redis 作为缓存服务，nginx负载均衡 ，tomcat集群。

负责编写ERM、知识工程、结构设计记录系统产品的开发文档，设计产品架构和核心业务数据模型，编写核心代码，制定产品开发计划，组织团队的开发工作。知识工程产品的信息采集服务器，该产品为大数据处理平台，主要应用爬虫技术对网站网页进行抓取，信息提取，元数据抽取，信息相关性去噪与内容去噪。实现了定时定向自动抓取，去噪，分类。工作期间负责编写产品开发文档，设计产品架构，制定产品开发计划，组织团队开发工作；应用java语言，Nutch apache开源爬虫框架，hadoop开源的大数据分布式处理平台，Hbase Nosql列式高性能数据库。

开发安防系统，编写产品开发文档，设计产品架构，设计核心业务数据模型，编写核心代码，组织并带领团队进行开发工作。中国网通的宽世界（业务层的核心框架，中心管理单元，基于Linux和windows平台）宽视界视频监控系统是中国网通集团新推出的一项宽带视讯业务，它为当今的企业提供一个全数字化的、纯网络架构的视频监控平台，它可给在任何地方的用户提供高效的视频监控和录像、预警事件管理、精确的视频回放以及企业级的管理功能。 宽视界视频监控系统完全基于TCP/IP网络，突出了分散监控、集中管理、功能集成、操作简便以及高度开放性的特点 。公安部的TC100（网络传输安全部分）公安部的安全监控项目，本公司平台软件（advr3）的车牌识别模块。 用到了SMIME，certificate(数字证书)，多线程编程，JNI(java native interface),SIP，Socket，AJAX,Java plugIn,XML，servlet，JDBC，JSP，JSTL等方面的技术和规范。