Andy Ai Email & Phone Number

TBD

Beijing City, China

在报价搜索平台开发组担任开发工程师，主要的职责是对系统进行重构与性能优化。完成的任务包括:- 系统服务结构重构，优化系统启动时间，解决系统执行 shutdown hooks 时的服务依赖异常。- 优化配置文件加载性能，解决配置文件的重复扫描，将解析速度由 60.5s 优化到 0.5s.- 扩展配置中心客户端的管理功能。- 房型聚合重构，提高资源利用率。- 优化报价抓取，将重复抓取减少 ~40%。- 设计与 Quanr 线上运行环境相符合的断路器，减少外部服务对系统的影响，提高系统稳定性。

1. Token Service负责系统的设计和全部开发， Token Service 主要用来管理电商平台卖家用户通过 Oauth 授权的 token。例如: A用户在淘宝平台授权的开放接口调用的 session key。系统的核心要求是要做到高性能和高可用(7 * 24)。为了达到目的，在系统架构方面采用集群方式， 使用 LVS 技术虚拟一个公共入口，通过 Nginx 将用户请求均匀地分发到节点上。在程序架构方面，为了达到节点的弹性扩展将用户接口设计成了无状态形式，这样一来请求分配到任何节点上都能正常服务。效率方面使用了缓存方式提高了响应速度。2. ETL负责系统的架构设计和核心功能(E & L)开发， ETL 将多个数据源的数据通过转换处理最终将数据载入到任何需要数据的系统中。该系统的难点在于：1. 众多的数据来源；2. 需要响应各种各样的提取源(目标源多)；3. 复杂多变的业务转换；4. 数据载入容易堵塞，同一时间容易出现大批量数据。为了解决这些问题，我们采取了一些措施：1. 对数据源进行分类管理。2. 使用可适配的提取算法，将任务原子化。减小系统上下文切换和错误恢复更加简单高效。3. 使用 DSL 描述业务转换逻辑，适应多种转换需求和降低使用难度。4. 对并行计算进行分区管理，避免计算堵塞。5. ...此系统到目前已经支撑整个公司的数据提取转换和载入业务，实时主订单流量最大到达过 ～3kw/h。3. ODS负责系统的架构设计和全部开发，ODS 主要用来存储多个系统的数据并且将这些数据提供给多个系统使用。使用 ODS 的系统能够很简单地使用它提供的接口来实现添加，删除，修改和搜索的需求。同样地，它除了要管理大量的数据之外还需要对这些数据按照用户的需求进行检索(查询)。这要求系统需要适应弹性的变化，又要有较强的兼容性。在架构上，我们使用了数据分区和分布式的技术；在技术实现上，我们使用了 RESTful 接口设计和 Sliner(动态查询与索引) 技术。系统的实现主要根据我的个人开源项目 - [Sliner](https://github.com/aiyanbo/sliner) 和[动态索引博客](https://gist.github.com/aiyanbo/6f57b46467ceaece9a5a)结合思考而来。4. 其他项目1. 通用框架实现2. 各类中间件的客户端插件

Shanghai

1. Kewill Forwarding我在项目中主要负责报表功能开发以及对系统框架进行开发维护。报表功能的难点在于要实现客户各式各样的报表排版以及非常复杂的数据检索条件(OLAP)。为了达到样式的多元花使用了动态模版引擎渲染报表样式，在易用性方面提供了可选的默认模版。在数据检索方面发明了简单 DSL来提供类 OLAP 的需求。例如：在常规的 SQL 查询中 `group by`操作只能返回被聚合的值，这时就需要定义分组操作的DSL用来满足在分组的情况下返回数据明细。这个项目让我自豪的地方是：我们没有大量采用现成的框架，而是自己实现。在这个过程中我们有更多的创意被使用，也积累了大量的基础知识和解决问题的思路。这也使得我的第一个开源框架 [JMotor](https://github.com/aiyanbo/jmotor)能够顺利诞生。