日志服务：一站式的日志数据的收集、计算、存储、查询和分析的服务，是一个数据中台。向下屏蔽数据获取的细节，向上为业务提供高质量的数据，更加强大的计算引擎，实时分析的能力。让数据驱动成为可能。帮助文档https://help.aliyun.com/product/28958.html。负责后端和客户端的开发工作。包括：分布式流处理系统：类似于storm的实时计算系统。λ 分布式日志索引实时查询系统 实时构建每天P级别数据的索引构建，1分钟内完成实时写入数据的构建，在100毫秒延时内查询1000万条数据。支持文本类全文索引，键值索引，前缀索引，数值类似索引。支持以API进行全文关键之搜索，键值搜索，模糊搜索，数值范围搜索。支持and，or，not逻辑计算。服务支持在线热升级。λ 实时交互式OLAP 以presto为基础进行深度开发。为presto增加connector，从索引查询系统读取数据，由presto计算。根据业务需求，开发对应的函数。 优化presto执行驱动，添加缓存层，提供秒级别计算百亿数据的能力。 开发自定义处理逻辑，提供IP->经纬度、国家、省市、运营商的快速精确转化，算法性能在O(1)级别。 优化presto执行计划，优化计算性能。降低用户使用SQL的门槛，用户不需要关心底层逻辑，即可获得高效的计算。 个人博客，Presto结构介绍：https://blog.csdn.net/sjtuyunlei/article/details/78219029 Presto查询执行过程：https://blog.csdn.net/sjtuyunlei/article/details/79382979λ 分布式流处理系统 类似Storm的实时计算系统，对日志数据进行实时聚合计算，统计时序指标。λ 实时监控系统根据日志数据计算集群监控指标，使用nosql保存数据，web展示监控指标。λ linux日志实时收集系统实时收集和解析linux增量日志，具备良好的实时性和容错性，自我监控运行状态。服务端统一管理数十万台机器上的进程，及其配置文件，和版本，由服务端控制自动升级。