项目：计算资源调度自动化平台：Linux 、SGE、公司自有 IAAS 语言：python、shell工具：tensorflow、keras、Prophet、numpy、pandas、hyperopt、sklearn时间：2017年11月-2018年10 （ 一期 ）负责：需求调研、方案设计、建模及模型api、辅助测试及部署、数据清洗指导数据库：ES、oracle、mariaDB、mongoDB 本项目背景为原集群计算资源调度完全依赖SGE本身的功能，集群的计算资源不得不按部门、按任务类型分成大大小小的、独立的十数个队列，导致资源割裂、使用效率低下。本项目旨在利用过去积累的任务日志、节点负载日志等数据，使用机器学习等成熟技术，做到预测任务释放资源的时间、预测未来一定时间节点的计算资源需求，以期达到资源调度自动话、集约化的目的。模型主要有两个：使用神经网络搭建的任务资源释放时间预测模型，使用FB Prophet 的资源需求趋势模型。目前还在推进优化中，初版上线以来节约人力、能源、硬件的成本1000万以上。