运行时细粒度资源控制系统

基本信息

授权协议：GPL
操作系统：Centos
开发语言：JAVA
开发单位： 北京航空航天大学
项目网站： https://xueshiqing.github.io/
项目源码下载： https://gitee.com/xueshiqing/Muses

项目描述

运行时细粒度资源控制系统主要针对计算节点进行多维度资源建模和隔离以最优化底层计算资源在在线任务和离线任务间的分配提高集群资源利用率， 由北京航空航天大学倾力打造。目前大规模数据中心的平均资源利用率较低，主要原因是对于一些延迟敏感任务需要预留大量资源以应对不断变化的 负载情况，资源预留就造成了大量资源闲置。目前通用的解决方案是通过将延迟敏感和延迟非敏感任务部署在同一台服务器上以达到削峰填谷的效果， 但是这种方法的主要挑战是如何降低和避免因为共享资源而引起的离线任务对在线任务的性能干扰。在线任务有着严格的QoS标准， 即使受到很小的性能干扰也可能会引起QoS的违规。为了保障在线任务的QoS的同时兼顾高资源利用率，可以在单节点服务器上提供有效的资源隔离机制来避免在、离线任务之间的性能干扰。 本项目就是基于上述背景进行展开的，主要面向大规模数据中心。

技术架构

1. 后端

• 基础框架：Hadoop-yarn，docker，protobuf
• 日志打印：log4j
• 其他：Intel RDT,fastjson，lombok等

2. 开发环境

• 语言：JAVA
• IDE：IDEA
• 依赖管理：Maven

功能模块

• 在线任务多维度资源使用量建模预测
• 带宽类资源自适应隔离

后台开发环境和依赖

• java
• maven
• Hadoop-yarn
• docker
• protobuf

项目下载和运行

• 拉取项目代码

  git clone url

• 编译

  mvn clean;
  mvn package;

• 运行

  cd /HADOOP_HOME/bin
  ./start-all.sh

附件下载