目录
目录README.md

SparkNVM:Spark框架持久性内存适配层

安装过程

cd SparkNVM
mvn package clean
mvn install
  • 上述步骤需要root权限,操作完成后确保已将libjnipmdk.so安装到/usr/lib路径,并生成了java-1.0-jar-with-dependencies.jar文件。
  • 将spark-defaults.conf中的spark.driver.extraClassPath、spark.executor.extraClassPath等参数指向java-1.0-jar-with-dependencies.jar的保存位置。
  • 将libjnipmdk.so和java-1.0-jar-with-dependencies.jar拷贝到集群中的其他机器,并执行ldconfig刷新动态链接库路径。
  • 使用修改后的spark-defaults.conf替换原始Spark中的同名配置文件,并启动集群。
关于

国防科技大学负责的课题四:持久性内存存储系统I/O栈优化及大数据应用框架的支持

218.0 KB
邀请码
    Gitlink(确实开源)
  • 加入我们
  • 官网邮箱:gitlink@ccf.org.cn
  • QQ群
  • QQ群
  • 公众号
  • 公众号

©Copyright 2023 CCF 开源发展委员会
Powered by Trustie& IntelliDE 京ICP备13000930号