登录
org_th_pmss
/
课题四:持久性内存存储系统I/O栈优化及大数据应用框架的支持
关注
点赞
复刻(Fork)
主页
代码库
疑修(Issue)
合并请求(PR)
流水线(devops)
里程碑
维基(Wiki)
动态
目录
master
分支
1
标签
0
+ 疑修
Web IDE
下载
pyyaoer
Update README.md
4年前
3次提交
core
Initial commit
4年前
native
Initial commit
4年前
README.md
Update README.md
4年前
pom.xml
Initial commit
4年前
spark-defaults.conf
Update README.md
4年前
README.md
SparkNVM:Spark框架持久性内存适配层
安装过程
cd SparkNVM mvn package clean mvn install
上述步骤需要root权限,操作完成后确保已将libjnipmdk.so安装到/usr/lib路径,并生成了java-1.0-jar-with-dependencies.jar文件。
将spark-defaults.conf中的spark.driver.extraClassPath、spark.executor.extraClassPath等参数指向java-1.0-jar-with-dependencies.jar的保存位置。
将libjnipmdk.so和java-1.0-jar-with-dependencies.jar拷贝到集群中的其他机器,并执行ldconfig刷新动态链接库路径。
使用修改后的spark-defaults.conf替换原始Spark中的同名配置文件,并启动集群。
关于
国防科技大学负责的课题四:持久性内存存储系统I/O栈优化及大数据应用框架的支持
c++
scala
java
README.md
184.0 KB
邀请码
SparkNVM:Spark框架持久性内存适配层
安装过程