CloudEon云原生大数据平台

🌉 构建于kubernetes集群之上的大数据集群管理平台 🌉

ℹ️ 项目简介

CloudEon是一款基于kubernetes的开源大数据平台，旨在为用户提供一种简单、高效、可扩展的大数据解决方案。该平台致力于简化多种大数据服务在kubernetes上的部署和管理，如Hadoop、Doris、Spark、Flink、Hive、Kafka等，能够满足不同规模和业务需求下的大数据处理和分析需求。

🔗 文档快链

项目相关介绍，使用，最佳实践等相关内容，都会在官方文档呈现，如有疑问，请先阅读官方文档，以下列举以下常用快链。

🔍 功能特点

🚀 快速搭建大数据集群：通过CloudEon，用户可以在kubernetes上快速搭建部署hadoop集群、doris集群等大数据集群，省去了手动安装和配置的繁琐过程。
🐳 容器化运行所有大数据服务：CloudEon将所有大数据服务都以容器方式运行，使得这些服务的部署和管理更加灵活和便捷，同时也能更好地利用kubernetes的资源调度和管理能力。
📈 支持监控告警等功能：CloudEon提供了监控告警等功能，帮助用户实时监控集群运行状态，及时发现和解决问题。
🔧 支持配置修改等功能：CloudEon还提供了配置修改等功能，使得用户能够更加灵活地管理和配置自己的大数据集群。
🤖 自动化运维：CloudEon通过自动化运维，能够降低集群管理的难度和人力成本，同时也能提高集群的可用性和稳定性。
👀 可视化管理界面：CloudEon提供了可视化的管理界面，使得用户能够更加直观地管理和监控自己的大数据集群
🔌 灵活的扩展性：提供了插件机制，让用户可以自定义拓展和安装更多的大数据服务。这个插件机制是基于开放API和标准化接口实现的，可以支持用户快速开发和集成新的服务。
📊 多种大数据服务支持：除了hadoop和doris，CloudEon还支持其他多种大数据服务的部署和管理，如Spark、Flink、Hive、Kyuubi等。

页面功能概览：

👨‍💻 开源地址

分类	GitHub	Gitee
后端	https://github.com/dromara/CloudEon	https://gitee.com/dromara/CloudEon
前端	https://github.com/dromara/CloudEon/tree/master/cloudeon-ui	https://gitee.com/dromara/CloudEon/tree/master/cloudeon-ui
大数据组件	https://github.com/dromara/CloudEon/tree/master/cloudeon-stack	https://gitee.com/dromara/CloudEon/tree/master/cloudeon-stack

🏖开源初衷

容器化设计可以很好地屏蔽操作系统细节，提高隔离性，并在构建过程中提前安装依赖的外部环境和工具，从而使得后续的服务可以在不同的服务器环境中运行。

在研究Hadoop on Kubernetes时，我们采用了helm完成了服务依赖顺序、配置关联影响和容器编排等工作。我们还整合了Doris（多Fe多Be）、DolphinScheduler、Kyuubi和Spark等服务，并实现了使用一句helm install命令即可正确启动这些相互依赖的服务。

在使用helm + Kubernetes（具体可参考：源码）来部署管理大数据集群过程中，我们发现这种方法大大减少了部署时间，提高了部署大数据集群的成功率。然而，运维管理的体验不尽人意，因为使用通用型Kubernetes的管理工具来管理大数据服务是不容易的，这需要开发者掌握Pod、Service、Configmap等知识。

对于习惯使用类似Ambari、CM这样的平台的大数据工程师来说，学习成本还是太高了。因此，我们开发了CloudEon，并将其开源。

CloudEon致力于将大数据服务迁移到云上，并帮助大数据生态组件更好地与云原生相融合。

🥰 感谢

感谢如下优秀的项目，没有这些项目，不可能会有CloudEon：

后端技术栈
前端技术栈
- react
- ant-design
另外特别感谢
- Ambari ：参考其对大数据组件的安全管理、可拓展大数据组件包管理
- datasophon ：参考其优秀的监控告警体系

🤗 另外

如果觉得项目不错，麻烦动动小手点个⭐️star⭐️!
如果你还有其他想法或者需求，欢迎在issue中交流！

📝 使用登记

如果你所在公司使用了该项目，烦请在这里留下脚印，感谢支持🥳 点我

💎 优秀软件推荐

🤝 贡献者

Thanks goes to these wonderful people (emoji key):

_Pandas886 💻	_Mericol 💻	_Koyfin 🚇 ⚠️ 💻	_mechaelyoung 💻	_且炼时光 💻	_XiuhongTang 💻	_KangTomwk 💻
_{Cheng Pan} 💻	_{maiwang li} 💻

This project follows the all-contributors specification. Contributions of any kind welcome!