时间:2024-08-26 11:02:30
Spark的四种部署方式概括
1.Local模式。Local模式就是运行在一台计算机上的模式,通常用于在本机上测试,当不设置master参数的值时,默认此模式,具体有以下几种设置master的方式。
2.Standalone模式。设置master参数的值为spark://host:port,即开启Standalone模式,将构建一个基于Master/Slave的资源调度集群,Spark任务提交给Master运行。
3.Yarn模式。Spark客户端直接连接Yarn,不需要格外构建Spark集群,有yarn-client和yarn-cluster两种模式,主要区别在于Driver程序的运行节点不同(yarn-client的Driver程序运行在客户端,适用于交互、调试,而yarn-cluster的Driver程序运行在由ResourceManager启动的ApplicationMaster中,适用于生产环境)。master参数设置为yarn,deploy-mode参数为client或者cluster。
4.Mesos模式。Spark客户端直接连接Mesos,不需要额外构建Spark集群。
科技之家 广州小漏斗信息技术有限公司 版权所有 佳绩网提供支持 粤ICP备20006251号