首页 > 科技热点 > 正文内容

请简述spark的四种部署模式

时间:2024-08-26 11:02:30

Spark的部署方式概括

1.Local模式。Local模式就是运行在一台计算机上的模式,通常用于在本机上测试,当不设置master参数的值时,默认此模式,具体有以下几种设置master的方式。

2.Standalone模式。设置master参数的值为spark://host:port,即开启Standalone模式,将构建一个基于Master/Slave的资源调度集群,Spark任务提交给Master运行。

3.Yarn模式。Spark客户端直接连接Yarn,不需要格外构建Spark集群,有yarn-client和yarn-cluster两种模式,主要区别在于Driver程序的运行节点不同(yarn-client的Driver程序运行在客户端,适用于交互、调试,而yarn-cluster的Driver程序运行在由ResourceManager启动的ApplicationMaster中,适用于生产环境)。master参数设置为yarn,deploy-mode参数为client或者cluster。

4.Mesos模式。Spark客户端直接连接Mesos,不需要额外构建Spark集群。

版权声明:转载此文是出于传递更多信息之目的。若有来源标注错误或侵犯了您的合法权益, 请作者持权属证明与本网联系,我们将及时更正、删除,谢谢您的支持与理解。
标签:科技热点

科技之家 广州小漏斗信息技术有限公司 版权所有 佳绩网提供支持 粤ICP备20006251号