spark on k8s准确完整的测试步骤：提交Pi计算程序至k8s集群

spark on k8s准确完整的测试步骤：提交Pi计算程序至k8s集群

部署流程： 下载spark环境包切换目录至根目录：cd spark-2.4.4-bin-hadoop2.7 builddocker应用程序镜像及push至repo：​​docker build -t xxx/spark:2.4.4 -f kubernetes/dockerfiles/spark/Dockerfile . && docker push xxx/spark:2.4.4​​ 创建aks serviceaccount: ​​kubectl create serviceaccount spark​​ 创建clusterrolebinding:​​kubectl create clusterrolebinding spark-role --clusterrole=edit --serviceaccount=default:spark --namespace=default​​ 本地提交应用程序（经验证：jar包路径及各项配置无误）：bin/spark-submit \ --master k8s://172.22.3.107:443 \ --deploy-mode cluster \ --conf spark.kubernetes.namespace=default \ --conf spark.kubernetes.authenticate.driver.serviceAccountName=spark --name spark-pi \ --class org.apache.spark.examples.SparkPi \ --conf spark.executor.instances=5 \ --conf spark.kubernetes.container.image=xxx/spark:2.4.0 \ local:///opt/spark/examples/jars/spark-examples_2.11-2.4.0.jardocker提交spark程序（不推荐）：​​docker run -it --rm .kube/config:/root/.kube/config linclaus/spark-submit /opt/spark/bin/spark-submit --master k8s://--deploy-mode cluster --conf spark.kubernetes.authenticate.driver.serviceAccountName=spark --conf spark.kubernetes.namespace=default --name spark-pi --class org.apache.spark.examples.SparkPi --conf spark.executor.instances=1 --conf spark.kubernetes.container.image=linclaus/spark:2.4.4 local:///opt/spark/examples/jars/spark-examples_2.11-2.4.4.jar curl -LO https://storage.googleapis.com/kubernetes-release/release/v1.16.0/bin/linux/amd64/kubectl​​ -LO +x ./kubectlsudo mv ./kubectl /usr/local/bin/kubectlcurl -L | bash

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。