spark能跑Python么

百变鹏仔 3小时前 #Python

文章标签 spark

spark能跑python么？

spark是可以跑Python程序的。python编写好的算法，或者扩展库的，比如sklearn都可以在spark上跑。直接使用spark的mllib也是可以的，大部分算法都有。

Spark 是一个通用引擎，可用它来完成各种各样的运算，包括 SQL 查询、文本处理、机器学习等。

本次实验是搭有spark环境的linux下跑的，spark版本为1.6.1，相当于在在spark本地执行，spark文件放在/opt/moudles/spark-1.6.1/（代码中会看到）

编写python测试程序

立即学习“Python免费学习笔记（深入）”；

#test.py文件# -*- coding:utf-8 -*-import osimport sys#配置环境变量并导入pysparkos.environ['SPARK_HOME'] = r'/opt/moudles/spark-1.6.1'sys.path.append("/opt/moudles/spark-1.6.1/python")sys.path.append("/opt/moudles/spark-1.6.1/python/lib/py4j-0.9-src.zip")from pyspark import SparkContext, SparkConfappName ="spark_1" #应用程序名称master= "spark://hadoop01:7077"#hadoop01为主节点hostname，请换成自己的主节点主机名称conf = SparkConf().setAppName(appName).setMaster(master)sc = SparkContext(conf=conf)data = [1, 2, 3, 4, 5]distData = sc.parallelize(data)res = distData.reduce(lambda a, b: a + b)print("===========================================")print (res)print("===========================================")

执行python程序

执行如下命令

python test.py

执行与结果分别如下图所示：

文章推荐

spark能跑Python么

python怎么向字典中添加值

Python如何给series排序

怎么在电脑里找到python的安装路径

python3如何使用pil

怎么用python做网站