Hive10---explode拆分多行

Hive10---explode拆分多行

Intro

hive explode操作

import

from pyspark.sql import SparkSession# 创建SparkSession对象，调用.builder类# .appName("testapp")方法给应用程序一个名字；.getOrCreate()方法创建或着获取一个已经创建的SparkSessionspark = SparkSession.builder.appName("pysaprk").getOrCreate()import pyspark.sql.functions

df = spark.createDataFrame([(1, "A,B"), (2, "C,D"), (3, "E")], ["id", "split_str"])

df.show(20,truncate=False)

+---+---------+|id |split_str|+---+---------+|1 |A,B ||2 |C,D ||3 |E |+---+---------+

df.createOrReplaceTempView("temp")

split_str拆分多行

sql = """select id,split_str,explode(split(split_str,',')) as letterfrom temp"""

spark.sql(sql).show()

+---+---------+---+| id|split_str|col|+---+---------+---+| 1| A,B| A|| 1| A,B| B|| 2| C,D| C|| 2| C,D| D|| 3| E| E|+---+---------+---+

2022-03-29 于南京市江宁区九龙湖

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。