本文整理汇总了Python中pyspark.sql.HiveContext.applySchema方法的典型用法代码示例。如果您正苦于以下问题：Python HiveContext.applySchema方法的具体用法？Python HiveContext.applySchema怎么用？Python HiveContext.applySchema使用的例子？那么恭喜您, 这里精选的方法代码示例或许可以为您提供帮助。您也可以进一步了解该方法所在类pyspark.sql.HiveContext的用法示例。
在下文中一共展示了HiveContext.applySchema方法的2个代码示例，这些例子默认根据受欢迎程度排序。您可以为喜欢或者感觉有用的代码点赞，您的评价将有助于系统推荐出更棒的Python代码示例。
示例1: StructField
# 需要导入模块: from pyspark.sql import HiveContext [as 别名]
# 或者: from pyspark.sql.HiveContext import applySchema [as 别名]
StructField("timestamp", TimestampType(), False),
StructField("date", DateType(), False),
StructField("array", ArrayType(IntegerType(), False), False),
StructField("col_map", MapType(StringType(), StringType(), False), False),
StructField(
"struct",
StructType(
[
StructField("first", IntegerType(), False),
StructField("second", FloatType(), False),
StructField("third", StringType(), False),
]
),
False,
),
]
)
table = hc.applySchema(source, schema)
table.registerAsTable("temp_table")
rows = hc.sql(
"select byte, short, int, long, float, double, decimal, string, boolean, timestamp, date, array[0], array[1], array[2], col_map['key'], struct.first, struct.second, struct.third from temp_table"
).collect()
sc.stop()
for row in rows:
print row
示例2: parse
# 需要导入模块: from pyspark.sql import HiveContext [as 别名]
# 或者: from pyspark.sql.HiveContext import applySchema [as 别名]
def parse(line):
matcher = pattern.match(line)
if matcher:
return matcher.groups()
else:
return None
columns = source.map(parse).filter(
lambda columns: columns and len(columns) == 3)
rows = columns.map(
lambda columns: (columns[0], columns[1], columns[2]))
schema = StructType([StructField("col1", StringType(), False), StructField(
"col2", StringType(), False), StructField("col3", StringType(), False)])
table = hc.applySchema(rows, schema)
table.registerAsTable("temp_mytable")
datas = hc.sql("select * from temp_mytable").collect()
sc.stop()
if datas:
for data in datas:
print data