本文整理汇总了Python中pyspark.sql.SQLContext.__init__方法的典型用法代码示例。如果您正苦于以下问题:Python SQLContext.__init__方法的具体用法?Python SQLContext.__init__怎么用?Python SQLContext.__init__使用的例子?那么恭喜您, 这里精选的方法代码示例或许可以为您提供帮助。您也可以进一步了解该方法所在类pyspark.sql.SQLContext
的用法示例。
在下文中一共展示了SQLContext.__init__方法的3个代码示例,这些例子默认根据受欢迎程度排序。您可以为喜欢或者感觉有用的代码点赞,您的评价将有助于系统推荐出更棒的Python代码示例。
示例1: __init__
# 需要导入模块: from pyspark.sql import SQLContext [as 别名]
# 或者: from pyspark.sql.SQLContext import __init__ [as 别名]
def __init__(self, sparkContext):
"""Create a new HbaseContext.
@param sparkContext: The SparkContext to wrap.
"""
SQLContext.__init__(self, sparkContext)
self._scala_HBaseSQLContext = self._get_hbase_ctx()
示例2: __init__
# 需要导入模块: from pyspark.sql import SQLContext [as 别名]
# 或者: from pyspark.sql.SQLContext import __init__ [as 别名]
def __init__(self, sparkContext, sapSQLContext=None):
"""Creates a new SapSQLContext.
>>> from datetime import datetime
>>> from pyspark_vora import *
>>> allTypes = sc.parallelize([Row(i=1, s="string", d=1.0, l=1,
... b=True, list=[1, 2, 3], dict={"s": 0}, row=Row(a=1),
... time=datetime(2014, 8, 1, 14, 1, 5))])
>>> df = allTypes.toDF()
>>> df.registerTempTable("allTypes")
>>> q = 'select i+1, d+1, not b, list[1], dict["s"], time, row.a from allTypes where b and i > 0'
>>> result = sqlContext.sql(q).collect()
>>> list(map(lambda x: tuple(x), result)) # Row.__repr__ is not compatible Spark 1.4/1.5
[(2, 2.0, False, 2, 0, datetime.datetime(2014, 8, 1, 14, 1, 5), 1)]
>>> df.map(lambda x: (x.i, str(x.s), x.d, x.l, x.b, x.time, x.row.a, x.list)).collect()
[(1, 'string', 1.0, 1, True, datetime.datetime(2014, 8, 1, 14, 1, 5), 1, [1, 2, 3])]
"""
SQLContext.__init__(self, sparkContext, sapSQLContext)
self._scala_SapSQLContext = sapSQLContext
示例3: __init__
# 需要导入模块: from pyspark.sql import SQLContext [as 别名]
# 或者: from pyspark.sql.SQLContext import __init__ [as 别名]
def __init__(self, sparkContext, magellanContext=None):
SQLContext.__init__(self, sparkContext)
if magellanContext:
self._scala_MagellanContext = magellanContext