当前位置: 首页>>代码示例>>Python>>正文


Python SparkContext.cassandraTable方法代码示例

本文整理汇总了Python中pyspark.SparkContext.cassandraTable方法的典型用法代码示例。如果您正苦于以下问题:Python SparkContext.cassandraTable方法的具体用法?Python SparkContext.cassandraTable怎么用?Python SparkContext.cassandraTable使用的例子?那么恭喜您, 这里精选的方法代码示例或许可以为您提供帮助。您也可以进一步了解该方法所在pyspark.SparkContext的用法示例。


在下文中一共展示了SparkContext.cassandraTable方法的1个代码示例,这些例子默认根据受欢迎程度排序。您可以为喜欢或者感觉有用的代码点赞,您的评价将有助于系统推荐出更棒的Python代码示例。

示例1: SparkConf

# 需要导入模块: from pyspark import SparkContext [as 别名]
# 或者: from pyspark.SparkContext import cassandraTable [as 别名]
print rdd.first().value
print rdd.first()[0]
print rdd.first()[1]
print rdd.collect()
print rdd.filter(lambda row: row.key > 1).collect()

rdd = sc.cassandraTable('test', 'kv')
rdd.saveToCassandra('test', 'kv2', [key])

rdd.saveToCassandra('test', 'kv2')

otherRdd = sc.parallelize([{"key": 3, "value": "foobar"}])

conf = SparkConf().setAppName("Spark App")
sc = SparkContext(conf=conf)
x = sc.cassandraTable("test", "kv").collect()
print x

HOME = getenv("HOME")
DSE_HOME = getenv("DSE_HOME", join(HOME, "dse-4.6.0"))
SPARK_HOME = join(DSE_HOME, "resources", "spark")

os.environ['SPARK_HOME']=SPARK_HOME

PYSPARK_DIR = join(DSE_HOME, 'resources', 'spark', 'python')
ADD_PATH = [PYSPARK_DIR] for PATH in ADD_PATH: 
	sys.path.insert(1, PATH)



开发者ID:CaMeLCa5e,项目名称:dailysummer2015,代码行数:29,代码来源:spark_cassandra.py


注:本文中的pyspark.SparkContext.cassandraTable方法示例由纯净天空整理自Github/MSDocs等开源代码及文档管理平台,相关代码片段筛选自各路编程大神贡献的开源项目,源码版权归原作者所有,传播和使用请参考对应项目的License;未经允许,请勿转载。