本文整理汇总了Python中pyspark.rdd.RDD._to_java_object_rdd方法的典型用法代码示例。如果您正苦于以下问题：Python RDD._to_java_object_rdd方法的具体用法？Python RDD._to_java_object_rdd怎么用？Python RDD._to_java_object_rdd使用的例子？那么恭喜您, 这里精选的方法代码示例或许可以为您提供帮助。您也可以进一步了解该方法所在类pyspark.rdd.RDD的用法示例。
在下文中一共展示了RDD._to_java_object_rdd方法的1个代码示例，这些例子默认根据受欢迎程度排序。您可以为喜欢或者感觉有用的代码点赞，您的评价将有助于系统推荐出更棒的Python代码示例。
示例1: update_dictionary
# 需要导入模块: from pyspark.rdd import RDD [as 别名]
# 或者: from pyspark.rdd.RDD import _to_java_object_rdd [as 别名]
from pyspark import SparkContext
from pyspark import SparkConf
import sys
from pyspark.rdd import RDD
def update_dictionary(map):
map.update(test="alex")
return map
if __name__ == "__main__":
print("here1")
conf = SparkConf()
sc = SparkContext(appName="alex_test_app")
print("here2")
print("here2b: " + conf.get("spark.aleph2_job_config"))
aleph2 = sc._jvm.java.lang.Thread.currentThread().getContextClassLoader().loadClass("com.ikanow.aleph2.analytics.spark.utils.SparkPyTechnologyUtils").newInstance().getAleph2(sc._jsc, sys.argv[1])
print("here3")
print aleph2.getRddInputNames()
print("here4")
#print RDD(sc._jvm.SerDe.javaToPython(aleph2.getAllRddInputs()), sc).count()
print("here5")
to_output = RDD(sc._jvm.SerDe.javaToPython(aleph2.getAllRddInputs()), sc).map(lambda m: update_dictionary(m))
aleph2.emitRdd(to_output._to_java_object_rdd())