当前位置: 首页>>技术问答>>正文


Scala编程常见问题整理【三】

编者按: 本文从stackoverflow收集了Scala编程中的常见问题。基于google/baidu/bing翻译将问题议成了中文,希望在英语表达不地道(特别是中英文夹杂)的情况下,也能检索到优质内容入口。     Scala相关问题非常多,我们会陆续将这些问题做成专辑,分成多篇文章分别展现。本文是其中的第三篇内容。 注: 点击问题标题直达英文原版网站,点击 加速访问 ,可以通过本站加速器快速访问。


1. 如何加载本地文件在sc.textFile,而不是HDFS[Scala] (How to load local file in sc.textFile, instead of HDFS)

apache-spark

我正在跟着伟大的火花教程,我试图在46m:00s加载README.md,但没有我做的是这样:$ sudo docker run -i -t -h sandbox sequenceiq / spark:1.1。 0 /etc/bootstrap.sh -…

2. 如何使用JDBC源在(Py)Spark中写入和读取数据?[Scala] (How to use JDBC source to write and read data in (Py)Spark?)

pythonapache-spark,apache-spark-sql,pyspark

这个问题的目标是文档:使用JDBC连接读取和写入数据的步骤PySpark可能的问题与JDBC源和知道解决方案随着小的更改这些…

3. 如何在登录scala时保持返回值[Scala] (how to keep return value when logging in scala)

logging

当在java中编程时,我总是记录一个方法的输入参数和返回值,但在scala中,方法的最后一行是返回值。所以我必须做一些事情:def myFunc()= {…

4. Spark:如何使用Scala或Java用户定义函数映射Python?[Scala] (Spark: How to map Python with Scala or Java User Defined Functions?)

java,pythonapache-spark,pyspark

例如,我们的团队选择Python作为Spark开发的参考语言。但后来出于性能原因,我们想开发特定的Scala或Java特定…

5. JavaFX完全自定义窗口?[Scala] (JavaFX entirely customized windows?)

javajavafx-2,javafx

我想有一个应用程序,我完全自定义窗口的外观。到目前为止,我学到了我可以删除典型的窗口东西:class Application extends javafx ….

6. 依赖方法类型的一些引人注目的用例是什么?[Scala] (What are some compelling use cases for dependent method types?)

haskell,programming-languages,type-systems,dependent-method-type

依赖的方法类型,以前是一个实验功能,现在已经启用默认情况下,在树干,显然这似乎已经创造了一些兴奋在Scala社区。 … …

7. 自我注释中的this和self之间的区别?[Scala] (Difference between this and self in self-type annotations?)

scala

在各种Scala文学中,我看到一些使用“this”和其他使用“self”的自我注释:trait A {this:B => …} trait A {self:B => …}区别…

8. 如何获得sbt使用本地Maven代理存储库(Nexus)?[Scala] (how do I get sbt to use a local maven proxy repository (Nexus)?)

maven,ivy,nexus,sbt

我有一个sbt(Scala)项目,目前从Web中提取工件。我们想要走向一个可以缓存工件的企业标准化Nexus存储库。从Nexus …

9. 从字符串生成一个类并在Scala 2.10中实例化它[Scala] (Generating a class from string and instantiating it in Scala 2.10)

reflection,toolbox,scala-2.10

在Scala 2.10如何从字符串生成一个类(可能使用Toolbox api)以后被实例化与Scala的反射?

10. Scala @运算符[Scala] (Scala @ operator)

operators

Scala的@操作符是什么?例如,在Scala中的Formal Language Processing,第2部分中有一个像这样的东西x @ Some(Nil)=> x

11. Scala的apply()方法如何工作?[Scala] (How does Scala’s apply() method magic work?)

syntactic-sugar,magic-methods,companion-object

在Scala中,如果我在类或顶级对象中定义一个名为apply的方法,那么只要将一对括号附加到该类的实例上,该方法就会被调用,并将适当的…

12. 在Scala中类型归属的目的是什么?[Scala] (What is the purpose of type ascriptions in Scala?)

static-typing,ascription

在规格上没有太多的信息,什么类型的归属,并没有什么在那里有它的目的。除了“使传递varargs工作”,我将使用类型…

13. 如何取消未来在Scala?[Scala] (How to cancel Future in Scala?)

multithreadingfuture

Java Future有cancel方法,它可以中断线程,运行Future任务。例如,如果我在Java Future中封装一个可中断的阻塞调用,我可以稍后中断它。

14. Scala中的函数和方法[Scala] (Functions vs methods in Scala)

scala

我正在看Runar Bjarnason目前功能编程初学者,并在14:45他定义了一个方法:def isDivisibleBy(k:Int):Int => Boolean = i => i%k == 0和一个函数:val …

15. 动态混合在Scala – 是可能吗?[Scala] (Dynamic mixin in Scala – is it possible?)

mixins

我想实现的是有一个适当的实现fordef dynamix [A,B](a:A):A与BI可能知道B是什么,但不知道A是什么(但如果B有自我类型然后我可以添加一些…

16. 在Scala中具有伴随对象的理由是什么?[Scala] (What is the rationale behind having companion objects in Scala?)

oopcompanion-object

是否有需要类的伴随对象(单例)的情况?为什么我要创建一个类,说Foo,并为它创建一个伴随对象?

17. 使用varargs的Spark UDF[Scala] (Spark UDF with varargs)

apache-spark,udf

是否是列出文档中所示的所有参数(最多22个)的唯一选项?https://spark.apache.org/docs/1.5.0/api/scala/index.html#org.apache.spark.sql。 UDFRegistration任何人都想出来…

18. 如果A和B是单子,如何将A [B [C]]转换为B [A [C]]?[Scala] (How to convert A[B[C]] to B[A[C]] if A and B are monads?)

monads,scalaz

我正在寻找一个更通用的解决方案,利用monads(和monoids可能)实现相同if(xs.contains(None))无其他Some(xs.flatten)为类型Seq [Option [A] ]。怎么样 …

19. 为什么和当Scala在调用一个arg函数时特别处理一个元组?[Scala] (Why and how is Scala treating a tuple specially when calling a one arg function?)

tuples

scala将多个函数调用参数合并成一个元组 – 可以禁用吗?讨论了Scala创建一个元组来绑定到一个arg函数。这导致scala> println(1,2)(1,2)…

20. 什么Scala Web框架可用? [关闭][Scala] (What Scala web-frameworks are available? [closed])

frameworks,web-frameworks,lift

我刚开始学习Scala,我要实现的第一件事是一个微小的web应用程序。我一直在使用Erlang去年实现服务器端软件,但我从来没有写过…

21. 什么是Scala标识符“implicitly”?[Scala] (What is the Scala identifier “implicitly”?)

implicits

我看到一个名为隐含在Scala中使用的函数示例。它是什么,它是如何使用的?示例:scala> sealed trait Foo [T] {def apply(list:List [T]):Unit};对象Foo {| … …

22. 在Scala中读取整个文件?[Scala] (Read entire file in Scala?)

scala

在Scala中将整个文件读入内存的一种简单而规范的方法是什么? (理想情况下,控制字符编码。)最好的我可以想出是:scala.io.Source.fromPath(“file.txt”)….

23. scala slick方法到目前为止我还不明白[Scala] (scala slick method I can not understand so far)

playframework-2.0,magic-methods,scalaquery,slick

我试图了解一些Slick的工作和它需要什么。它是一个例子:package modelscase class Bar(id:Option [Int] = None,name:String)object Bars extends Table [Bar](“bar”){def id = …

24. Scala的路径依赖类型是什么意思?[Scala] (What is meant by Scala’s path-dependent types?)

type-systems,path-dependent-type

我听说Scala有路径依赖类型。它与内部类有关,但这是什么意思,为什么我在乎?

25. Scala中的异步IO与future[Scala] (Asynchronous IO in Scala with futures)

multithreadingio,future

假设我从一些网址下载了一个(可能是大的)图片列表。我使用Scala,所以我会做的是:import scala.actors.Futures ._ //从wherehereval urls检索URL:…

26. 函数式编程中的reduce和foldLeft / fold之间的区别(特别是Scala和Scala API)?[Scala] (Difference between reduce and foldLeft/fold in functional programming (particularly Scala and Scala APIs)?)

functional-programming,reduce,fold,scalding

为什么Scala和Spark和Scalding等框架都有reduce和foldLeft?那么,reduce和fold有什么区别?

27. Scala currying对部分应用的函数[Scala] (Scala currying vs partially applied functions)

functional-programming,currying

对不起,新手问题。我意识到,在这里有几个问题,什么currying和部分应用的功能是,但我问他们是如何不同。作为一个简单的…

28. 在Scala中迭代Java集合[Scala] (Iterating over Java collections in Scala)

javacollections,scala-java-interop

我编写一些使用Apache POI API的Scala代码。我想要遍历包含在java.util.Iterator中的行,我从Sheet类中获取。我想使用迭代器…

29. 如何更改Spark SQL的DataFrame中的列类型?[Scala] (How to change column types in Spark SQL’s DataFrame?)

apache-spark,apache-spark-sql

假设我做的事情:val df = sqlContext.load(“com.databricks.spark.csv”,Map(“path” – >“cars.csv”,“header” – >“true”))df。 printSchema()root | – year:string(nullable = true)…

30. Scala中的“flatmap that s ***”习语表达来自哪里?[Scala] (Where does the “flatmap that s***” idiomatic expression in Scala come from?)

scala

什么是如此强大的平面地图,它应该在Scala民间传说这样的地方?

31. 使用Bouncy城堡签署CSR[Scala] (Sign CSR using Bouncy Castle)

javabouncycastle

我找不到任何代码/ doc描述如何使用BC签署CSR。作为输入,我有一个CSR作为字节数组,并希望获得PEM和/或DER格式的证书。我得到了这个fardef signCSR(…)

32. 在Scala中定义函数的两种方法。有什么不同?[Scala] (Two ways of defining functions in Scala. What is the difference?)

functioncurrying

这里是一个Scala会话,定义和尝试一些函数:scala> def test1(str:String)= str + str; test1:(str:String)java.lang.Stringscala> test1(“ab”)res0:java.lang ….

33. 为什么Scala中的模式匹配不能使用变量?[Scala] (Why does pattern matching in Scala not work with variables?)

pattern-matching,match

采取以下函数:def fMatch(s:String)= {s match {case“a”=> println(“It was a”)case _ => println(“It was something something”)}}此模式匹配。 … ..

34. 增加Scala的JVM堆大小?[Scala] (Increase JVM heap size for Scala?)

command-linejvm,heap

我有一个Scala数据处理工具,失败java.lang.OutOfMemoryError异常。该工具需要使一对夫妇通过一个大数据文件(我正在工作的是超过700MB),…

35. 获取Scala for / comprehension表达式的desugared部分?[Scala] (Getting the desugared part of a Scala for/comprehension expression?)

syntactic-sugar,for-comprehension

有人知道如何获得(只有Scala部分)一个for / comprehension表达式的实际尝试在REPL(或编译器)编译之前的翻译?我发现的唯一的事情…

36. Scala的“后缀操作”[Scala] (Scala’s “postfix ops”)

scala-2.10

我搜索了半个小时,仍然不能弄清楚。在SIP:模块化语言特性有一些功能,将需要显式“启用”在Scala 2.10(导入…

37. 如何为相同大小的分区的Spark RDD定义自定义分区器,其中每个分区具有相等数量的元素?[Scala] (How to Define Custom partitioner for Spark RDDs of equally sized partition where each partition has equal number of elements?)

hadoop,apache-spark

我是Spark的新人。我有一个大的数据集的元素[RDD],我想把它分成两个完全相等大小的分区保持元素的顺序。我试过使用RangePartitioner likevar data = …

38. 如何使saveAsTextFile不将输出分割成多个文件?[Scala] (how to make saveAsTextFile NOT split output into multiple file?)

apache-spark

当在Spark中使用Scala时,每当使用saveAsTextFile转储结果时,它似乎将输出拆分为多个部分。我只是传递一个参数(路径)到它。 val year = sc.textFile(“…

39. 在Scala中用于存储内存中可变数据表的类型?[Scala] (What type to use to store an in-memory mutable data table in Scala?)

data-structures,memoization,scala-collections

每次调用一个函数时,如果给定的一组参数值的结果尚未记忆,我想将结果放入内存表中。一列用于存储结果,其他列

40. 实例化不可变的配对对象[Scala] (Instantiating immutable paired objects)

object,immutability

是否可以创建一个具有对合作伙伴对象的不可变引用的类,或者它必须是在创建之后分配的var? PairedObject类(p:PairedObject,id:String){…

41. HashPartitioner如何工作?[Scala] (How does HashPartitioner work?)

apache-spark,partitioning

我阅读了HashPartitioner的文档。不幸的是,除了API调用,没有解释什么。我假设HashPartitioner分区分布式集合…

42. 如何在Spark中转置RDD[Scala] (How to transpose an RDD in Spark)

apache-spark,rdd

我有一个这样的RDD:1 2 34 5 67 8 9它是一个矩阵。现在我想像这样转置RDD:1 4 72 5 83 6 9我可以这样做吗?

43. 将列表拆分为具有固定数量的元素的多个列表在java 8[Scala] (Split list into multiple lists with fixed number of elements in java 8)

javajava-8

我想要一个类似于scala分组函数的东西。基本上,一次选择2个元素,并处理它们。这里是一个相同的参考:拆分列表到多个列表与固定…

44. 命名参数中的下划线[Scala] (Underscore in Named Arguments)

scala

有人可以解释我在这里究竟是怎么回事?我现在没有完全陷入它:val s = Seq(1D,2D,3D,4D)case类WithUnit(value:Double,unit:String)s map {WithUnit(_,“cm”)} //。 … ..

45. 在访问Spark 2.0中的向量列时发生MatchError[Scala] (MatchError while accessing vector column in Spark 2.0)

apache-spark

我试图在一个JSON文件上创建一个LDA模型。使用JSON文件创建spark上下文:import org.apache.spark.sql.SparkSessionval sparkSession = SparkSession.builder .master(“local”)…

46. 为什么IntelliJ IDEA如此慢地编译Scala? [关闭][Scala] (Why does IntelliJ IDEA compile Scala so slowly? [closed])

intellij-idea

我使用的想法9.0.3这是最新的版本。当我在Idea中编写一些scala源代码时,编译和运行需要几秒钟。这不应该那么慢,这是正常吗?

47. SPARK:failure:“union”expected,但是`(’found[Scala] (SPARK : failure: “union” expected but `(‘ found)

sqlapache-spark,dataframe,apache-spark-sql

我有一个名为df的数据框,列名为employee_id。我在做:df.registerTempTable(“d_f”)val query =“”“SELECT *,ROW_NUMBER()OVER(ORDER BY employee_id)row_number FROM d_f”“”val …

48. NullPointerException在Scala Spark中,似乎是造成集合类型?[Scala] (NullPointerException in Scala Spark, appears to be caused be collection type?)

apache-spark

sessionIdList是类型:scala> sessionIdListres19:org.apache.spark.rdd.RDD [String] = MappedRDD [17] at distinct at:30当我尝试运行下面的代码:val x = sc.parallelize(List(1,2 ,3))val …

49. 了解在Scala中隐式[Scala] (Understanding implicit in Scala)

syntax,playframework,keyword

我正在通过Scala playframework教程,我遇到了这段代码让我困惑:def newTask = Action {implicit request => taskForm.bindFromRequest.fold(…)

50. 什么是密封性状?[Scala] (What is a sealed trait?)

sealed,traits

密封类在“Scala中的编程”中描述,但密封的特性不是。我在哪里可以找到关于密封特性的更多信息?我想知道,如果一个密封的特性是相同的…

本文由《纯净天空》出品。文章地址: https://vimsky.com/article/1555.html,未经允许,请勿转载。