編者按: 本文從stackoverflow收集了Scala編程中的常見問題。基於google/baidu/bing翻譯將問題議成了中文,希望在英語表達不地道(特別是中英文夾雜)的情況下,也能檢索到優質內容入口。 Scala相關問題非常多,我們會陸續將這些問題做成專輯,分成多篇文章分別展現。本文是其中的第三篇內容。 注: 點擊問題標題直達英文原版網站,點擊 加速訪問 ,可以通過本站加速器快速訪問。
1. 如何加載本地文件在sc.textFile,而不是HDFS[Scala] (How to load local file in sc.textFile, instead of HDFS)
apache-spark
我正在跟著偉大的火花教程,我試圖在46m:00s加載README.md,但沒有我做的是這樣:$ sudo docker run -i -t -h sandbox sequenceiq / spark:1.1。 0 /etc/bootstrap.sh -…
2. 如何使用JDBC源在(Py)Spark中寫入和讀取數據?[Scala] (How to use JDBC source to write and read data in (Py)Spark?)
pythonapache-spark,apache-spark-sql,pyspark
這個問題的目標是文檔:使用JDBC連接讀取和寫入數據的步驟PySpark可能的問題與JDBC源和知道解決方案隨著小的更改這些…
3. 如何在登錄scala時保持返回值[Scala] (how to keep return value when logging in scala)
logging
當在java中編程時,我總是記錄一個方法的輸入參數和返回值,但在scala中,方法的最後一行是返回值。所以我必須做一些事情:def myFunc()= {…
4. Spark:如何使用Scala或Java用戶定義函數映射Python?[Scala] (Spark: How to map Python with Scala or Java User Defined Functions?)
java,pythonapache-spark,pyspark
例如,我們的團隊選擇Python作為Spark開發的參考語言。但後來出於性能原因,我們想開發特定的Scala或Java特定…
5. JavaFX完全自定義窗口?[Scala] (JavaFX entirely customized windows?)
javajavafx-2,javafx
我想有一個應用程序,我完全自定義窗口的外觀。到目前為止,我學到了我可以刪除典型的窗口東西:class Application extends javafx ….
6. 依賴方法類型的一些引人注目的用例是什麽?[Scala] (What are some compelling use cases for dependent method types?)
haskell,programming-languages,type-systems,dependent-method-type
依賴的方法類型,以前是一個實驗功能,現在已經啟用默認情況下,在樹幹,顯然這似乎已經創造了一些興奮在Scala社區。 … …
7. 自我注釋中的this和self之間的區別?[Scala] (Difference between this and self in self-type annotations?)
scala
在各種Scala文學中,我看到一些使用“this”和其他使用“self”的自我注釋:trait A {this:B => …} trait A {self:B => …}區別…
8. 如何獲得sbt使用本地Maven代理存儲庫(Nexus)?[Scala] (how do I get sbt to use a local maven proxy repository (Nexus)?)
maven,ivy,nexus,sbt
我有一個sbt(Scala)項目,目前從Web中提取工件。我們想要走向一個可以緩存工件的企業標準化Nexus存儲庫。從Nexus …
9. 從字符串生成一個類並在Scala 2.10中實例化它[Scala] (Generating a class from string and instantiating it in Scala 2.10)
reflection,toolbox,scala-2.10
在Scala 2.10如何從字符串生成一個類(可能使用Toolbox api)以後被實例化與Scala的反射?
10. Scala @運算符[Scala] (Scala @ operator)
operators
Scala的@操作符是什麽?例如,在Scala中的Formal Language Processing,第2部分中有一個像這樣的東西x @ Some(Nil)=> x
11. Scala的apply()方法如何工作?[Scala] (How does Scala’s apply() method magic work?)
syntactic-sugar,magic-methods,companion-object
在Scala中,如果我在類或頂級對象中定義一個名為apply的方法,那麽隻要將一對括號附加到該類的實例上,該方法就會被調用,並將適當的…
12. 在Scala中類型歸屬的目的是什麽?[Scala] (What is the purpose of type ascriptions in Scala?)
static-typing,ascription
在規格上沒有太多的信息,什麽類型的歸屬,並沒有什麽在那裏有它的目的。除了“使傳遞varargs工作”,我將使用類型…
13. 如何取消未來在Scala?[Scala] (How to cancel Future in Scala?)
multithreadingfuture
Java Future有cancel方法,它可以中斷線程,運行Future任務。例如,如果我在Java Future中封裝一個可中斷的阻塞調用,我可以稍後中斷它。
14. Scala中的函數和方法[Scala] (Functions vs methods in Scala)
scala
我正在看Runar Bjarnason目前功能編程初學者,並在14:45他定義了一個方法:def isDivisibleBy(k:Int):Int => Boolean = i => i%k == 0和一個函數:val …
15. 動態混合在Scala – 是可能嗎?[Scala] (Dynamic mixin in Scala – is it possible?)
mixins
我想實現的是有一個適當的實現fordef dynamix [A,B](a:A):A與BI可能知道B是什麽,但不知道A是什麽(但如果B有自我類型然後我可以添加一些…
16. 在Scala中具有伴隨對象的理由是什麽?[Scala] (What is the rationale behind having companion objects in Scala?)
oopcompanion-object
是否有需要類的伴隨對象(單例)的情況?為什麽我要創建一個類,說Foo,並為它創建一個伴隨對象?
17. 使用varargs的Spark UDF[Scala] (Spark UDF with varargs)
apache-spark,udf
是否是列出文檔中所示的所有參數(最多22個)的唯一選項?https://spark.apache.org/docs/1.5.0/api/scala/index.html#org.apache.spark.sql。 UDFRegistration任何人都想出來…
18. 如果A和B是單子,如何將A [B [C]]轉換為B [A [C]]?[Scala] (How to convert A[B[C]] to B[A[C]] if A and B are monads?)
monads,scalaz
我正在尋找一個更通用的解決方案,利用monads(和monoids可能)實現相同if(xs.contains(None))無其他Some(xs.flatten)為類型Seq [Option [A] ]。怎麽樣 …
19. 為什麽和當Scala在調用一個arg函數時特別處理一個元組?[Scala] (Why and how is Scala treating a tuple specially when calling a one arg function?)
tuples
scala將多個函數調用參數合並成一個元組 – 可以禁用嗎?討論了Scala創建一個元組來綁定到一個arg函數。這導致scala> println(1,2)(1,2)…
20. 什麽Scala Web框架可用? [關閉][Scala] (What Scala web-frameworks are available? [closed])
frameworks,web-frameworks,lift
我剛開始學習Scala,我要實現的第一件事是一個微小的web應用程序。我一直在使用Erlang去年實現服務器端軟件,但我從來沒有寫過…
21. 什麽是Scala標識符“implicitly”?[Scala] (What is the Scala identifier “implicitly”?)
implicits
我看到一個名為隱含在Scala中使用的函數示例。它是什麽,它是如何使用的?示例:scala> sealed trait Foo [T] {def apply(list:List [T]):Unit};對象Foo {| … …
22. 在Scala中讀取整個文件?[Scala] (Read entire file in Scala?)
scala
在Scala中將整個文件讀入內存的一種簡單而規範的方法是什麽? (理想情況下,控製字符編碼。)最好的我可以想出是:scala.io.Source.fromPath(“file.txt”)….
23. scala slick方法到目前為止我還不明白[Scala] (scala slick method I can not understand so far)
playframework-2.0,magic-methods,scalaquery,slick
我試圖了解一些Slick的工作和它需要什麽。它是一個例子:package modelscase class Bar(id:Option [Int] = None,name:String)object Bars extends Table [Bar](“bar”){def id = …
24. Scala的路徑依賴類型是什麽意思?[Scala] (What is meant by Scala’s path-dependent types?)
type-systems,path-dependent-type
我聽說Scala有路徑依賴類型。它與內部類有關,但這是什麽意思,為什麽我在乎?
25. Scala中的異步IO與future[Scala] (Asynchronous IO in Scala with futures)
multithreadingio,future
假設我從一些網址下載了一個(可能是大的)圖片列表。我使用Scala,所以我會做的是:import scala.actors.Futures ._ //從wherehereval urls檢索URL:…
26. 函數式編程中的reduce和foldLeft / fold之間的區別(特別是Scala和Scala API)?[Scala] (Difference between reduce and foldLeft/fold in functional programming (particularly Scala and Scala APIs)?)
functional-programming,reduce,fold,scalding
為什麽Scala和Spark和Scalding等框架都有reduce和foldLeft?那麽,reduce和fold有什麽區別?
27. Scala currying對部分應用的函數[Scala] (Scala currying vs partially applied functions)
functional-programming,currying
對不起,新手問題。我意識到,在這裏有幾個問題,什麽currying和部分應用的功能是,但我問他們是如何不同。作為一個簡單的…
28. 在Scala中迭代Java集合[Scala] (Iterating over Java collections in Scala)
javacollections,scala-java-interop
我編寫一些使用Apache POI API的Scala代碼。我想要遍曆包含在java.util.Iterator中的行,我從Sheet類中獲取。我想使用迭代器…
29. 如何更改Spark SQL的DataFrame中的列類型?[Scala] (How to change column types in Spark SQL’s DataFrame?)
apache-spark,apache-spark-sql
假設我做的事情:val df = sqlContext.load(“com.databricks.spark.csv”,Map(“path” – >“cars.csv”,“header” – >“true”))df。 printSchema()root | – year:string(nullable = true)…
30. Scala中的“flatmap that s ***”習語表達來自哪裏?[Scala] (Where does the “flatmap that s***” idiomatic expression in Scala come from?)
scala
什麽是如此強大的平麵地圖,它應該在Scala民間傳說這樣的地方?
31. 使用Bouncy城堡簽署CSR[Scala] (Sign CSR using Bouncy Castle)
javabouncycastle
我找不到任何代碼/ doc描述如何使用BC簽署CSR。作為輸入,我有一個CSR作為字節數組,並希望獲得PEM和/或DER格式的證書。我得到了這個fardef signCSR(…)
32. 在Scala中定義函數的兩種方法。有什麽不同?[Scala] (Two ways of defining functions in Scala. What is the difference?)
functioncurrying
這裏是一個Scala會話,定義和嘗試一些函數:scala> def test1(str:String)= str + str; test1:(str:String)java.lang.Stringscala> test1(“ab”)res0:java.lang ….
33. 為什麽Scala中的模式匹配不能使用變量?[Scala] (Why does pattern matching in Scala not work with variables?)
pattern-matching,match
采取以下函數:def fMatch(s:String)= {s match {case“a”=> println(“It was a”)case _ => println(“It was something something”)}}此模式匹配。 … ..
34. 增加Scala的JVM堆大小?[Scala] (Increase JVM heap size for Scala?)
command-linejvm,heap
我有一個Scala數據處理工具,失敗java.lang.OutOfMemoryError異常。該工具需要使一對夫婦通過一個大數據文件(我正在工作的是超過700MB),…
35. 獲取Scala for / comprehension表達式的desugared部分?[Scala] (Getting the desugared part of a Scala for/comprehension expression?)
syntactic-sugar,for-comprehension
有人知道如何獲得(隻有Scala部分)一個for / comprehension表達式的實際嘗試在REPL(或編譯器)編譯之前的翻譯?我發現的唯一的事情…
36. Scala的“後綴操作”[Scala] (Scala’s “postfix ops”)
scala-2.10
我搜索了半個小時,仍然不能弄清楚。在SIP:模塊化語言特性有一些功能,將需要顯式“啟用”在Scala 2.10(導入…
37. 如何為相同大小的分區的Spark RDD定義自定義分區器,其中每個分區具有相等數量的元素?[Scala] (How to Define Custom partitioner for Spark RDDs of equally sized partition where each partition has equal number of elements?)
hadoop,apache-spark
我是Spark的新人。我有一個大的數據集的元素[RDD],我想把它分成兩個完全相等大小的分區保持元素的順序。我試過使用RangePartitioner likevar data = …
38. 如何使saveAsTextFile不將輸出分割成多個文件?[Scala] (how to make saveAsTextFile NOT split output into multiple file?)
apache-spark
當在Spark中使用Scala時,每當使用saveAsTextFile轉儲結果時,它似乎將輸出拆分為多個部分。我隻是傳遞一個參數(路徑)到它。 val year = sc.textFile(“…
39. 在Scala中用於存儲內存中可變數據表的類型?[Scala] (What type to use to store an in-memory mutable data table in Scala?)
data-structures,memoization,scala-collections
每次調用一個函數時,如果給定的一組參數值的結果尚未記憶,我想將結果放入內存表中。一列用於存儲結果,其他列
40. 實例化不可變的配對對象[Scala] (Instantiating immutable paired objects)
object,immutability
是否可以創建一個具有對合作夥伴對象的不可變引用的類,或者它必須是在創建之後分配的var? PairedObject類(p:PairedObject,id:String){…
41. HashPartitioner如何工作?[Scala] (How does HashPartitioner work?)
apache-spark,partitioning
我閱讀了HashPartitioner的文檔。不幸的是,除了API調用,沒有解釋什麽。我假設HashPartitioner分區分布式集合…
42. 如何在Spark中轉置RDD[Scala] (How to transpose an RDD in Spark)
apache-spark,rdd
我有一個這樣的RDD:1 2 34 5 67 8 9它是一個矩陣。現在我想像這樣轉置RDD:1 4 72 5 83 6 9我可以這樣做嗎?
43. 將列表拆分為具有固定數量的元素的多個列表在java 8[Scala] (Split list into multiple lists with fixed number of elements in java 8)
javajava-8
我想要一個類似於scala分組函數的東西。基本上,一次選擇2個元素,並處理它們。這裏是一個相同的參考:拆分列表到多個列表與固定…
44. 命名參數中的下劃線[Scala] (Underscore in Named Arguments)
scala
有人可以解釋我在這裏究竟是怎麽回事?我現在沒有完全陷入它:val s = Seq(1D,2D,3D,4D)case類WithUnit(value:Double,unit:String)s map {WithUnit(_,“cm”)} //。 … ..
45. 在訪問Spark 2.0中的向量列時發生MatchError[Scala] (MatchError while accessing vector column in Spark 2.0)
apache-spark
我試圖在一個JSON文件上創建一個LDA模型。使用JSON文件創建spark上下文:import org.apache.spark.sql.SparkSessionval sparkSession = SparkSession.builder .master(“local”)…
46. 為什麽IntelliJ IDEA如此慢地編譯Scala? [關閉][Scala] (Why does IntelliJ IDEA compile Scala so slowly? [closed])
intellij-idea
我使用的想法9.0.3這是最新的版本。當我在Idea中編寫一些scala源代碼時,編譯和運行需要幾秒鍾。這不應該那麽慢,這是正常嗎?
47. SPARK:failure:“union”expected,但是`(’found[Scala] (SPARK : failure: “union” expected but `(‘ found)
sqlapache-spark,dataframe,apache-spark-sql
我有一個名為df的數據框,列名為employee_id。我在做:df.registerTempTable(“d_f”)val query =“”“SELECT *,ROW_NUMBER()OVER(ORDER BY employee_id)row_number FROM d_f”“”val …
48. NullPointerException在Scala Spark中,似乎是造成集合類型?[Scala] (NullPointerException in Scala Spark, appears to be caused be collection type?)
apache-spark
sessionIdList是類型:scala> sessionIdListres19:org.apache.spark.rdd.RDD [String] = MappedRDD [17] at distinct at:30當我嘗試運行下麵的代碼:val x = sc.parallelize(List(1,2 ,3))val …
49. 了解在Scala中隱式[Scala] (Understanding implicit in Scala)
syntax,playframework,keyword
我正在通過Scala playframework教程,我遇到了這段代碼讓我困惑:def newTask = Action {implicit request => taskForm.bindFromRequest.fold(…)
50. 什麽是密封性狀?[Scala] (What is a sealed trait?)
sealed,traits
密封類在“Scala中的編程”中描述,但密封的特性不是。我在哪裏可以找到關於密封特性的更多信息?我想知道,如果一個密封的特性是相同的…