Spark Streaming入門

@丹陽 ▣技術教程 ♢scala, spark, spark-streaming

Spark Streaming簡介 Spark Streaming是Spark核心API的擴展，可實現實時數據流的可擴展，高吞吐量，容錯流式處理。數據可以從諸如Kafka，Flume，Kinesis或TC...

pyspark卡方特征選擇ChiSqSelector用法示例

@丹陽 ▣機器學習, 算法&結構 ♢ChiSqSelector, pyspark, 卡方

類ChiSqSelector聲明 class pyspark.mllib.feature.ChiSqSelector(numTopFeatures=50, selectorType='numTopFeatures', percentile=0.1, fpr=0.05) 類ChiS...

@丹陽 ▣機器學習, 算法&結構 ♢ml, mllib, spark

Spark中ml和mllib的主要區別和聯係如下： ml和mllib都是Spark中的機器學習庫，目前常用的機器學習功能2個庫都能滿足需求。 spark官方推薦使用ml, 因...

@丹陽 ▣機器學習, 算法&結構 ♢LDA, pyspark, Python

潛在的Dirichlet分配（LDA），是專為文本文檔設計的主題模型。術語說明： “word”=“term”：詞匯表的元素。 “token”：出現在文檔中的term的實例。 “topic”...

@丹陽 ▣機器學習, 算法&結構 ♢GBDT, pyspark

GBDT分類 pyspark使用類GradientBoostedTrees的trainClassifier函數進行GBDT分類模型訓練： trainClassifier(data, categoricalFeaturesInfo, loss='logLos...

@丹陽 ▣機器學習, 算法&結構 ♢parameter, tuning, xgboost

機器學習中參數調整是門藝術，模型的最佳參數可能取決於許多場景，所以很難為此做一個全麵的指導。本文嘗試為xgboost中的參數調整提供一些說明。了解偏...

@丹陽 ▣機器學習, 算法&結構 ♢pyspark, Python, RandomForest

pyspark中的RandomForest，也就是隨機森林，既可以訓練分類模型，也可以訓練回歸模型，下麵分別介紹。 RandomForest分類使用RondomForest建立分類模型...

@丹陽 ▣技術問答 ♢googlebot, redirect, wordpress, wp-login, 爬蟲

問題描述最近觀察網站(Powered By Wordpress)後台日誌發現，Googlebot大量請求/wp-login.php?redirect_to=xxx(xxx表示某個文章頁的URL)這一類頁麵。這些請...

@丹陽 ▣機器學習, 算法&結構 ♢LogisticRegression, pyspark, Python, spark

類用法簡介 class pyspark.mllib.classification.LogisticRegressionModel(weights, intercept, numFeatures, numClasses) LogisticRegressionModel: 使用...

@丹陽 ▣技術教程 ♢D3, d3.js, d3js, 可視化

D3.js是一個強大的數據可視化javascript庫。D3可以幫助您使用HTML，SVG和CSS將數據以非常直觀的方式呈現出來。 D3js對WEB標準支持的非常友好，基本可以完美兼...

@丹陽 ▣技術問答 ♢apt-get, homebrew, macos, yum

問題詳細描述我是Mac OS命令行的新手，我想使用apt-get或yum管理軟件包，但是現在不知道要怎麽先安裝這兩個工具啊。誰能指導我安裝一下這兩個程序之一...

@丹陽 ▣技術教程 ♢JSON, mysql

Mysql從5.7.8版本之後，就開始原生支持JSON(JavaScript Object Notation)類型了。這跟以往直接把JSON字符串存到Mysql的文本類型不一樣，因為使用MySQL原生的J...

@丹陽 ▣編程語言 ♢C++, 可重入函數, 多線程

多線程程序中，線程安全是必須要考慮的因素。C語言中大部分函庫函數都是線程安全的，但是也有幾個常用函數是線程不安全的，也叫不可重入函數。線程不安全函...

@丹陽 ▣技術問答 ♢cookie, utma, utmb, utmc, utmz

本文以Google Analytics為例，介紹網站是如何通過cookie來記錄訪客信息。當訪問使用了Google Analytics的網站時，會在本地保存多個cookie字段，來記錄用戶相...

@丹陽 ▣編程語言 ♢DataFrame, scala, spark

跟關係數據庫的表(Table)一樣，DataFrame是Spark中對帶模式(schema)行列數據的抽象。DateFrame廣泛應用於使用SQL處理大數據的各種場景。創建DataFrame有很多...