Spark Streaming入门

@丹阳 ▣技术教程 ♢scala, spark, spark-streaming

Spark Streaming简介 Spark Streaming是Spark核心API的扩展，可实现实时数据流的可扩展，高吞吐量，容错流式处理。数据可以从诸如Kafka，Flume，Kinesis或TC...

pyspark卡方特征选择ChiSqSelector用法示例

@丹阳 ▣机器学习, 算法&结构 ♢ChiSqSelector, pyspark, 卡方

类ChiSqSelector声明 class pyspark.mllib.feature.ChiSqSelector(numTopFeatures=50, selectorType='numTopFeatures', percentile=0.1, fpr=0.05) 类ChiS...

@丹阳 ▣机器学习, 算法&结构 ♢ml, mllib, spark

Spark中ml和mllib的主要区别和联系如下： ml和mllib都是Spark中的机器学习库，目前常用的机器学习功能2个库都能满足需求。 spark官方推荐使用ml, 因...

@丹阳 ▣机器学习, 算法&结构 ♢LDA, pyspark, Python

潜在的Dirichlet分配（LDA），是专为文本文档设计的主题模型。术语说明： “word”=“term”：词汇表的元素。 “token”：出现在文档中的term的实例。 “topic”...

@丹阳 ▣机器学习, 算法&结构 ♢GBDT, pyspark

GBDT分类 pyspark使用类GradientBoostedTrees的trainClassifier函数进行GBDT分类模型训练： trainClassifier(data, categoricalFeaturesInfo, loss='logLos...

@丹阳 ▣机器学习, 算法&结构 ♢parameter, tuning, xgboost

机器学习中参数调整是门艺术，模型的最佳参数可能取决于许多场景，所以很难为此做一个全面的指导。本文尝试为xgboost中的参数调整提供一些说明。了解偏...

@丹阳 ▣机器学习, 算法&结构 ♢pyspark, Python, RandomForest

pyspark中的RandomForest，也就是随机森林，既可以训练分类模型，也可以训练回归模型，下面分别介绍。 RandomForest分类使用RondomForest建立分类模型...

@丹阳 ▣技术问答 ♢googlebot, redirect, wordpress, wp-login, 爬虫

问题描述最近观察网站(Powered By Wordpress)后台日志发现，Googlebot大量请求/wp-login.php?redirect_to=xxx(xxx表示某个文章页的URL)这一类页面。这些请...

@丹阳 ▣机器学习, 算法&结构 ♢LogisticRegression, pyspark, Python, spark

类用法简介 class pyspark.mllib.classification.LogisticRegressionModel(weights, intercept, numFeatures, numClasses) LogisticRegressionModel: 使用...

@丹阳 ▣技术教程 ♢D3, d3.js, d3js, 可视化

D3.js是一个强大的数据可视化javascript库。D3可以帮助您使用HTML，SVG和CSS将数据以非常直观的方式呈现出来。 D3js对WEB标准支持的非常友好，基本可以完美兼...

@丹阳 ▣技术问答 ♢apt-get, homebrew, macos, yum

问题详细描述我是Mac OS命令行的新手，我想使用apt-get或yum管理软件包，但是现在不知道要怎么先安装这两个工具啊。谁能指导我安装一下这两个程序之一...

@丹阳 ▣技术教程 ♢JSON, mysql

Mysql从5.7.8版本之后，就开始原生支持JSON(JavaScript Object Notation)类型了。这跟以往直接把JSON字符串存到Mysql的文本类型不一样，因为使用MySQL原生的J...

@丹阳 ▣编程语言 ♢C++, 可重入函数, 多线程

多线程程序中，线程安全是必须要考虑的因素。C语言中大部分函库函数都是线程安全的，但是也有几个常用函数是线程不安全的，也叫不可重入函数。线程不安全函...

@丹阳 ▣技术问答 ♢cookie, utma, utmb, utmc, utmz

本文以Google Analytics为例，介绍网站是如何通过cookie来记录访客信息。当访问使用了Google Analytics的网站时，会在本地保存多个cookie字段，来记录用户相...

@丹阳 ▣编程语言 ♢DataFrame, scala, spark

跟关系数据库的表(Table)一样，DataFrame是Spark中对带模式(schema)行列数据的抽象。DateFrame广泛应用于使用SQL处理大数据的各种场景。创建DataFrame有很多...