pyspark卡方特征选择ChiSqSelector用法示例
类ChiSqSelector声明
class pyspark.mllib.feature.ChiSqSelector(numTopFeatures=50, selectorType='numTopFeatures', percentile=0.1, fpr=0.05)
类Chi...
作者：丹阳
Spark中ml和mllib的区别
Spark中ml和mllib的主要区别和联系如下：
ml和mllib都是Spark中的机器学习库，目前常用的机器学习功能2个库都能满足需求。
spark官方推荐使用ml, ...
pyspark LDA模型示例
潜在的Dirichlet分配（LDA），是专为文本文档设计的主题模型。
术语说明：
“word”=“term”：词汇表的元素。
“token”：出现在文档中的term的实例。
...
pyspark GBDT分类和回归示例
GBDT分类
pyspark使用类GradientBoostedTrees的trainClassifier函数进行GBDT分类模型训练：
trainClassifier(data, categoricalFeaturesInfo, loss='logLos...
XGBoost调参注意事项
机器学习中参数调整是门艺术，模型的最佳参数可能取决于许多场景，所以很难为此做一个全面的指导。本文尝试为xgboost中的参数调整提供一些说明。
了解偏...
pyspark RandomForest的分类和回归示例
pyspark中的RandomForest，也就是随机森林，既可以训练分类模型，也可以训练回归模型，下面分别介绍。
RandomForest分类
使用RondomForest建立分类模型，需...
Googlebot大量请求wp-login.php?redirect_to=解决办法
问题描述
最近观察网站(Powered By Wordpress)后台日志发现，Googlebot大量请求/wp-login.php?redirect_to=xxx(xxx表示某个文章页的URL)这一类页面。这些请...
pyspark LogisticRegressionModel用法示例
类用法简介
class pyspark.mllib.classification.LogisticRegressionModel(weights, intercept, numFeatures, numClasses)
LogisticRegressionModel: 使用...
数据可视化利器:D3js入门
D3.js是一个强大的数据可视化javascript库。D3可以帮助您使用HTML，SVG和CSS将数据以非常直观的方式呈现出来。 D3js对WEB标准支持的非常友好，基本可以完美兼...
在Mac OS X上如何安装apt-get或者yum？
问题详细描述
我是Mac OS命令行的新手，我想使用apt-get或yum管理软件包，但是现在不知道要怎么先安装这两个工具啊。
谁能指导我安装一下这两个程序之一...
Mysql支持JSON类型
Mysql从5.7.8版本之后，就开始原生支持JSON(JavaScript Object Notation)类型了。这跟以往直接把JSON字符串存到Mysql的文本类型不一样，因为使用MySQL原生的J...
C语言线程安全:不可重入函数汇总
多线程程序中，线程安全是必须要考虑的因素。C语言中大部分函库函数都是线程安全的，但是也有几个常用函数是线程不安全的，也叫不可重入函数。
线程不安全函...
Cookie是如何记录访客信息的:utma/utmb/utmc/utmz详解
本文以Google Analytics为例，介绍网站是如何通过cookie来记录访客信息。当访问使用了Google Analytics的网站时，会在本地保存多个cookie字段，来记录用户相...
Spark创建DataFrame的三种方法
跟关系数据库的表(Table)一样，DataFrame是Spark中对带模式(schema)行列数据的抽象。DateFrame广泛应用于使用SQL处理大数据的各种场景。创建DataFrame有很多...
Spark读取/保存本地文件
本文介绍两点：
1. 如何用Spark读取本文文件内容。
2. 如何用Spark将数据写到本地，特别是将大文件写到本地。
Spark读取本地文件内容
通常情况下，如...
C++ undefined reference/unresolved external symbol问题原因分析
C++程序编译时，经常遇到undefined reference to或者unresolved external symbol问题，这里阐述一下问题原因及解决方法。
C++编译的步骤
要解决这个问题，...
Go语言入门教程
Go 是一门被设计用来构建简单、高效、可信赖软件的开源程序设计语言。
Go语言入门教程 是对 Go 基于实践的介绍，包含一系列带有标注说...