从Apache日志文件中获取访问量最大的页面(Top)

@丹阳 ▣编程语言 ♢Apache, Python, 例程, 日志

Apache日志文件可能很庞大且难以阅读。这里提供一种从Apache日志文件中获取访问量最大的页面(或文件)列表的方法。在此示例中，我们只需要知道GET请求中的...

Google命令行脚本

@丹阳 ▣编程语言 ♢google, Python, 例程, 命令行

概览本文介绍如何在Python中使用Google搜索命令行。 (version 2.7.x) 注意：截至2010年11月1日，Google Web Search API已被正式弃用，虽然...

SDCC2015 机器学习在美团用户画像中的应用PPT

@丹阳 ▣机器学习, 算法&结构 ♢sdcc, 机器学习

部分内容预览： 1）特征工程： 2）模型：

为什么L1稀疏，L2平滑？

@丹阳 ▣机器学习, 算法&结构 ♢L1, L2, 正则化

使用机器学习方法解决实际问题时，我们通常要用L1或L2范数做正则化（regularization），从而限制权值大小，减少过拟合风险。特别是在使用梯度下降来做目标函...

那些年踩过的坑。。。

@丹阳 ▣技术问答 ♢

前车之覆，后车之鉴！本文记录日常遇到的技术小问题及解决方法，不定期更新。 1. 问题：word2vec在mac上make编译，遇到报错： fatal e...

Spark的Cache和Checkpoint

@丹阳 ▣系统&架构 ♢cache, checkpoint, spark

本文阐述了Spark中几种数据持久化方法Cache/Persist/Checkpoint的用法以及区别和联系，对于计算链条过长或者数据量较大的Spark任务有指导意义。原文来自：htt...

各种分类算法的优缺点

@丹阳 ▣机器学习, 算法&结构 ♢分类, 机器学习

原文来自： http://bbs.pinggu.org/thread-2604496-1-1.html，这里对部分地方添加了注解以及自己的理解。原文对一些常用的分类算法，如决策树、SVM、朴素贝叶...

Spark机器学习库指南[Spark 1.3.1版]

@丹阳 ▣机器学习, 算法&结构 ♢MLib, spark, 机器学习, 翻译

本文内容关键词：Spark官方文档，Spark教程， Spark MLlib教程。本文翻译自Spark官方文档：Machine Learning Library (MLlib) Guide ，代码示例以P...

线性代数的本质[转]

@丹阳 ▣瀚海文摘 ♢矩阵, 线性代数

本文转自：http://www.52ml.net/13425.html(最原始的出处应该是CSDN孟岩的博客：http://blog.csdn.net/myan/article/details/647511)，非常精彩的文章，...

Spark ALS.train()迭代次数过多导致java.lang.StackOverflowError

@丹阳 ▣编程语言 ♢ALS, spark, StackOverflowError

问题描述：使用Spark ALS.train()做协同过滤的模型训练时，迭代次数过多(iteration>=30)可能导致java.lang.StackOverflowError的错误。解决方案：一...

LINUX下Redis集群的安装和配置(原创)

@丹阳 ▣系统&架构 ♢Linux, redis, redis-cluster, 分布式, 缓存

在大数据的浪潮下，redis只提供主从分布模式越来越显得捉襟见肘了。2015年3月底，Redis-Cluster终于出了正式版本，真可谓千呼万唤始出来啊。下面我们就来看看...

常用机器学习算法的点睛之笔

@丹阳 ▣机器学习, 算法&结构 ♢机器学习

AdaBoost：权值的作用是什么？1）对分错的样本给予更高的权值，给弱分类器的误差加权2）所有弱分类器的投票权重 SVM：超平面切割空间，支持向量距离最...

揭开机器学习的面纱：最大熵模型100行代码实现[Python版]

@丹阳 ▣机器学习, 算法&结构 ♢GIS, MaxEnt, 最大熵

理论说明部分见上一篇：最大熵模型简介[例子+推导+GIS求解] 为了是代码简短，方便阅读，去掉了很多健壮性检测的代码以及特殊处理。下面的代码实现的...

协同过滤之ALS-WR算法

@丹阳 ▣机器学习, 算法&结构 ♢ALS, ALS-WR, 协同过滤

这篇文章是参考：https://github.com/ceys/jdml/wiki/ALS 改写的，由于原文Latex公式没有正常展现+少量笔误，妨碍阅读，所以这里重新整理了一下。 ALS是al...

作者：丹阳