自从诞生以来，MariaDb(MySQL)索引有一个限制：它们不能降序(create index desc)。是的，ALTER TABLE和CREATE INDEX可以包含ASC和DESC关键字，这在MySQL中完全合法，但这并不意味着下降索引被创建。也就是Mysql支...

Python Urlparse函数声明 urlparse.urlparse(urlstring[, scheme[, allow_fragments]]) 将URL解析为六个组件，返回一个6元组。这对应于URL的一般结构：scheme：// netloc / path; parameters？query＃fragment...

最近我遇到了一个奇怪的问题：我的一个小内存（512MB）虚拟专用服务器上，MariaDB数据库经常崩溃。经过一些短暂的搜索，我发现了MariaDB在小型RAM机器上有什么潜在的问题，以及如何解决这个问题。 首先，如果您...

云计算让我们在互联网上拥有自己的私有虚拟服务器非常实惠。Digital Ocean提供每月5美元的入门级Droplet，而亚马逊在EC2平台上拥有微型实例层，第一年是免费的。如果您想测试一些新技术（多源复制？）或将其概念...

Keras简介 Keras是一个高级神经网络API，用Python编写，能够运行在TensorFlow或者Theano之上。它的开发重点是实现快速实验。从想法到结果延迟很小，是做好研究的重要途径。 如果您需要一个深度学习库，请使用Ke...

Spark-Submit简介 spark-submit脚本用于在集群上启动应用程序,它位于Spark的bin目录中。这种启动方式可以通过统一的界面使用所有的Spark支持的集群管理功能，因此您不必为每个应用程序专门配置应用程序。 绑定...

Spark Streaming简介 Spark Streaming是Spark核心API的扩展，可实现实时数据流的可扩展，高吞吐量，容错流式处理。数据可以从诸如Kafka，Flume，Kinesis或TCP套接字的许多来源中获取，并且可以使用由高级函数（...

类ChiSqSelector声明 class pyspark.mllib.feature.ChiSqSelector(numTopFeatures=50, selectorType='numTopFeatures', percentile=0.1, fpr=0.05) 类ChiSqSelector用于创建一个卡方(ChiSquared)特征选择器。...

数据库事务（Database Transaction）：将有限系列的执行命令作为单个逻辑执行单元，单元内的任务要么全部成功，要么全部失败。数据库事务拥有四大特性，通常称为ACID，具体说明如下（摘自维基百科）： 原子...

加减乘除四则运算是高级程序设计语言（不论机器语言、汇编还是其他高级语言）最基础的部分，Java作为最流行的软件开发语言之一，涉及四则运算的程序代码和功能业务随处可见。在笔者从事的基于Java语言银行、电商...

Spark中ml和mllib的主要区别和联系如下： ml和mllib都是Spark中的机器学习库，目前常用的机器学习功能2个库都能满足需求。 spark官方推荐使用ml, 因为ml功能更全面更灵活，未来会主要支持ml，mllib很有可能会被...

潜在的Dirichlet分配（LDA），是专为文本文档设计的主题模型。 术语说明： “word”=“term”：词汇表的元素。 “token”：出现在文档中的term的实例。 “topic”：主题，表示某种概念的词的多项分布。 “document”： ...

GBDT分类 pyspark使用类GradientBoostedTrees的trainClassifier函数进行GBDT分类模型训练： trainClassifier(data, categoricalFeaturesInfo, loss='logLoss', numIterations=100, learningRate=0.1, maxDepth=...

机器学习中参数调整是门艺术，模型的最佳参数可能取决于许多场景，所以很难为此做一个全面的指导。本文尝试为xgboost中的参数调整提供一些说明。 了解偏差-方差权衡(Bias-Variance Tradeoff) 在机器学习或统计...

Mac系统安装Xgboost Xgboost是大规模并行boosted tree的工具，它是目前最快最好的开源boosted tree工具包，比常见的工具包快10倍以上。在数据科学方面，有大量kaggle选手选用它进行数据挖掘比赛，其中包括两个以...