Linux Shell命令之文本内容分析

yangfan 系统&架构 192 次浏览 , , ,
linux文本分析处理命令很多,日志分析等日常实用的较多的有cat、awk、sed、tr、uniq、sort、cut、head、tail、more、wc主要用途如下: cat: 查看文件内容,全部输入到终端 more:查看内容,每次显示输出终端高度的内容,空格翻页 awk:...

MySQL异常问题解决方案小结

yangfan 技术问答, 系统&架构 243 次浏览 , ,
1.Mysql中文存储乱码 默认编码latin1,需修改my.conf重启服务 character-set-server = utf8 collation-server=utf8_general_ci 设置是否成功,可用以下命令查看: SHOW VARIABLES LIKE 'character_set_%' SHOW VARIABLES LIKE 'coll...

nginx网站快速从http转https步骤

qingchuan 系统&架构 623 次浏览 , , ,
Http的裸奔特质已经被越来越多的人所了解,当前从Http转向Https已经是大势所趋。google和百度相继宣布支持Https, 并且承诺在搜索结果中,Https网站会获得更好的排名。本文将以nginx服务器为例,介绍快速从http转https网站的完整步骤。...

Apache Spark和Apache Storm的区别

qingchuan 系统&架构 1,410 次浏览 ,
      Apache Spark和Apache Store的区别是什么?他们各自适用于什么样的应用场景?这是stackoverflow上的一个问题,这里整理简要版回答如下:       Apache Spark是基于内存的分布式...

Spark的Cache和Checkpoint

qingchuan 系统&架构 1,876 次浏览 , ,
本文阐述了Spark中几种数据持久化方法Cache/Persist/Checkpoint的用法以及区别和联系,对于计算链条过长或者数据量较大的Spark任务有指导意义。原文来自:https://github.com/JerryLead/SparkInternals/blob/master/markdown/6-CacheA...

LINUX下快速安装Spark[原创]

qingchuan 系统&架构 1,588 次浏览 , , ,
Spark作为一种通用且高性能的计算框架,不仅在性能上相对于hadoop mapreduce有了很大的提升;在易用性上也运超hadoop, 不只提供了map/reduce计算接口,还提供了大量其他实用的接口,使得编写分布式程序更加迅速高效。 Spark目前提...

什么是SDN【转】

qingchuan 系统&架构 1,391 次浏览
 软 件定义网络(Software Defined Network, SDN)在InfoWorld于2011年11月公布的将影响未来10年的十项新技术 中排名第二。2012年7月,SDN代表厂商Nicira被VMware以12.6亿美元收购,随后Google宣布成功在其全球10个IDC网...

ZooKeeper典型使用场景一览[转]

qingchuan 系统&架构 1,666 次浏览 ,
本文转自:http://www.kuqin.com/system-analysis/20111120/315148.html ZooKeeper是一个高可用的分布式数据管理与系统协调框架。基于对Paxos算法的实现,使该框架保证了分布式环境中数据的强一致性,也正是基于这样的特性,使得zooke...

LINUX上Squid代理的安装和密码配置

qingchuan 系统&架构 1,824 次浏览
本文简单记录下代理软件Squid的安装和配置过程,方便以后查阅。 关键词:  LINUX Squid 安装 账号 密码  1. 安装: yum install -y squid [Centos6,其他Linux平台用相应的安装方法] 2. 修改端口:...

41个字说明白mapreduce

qingchuan 系统&架构 1,612 次浏览 ,
下面这段,不多评论了,简明扼要地道出了mapreduce的基本原理。 Goal: count the number of books in the library. Map: You count up shelf #1, I count up shelf #2. (The more people we get, the faster this part goes....

谈搜索架构师的不同阶段(转载)

qingchuan 系统&架构 1,539 次浏览 ,
文/腾讯soso 乔建秀 乔建秀,国内早期从事搜索引擎技术的专家,拥有十年的搜索经验。作为搜索首席架构师,2000年-2007年在中搜在线工作。2007年以高端技术专家身 份加入腾讯公司。自加入公司以来,全面负责网页搜索的后台技术架构的...
Go