varnish,squid,apache,nginx缓存文件比较
一，测试环境 1，硬件是奔腾双核，机子三年前买的。系统是archlinux 2，测试varnish和squid的时候，web服务用的apache 3，测试apache的时候，启动了5个进程，不过随着压力的增加，进程会增加的。 4，测试nginx的时候，启动了十个nginx进程，20个php-cgi进程 5，varnish，squid，nginx用的是反向代理的形势，也就是说访问图片的时候，要先透过缓存工具 二，测试 1，varnish [root@BlackGhost bin]# /usr/local/bin/webbench -c 100 -t 20 http://127.0.0.1:8080/00/01/RwGowEtWvcQAAAAAAAAWHH0Rklg81.gif Webbench – Simple Web Benchmark 1.5 Copyright (c) Radim Kolar 1997-2004, GPL Open Source Software. Benchmarking: GET http://127.0.0.1:8080/00/01/RwGowEtWvcQAAAAAAAAWHH0Rklg81.gif 100 clients, running 20 sec. Speed=476508 pages/min, 47258114 bytes/sec. Requests: 158836 susceed, 0 failed. 访问了这么次，没有缓存只有一次，效率真的很高。 2，squid [root@BlackGhost bin]# /usr/local/bin/webbench -c […]
初步试用Squid的替代产品──Varnish Cache网站加速器
Varnish是一款高性能的开源HTTP加速器，挪威最大的在线报纸 Verdens Gang (vg.no) 使用3台Varnish代替了原来的12台squid，性能比以前更好。 Varnish的作者Poul-Henning Kamp是FreeBSD的内核开发者之一，他认为现在的计算机比起1975年已经复杂许多。在1975年时，储存媒介只有两种：内存与硬盘。但现在计算机系统的内存除了主存外，还包括了cpu内的L1、L2，甚至有L3快取。硬盘上也有自己的快取装置，因此squid cache自行处理物件替换的架构不可能得知这些情况而做到最佳化，但操作系统可以得知这些情况，所以这部份的工作应该交给操作系统处理，这就是Varnish cache设计架构。 Varnish可以在FreeBSD 6.0和Linux 2.6内核上运行。 1、编译安装varnish HTTP加速器： 引用 wget http://blog.s135.com/soft/linux/varnish/varnish-1.1.1.tar.gz tar zxvf varnish-1.1.1.tar.gz cd varnish-1.1.1 ./configure –prefix=/usr/local/varnish make && make install 2、简单启动varnish守护进程，用本机80端口去反向代理加速127.0.0.1:81上的Apache服务器： 引用 /usr/local/varnish/sbin/varnishd -a :8080 -b 127.0.0.1:81 -p thread_pool_max=1500 -p thread_pools=5 -p listen_depth=512 -p client_http11=on -w 1,10000,120 Varnish官方网站：http://www.varnish-cache.org/ 另有一份PDF文档，说明Varnish原理的：http://ishare.iask.sina.com.cn/cgi-bin/fileid.cgi?fileid=2163384 我测试了一下，在同等配置环境下，Varnish的性能确实要超过Squid，稳定性也不错，值得继续去深入研究。 原文地址:http://blog.s135.com/post/290/
使用Varnish代替Squid做网站缓存加速器的详细解决方案
今天写的这篇关于Varnish的文章，已经是一篇可以完全替代Squid做网站缓存加速器的详细解决方案了。网上关于Varnish的资料很少，中文资料更是微乎其微，希望本文能够吸引更多的人研究、使用Varnish。 在我看来，使用Varnish代替Squid的理由有三点： 1、Varnish采用了“Visual Page Cache”技术，在内存的利用上，Varnish比Squid具有优势，它避免了Squid频繁在内存、磁盘中交换文件，性能要比Squid高。 2、Varnish的稳定性还不错，我管理的一台图片服务器运行Varnish已经有一个月，没有发生过故障，而进行相同工作的Squid服务器就倒过几次。 3、通过Varnish管理端口，可以使用正则表达式快速、批量地清除部分缓存，这一点是Squid不能具备的。 下面来安装Varnish网站缓存加速器（Linux系统）： 1、创建www用户和组，以及Varnish缓存文件存放目录（/var/vcache）： /usr/sbin/groupadd www -g 48 /usr/sbin/useradd -u 48 -g www www mkdir -p /var/vcache chmod +w /var/vcache chown -R www:www /var/vcache 2、创建Varnish日志目录（/var/logs/）： mkdir -p /var/logs chmod +w /var/logs chown -R www:www /var/logs 3、编译安装varnish： wget http://blog.s135.com/soft/linux/varnish/varnish-1.1.2.tar.gz tar zxvf varnish-1.1.2.tar.gz cd varnish-1.1.2 ./configure –prefix=/usr/local/varnish make && make install 4、创建Varnish配置文件： vi […]
CentOS 6正式发布，免费的企业级Linux
CentOS 6 正式版已于7月9日发布。 CentOS（Community ENTerprise Operating System）是Linux发行版之一，它是来自于Red Hat Enterprise Linux依照开放源代码规定释出的源代码所编译而成。由于出自同样的源代码，因此有些要求高度稳定性的服务器以CentOS替代商业版的Red Hat Enterprise Linux使用。两者的不同在于，CentOS并不包含封闭源代码软件。 CentOS 6.0 基于上游的 Red Hat Enterprise Linux 6.0 制作，同时基本包含了所有的上游软件包。CentOS 完全遵守上游供应商的再发行政策，并且以百分之百的软件兼容性为目标，但相对于 RHEL ，CentOS 最主要的改变是去除了上游供应商的商标及美工图。 CentOS 6上游版本发行注记和文档：Red Hat Enterprise Linux 6 CentOS 6相对于上游版本 RHEL 6，修改、删除和新增了部分组件，详细情况参阅：发行注记。 官方网站：http://www.centos.org/ 下载页面：http://www.centos.org/modules/tinycontent/index.php?id=15
Bash 小技巧：给目录加上书签，快速切换目录
原文地址：http://www.zhuoqun.net/html/y2011/1635.html 当我们在命令行下面做开发的时候，很大一部分时间都浪费在了目录切换上面，相信不少人每天敲 “cd” 都敲得想吐。如果目录层次多一点，Tab 键也会饱受摧残。虽然 Bash 有内置的 “cd -”, “pushd” 和 “popd” 命令，但用起来都不是很顺手。 昨天在 Twitter 上看到了 Huy Nguyen 的一篇文章：Quick Bash Tip : Directory Bookmarks，用几行简单的 Bash 脚本巧妙地给目录加上了书签，这样你就可以给最常用的那几个工作目录加上书签，不需要每次都敲 cd 了。 昨天 Huy Nguyen 的这篇文章被发布到了 Hacker News 上，然后引来了很多人评论，其中不少评论都是非常有价值的，甚至还有人直接在评论里对 Huy Nguyen 的脚本做了改进。Huy Nguyen 看到评论之后也修改了自己最初写的脚本，并放到了 github 上（https://github.com/huyng/bashmarks），你可以用 git clone 命令把那个脚本下载下来，或者直接把源码复制到你的 ~/.bashrc 中。 这个脚本只有三个命令： s – 给当前目录加上书签，书签名为 bookmark_name g – 跳到名为 […]
Ruby on Rails with Nginx on CentOS 5
Ruby on Rails is a popular rapid development web framework that allows web designers and developers to implement fully featured dynamic web applications using the Ruby programming language. This guide describes the required process for deploying Ruby on Rails with Passenger and the nginx web server on CentOS 5. These instructions work with the […]
received event “button/power PWRF 00000080 00000001”
今天其中一台服務器無緣無故重啓了。問了機房的人，沒有人去操作。只有清潔工進過機房。 無耐，只好查看系統日誌。/var/log/acpid 發現以下內容。時間跟服務器重啓時間敏合。初步推薦是電源按扭被按了。 [Wed Mar 23 10:44:38 2011] received event “button/power PWRF 00000080 00000001” [Wed Mar 23 10:44:38 2011] notifying client 4187[68:68] [Wed Mar 23 10:44:38 2011] notifying client 4380[0:0] [Wed Mar 23 10:44:38 2011] executing action “/bin/ps awwux | /bin/grep gnome-power-manager | /bin/grep -qv grep || /sbin/shutdown -h now”[Wed Mar 23 10:44:38 2011] BEGIN […]
bash下利用trap捕捉信号
我在之前的文章里写了myisam读数据压缩的情况，最近决定把它用在生产环境上，所以避免不了写一个“安全”的处理脚本放在DB服务器上，这就引入了本文所讨论的话题。 我希望这个bash脚本在退出的时候做一些事情，包括： 它启动的切到后台的job需要被杀死； 一些临时文件的清理。 在这个脚本里我用到了trap这个命令，关于它，你可以man一下，我这里就不啰嗦了。直接上示例代码： $ cat test_trap.sh declare -i run_terminate=0 trap “run_terminate=1” SIGINT SIGTERM # 启动io监控，IO较大时不进行压缩 vmstat 1 >> ./a.log & while [ ${run_terminate} -eq 0 ] do # 核心代码 sleep 30 done for pid in $(ps -ef | awk -v p=${$} ‘{if ($3 == p){print $2}}’) do kill -9 ${pid} > /dev/null done […]
nginx+resin 使用中文域名解决方案。
xxx中文域名.中国 这样的域名在resin下会出错： [15:34:31.628] {hmux-127.0.0.1:6801-5} java.lang.StringIndexOutOfBoundsException: String index out of range: 9[15:34:31.628] {hmux-127.0.0.1:6801-5} at java.lang.String.charAt(String.java:687)[15:34:31.628] {hmux-127.0.0.1:6801-5} at com.caucho.server.host.DomainName.decode(DomainName.java:205)[15:34:31.628] {hmux-127.0.0.1:6801-5} at com.caucho.server.host.DomainName.fromAscii(DomainName.java:86)[15:34:31.628] {hmux-127.0.0.1:6801-5} at com.caucho.server.host.HostContainer.buildInvocation(HostContainer.java:305)[15:34:31.628] {hmux-127.0.0.1:6801-5} at com.caucho.server.cluster.Server.buildInvocation(Server.java:915)[15:34:31.628] {hmux-127.0.0.1:6801-5} at com.caucho.server.dispatch.DispatchServer.buildInvocation(DispatchServer.java:209)[15:34:31.628] {hmux-127.0.0.1:6801-5} at com.caucho.server.hmux.HmuxRequest.handleRequest(HmuxRequest.java:427)[15:34:31.628] {hmux-127.0.0.1:6801-5} at com.caucho.server.port.TcpConnection.run(TcpConnection.java:603)[15:34:31.628] {hmux-127.0.0.1:6801-5} at com.caucho.util.ThreadPool$Item.runTasks(ThreadPool.java:721)[15:34:31.628] {hmux-127.0.0.1:6801-5} at com.caucho.util.ThreadPool$Item.run(ThreadPool.java:643)[15:34:31.628] {hmux-127.0.0.1:6801-5} at java.lang.Thread.run(Thread.java:619)[15:34:31.628] {hmux-127.0.0.1:6801-5} java.lang.RuntimeException: java.lang.StringIndexOutOfBoundsException: String index out of range: 9[15:34:31.628] {hmux-127.0.0.1:6801-5} at […]
Nginx源码分析-内存池
Nginx的内存池实现得很精巧，代码也很简洁。总的来说，所有的内存池基本都一个宗旨：申请大块内存，避免“细水长流”。 一、创建一个内存池 nginx内存池主要有下面两个结构来维护，他们分别维护了内存池的头部和数据部。此处数据部就是供用户分配小块内存的地方。 //该结构用来维护内存池的数据块，供用户分配之用。 typedef struct { u_char *last; //当前内存分配结束位置，即下一段可分配内存的起始位置 u_char *end; //内存池结束位置 ngx_pool_t *next; //链接到下一个内存池 ngx_uint_t failed; //统计该内存池不能满足分配请求的次数 } ngx_pool_data_t; //该结构维护整个内存池的头部信息。 struct ngx_pool_s { ngx_pool_data_t d; //数据块 size_t max; //数据块的大小，即小块内存的最大值 ngx_pool_t *current; //保存当前内存池 ngx_chain_t *chain; //可以挂一个chain结构 ngx_pool_large_t *large; //分配大块内存用，即超过max的内存请求 ngx_pool_cleanup_t *cleanup; //挂载一些内存池释放的时候，同时释放的资源。 ngx_log_t *log; }; 有了上面的两个结构，就可以创建一个内存池了，nginx用来创建一个内存池的接口是：ngx_pool_t *ngx_create_pool(size_t size, ngx_log_t *log)（位于src/core/ngx_palloc.c中）;调用这个函数就可以创建一个大小为size的内存池了。这里，我用内存池的结构图来展示，就不做具体的代码分析了。 ngx_create_pool接口函数就是分配上图这样的一大块内存，然后初始化好各个头部字段（上图中的彩色部分）。红色表示的四个字段就是来自于上述的第一个结构，维护数据部分，由图可知：last是用户从内存池分配新内存的开始位置，end是这块内存池的结束位置，所有分配的内存都不能超过end。蓝色表示的max字段的值等于整个数据部分的长度，用户请求的内存大于max时，就认为用户请求的是一个大内存，此时需要在紫色表示的large字段下面单独分配；用户请求的内存不大于max的话，就是小内存申请，直接在数据部分分配，此时将会移动last指针。 二、分配小块内存(size <= max) […]