使用Varnish代替Squid做网站缓存加速器的详细解决方案
今天写的这篇关于Varnish的文章，已经是一篇可以完全替代Squid做网站缓存加速器的详细解决方案了。网上关于Varnish的资料很少，中文资料更是微乎其微，希望本文能够吸引更多的人研究、使用Varnish。 在我看来，使用Varnish代替Squid的理由有三点： 1、Varnish采用了“Visual Page Cache”技术，在内存的利用上，Varnish比Squid具有优势，它避免了Squid频繁在内存、磁盘中交换文件，性能要比Squid高。 2、Varnish的稳定性还不错，我管理的一台图片服务器运行Varnish已经有一个月，没有发生过故障，而进行相同工作的Squid服务器就倒过几次。 3、通过Varnish管理端口，可以使用正则表达式快速、批量地清除部分缓存，这一点是Squid不能具备的。 下面来安装Varnish网站缓存加速器（Linux系统）： 1、创建www用户和组，以及Varnish缓存文件存放目录（/var/vcache）： /usr/sbin/groupadd www -g 48 /usr/sbin/useradd -u 48 -g www www mkdir -p /var/vcache chmod +w /var/vcache chown -R www:www /var/vcache 2、创建Varnish日志目录（/var/logs/）： mkdir -p /var/logs chmod +w /var/logs chown -R www:www /var/logs 3、编译安装varnish： wget http://blog.s135.com/soft/linux/varnish/varnish-1.1.2.tar.gz tar zxvf varnish-1.1.2.tar.gz cd varnish-1.1.2 ./configure –prefix=/usr/local/varnish make && make install 4、创建Varnish配置文件： vi […]
CentOS 6正式发布，免费的企业级Linux
CentOS 6 正式版已于7月9日发布。 CentOS（Community ENTerprise Operating System）是Linux发行版之一，它是来自于Red Hat Enterprise Linux依照开放源代码规定释出的源代码所编译而成。由于出自同样的源代码，因此有些要求高度稳定性的服务器以CentOS替代商业版的Red Hat Enterprise Linux使用。两者的不同在于，CentOS并不包含封闭源代码软件。 CentOS 6.0 基于上游的 Red Hat Enterprise Linux 6.0 制作，同时基本包含了所有的上游软件包。CentOS 完全遵守上游供应商的再发行政策，并且以百分之百的软件兼容性为目标，但相对于 RHEL ，CentOS 最主要的改变是去除了上游供应商的商标及美工图。 CentOS 6上游版本发行注记和文档：Red Hat Enterprise Linux 6 CentOS 6相对于上游版本 RHEL 6，修改、删除和新增了部分组件，详细情况参阅：发行注记。 官方网站：http://www.centos.org/ 下载页面：http://www.centos.org/modules/tinycontent/index.php?id=15
敏捷方法中测试人员的价值?
敏捷方法在软件开发中受到青睐，特别是在互联网应用服务系统的开发中，越来越多的公司采用敏捷方法，包括XP、Scrum、Lean、Crystal、FDD等。具体的敏捷方法在操作时有一些区别，但基本思想是一致的，如客户至上、拥抱变化、缩短迭代周期、自我组织等。在敏捷方法中，流程相对灵活，强调沟通，通过充分的沟通来及时解决问题，由于沟通充分，文档不是很重要，而且有可能不采用Word等独立的文件格式，而是采用Wiki、空间等web内容方式。 在敏捷方法中，需求变化比较快、产品开发周期很短（一、两周），给软件测试带来很大的挑战！例如，功能测试的自动化实现就比较困难，没有足够时间开发自动化测试脚本，要花大量时间讨论产品特性，及时进行产品的验收测试。自动化测试，更多的是在单元测试这个层次上实现。而单元测试自动化、持续集成等一些关键实践，开发人员能发挥更大的作用，而测试人员难以很好地发挥作用。在敏捷方法中，开发人员的主导作用更明显，讨论需求、实现需求，再修改需求、再实现、再重构，不断完善产品，测试人员容易边缘化。甚至在Crystal方法中，可以不需要测试人员，开发人员能承担所有技术性的工作。 在敏捷方法中，测试人员的价值又如何体现？ 首先在需求讨论上，测试人员可以站在客户角度上来阐述自己的观点，和产品人员、开发人员等进行充分的交流和讨论，使自己在用户体验、业务逻辑等等方面的经验充分体现出来。 在开发过程中，测试人员不仅扮演“用户代表”角色，而且可以及时提供更全面的质量反馈，包括代码质量、接口一致性等。测试人员不写代码，可以参与代码复审（code review），将质量问题及时提交给项目组，保证在产品构造的整个过程中质量受到足够的关注，提高质量改进的持续性和可视性。 测试人员还是可以参与单元测试。即使单元测试由开发人员做，测试人员可以推进开发人员进行单元测，检查单元测试状态，如确保单元测试达到80%以上覆盖率，以及帮助开发人员开发出具有良好可测试性的代码。 即使在敏捷方法中，集成测试、端到端（end-to-end）测试、性能测试等是不可少的。因为在敏捷方法中，往往将一个大的系统开发分解成多个小的子系统（模块/组件），集成测试和端到端（end-to-end）测试显得更重要。测试人员在功能测试上工作量会降低，但在这些测试上发挥更大的作用。 随着迭代的不断深入，回归测试的工作量很大，这也是测试人员的用武之地。 测试人员可以针对稳定的产品特性开发自动化测试脚本，这也是一种持续的努力，使回归测试自动化。 测试人员对缺陷进行分析，总结出一些规律，帮助开发人员建立良好的习惯，改进代码的质量。 而且： 在敏捷方法中，我们也要采用敏捷测试，不要再写几十页的测试计划书，而是在每个迭代周期，写出一页纸的测试计划，将测试要点列出来。 在敏捷测试中，可能不需要测试用例，而是针对use case 或user story直接进行验证，并进行探索性测试。而节约出来的时间，用于开发原有功能的自动化测试脚本，为回归测试服务。自动化测试脚本将代替测试用例，成为软件组织的财富。 所以： 敏捷功能测试 = 新特性的手工测试 (use case验证和探索性测试) + 原有功能的自动化测试 (回归测试) 理想情况下，测试人员具有很好的编程能力，可以和开发人员进行角色互换。在当前版本开发（/迭代周期）中担任测试人员角色，在下一个版本开发（/迭代周期）中担任开发人员角色，而开发人员则担任测试人员角色，让开发人员深刻地理解用户的需求角度来考虑系统功能的设计，这样会更好地保证产品的质量，沟通的障碍也会消除，开发的效率会有很大的提高。这也是对测试人员的一个挑战。 敏捷测试也是一个持续测试的过程，而这持续测试的基础是具备一个灵活的、开放的自动化测试框架。测试人员在自动化测试框架构建上、测试工具开发或第3方测试工具前期研究、试用等方面可以发挥主导作用。 项目采用敏捷方法，要获得成功，项目组中每个人都有很强的质量意识，具有质量的主人翁精神，特别是开发人员，每时每刻提醒自己——“质量是构建出来的”，与客户或产品设计人员进行充分沟通，遵守高度一致的质量标准。测试人员将是促进质量文化不断提升的中坚力量。 原作者：朱少民
Hadoop快速入门
目的 这篇文档的目的是帮助你快速完成单机上的Hadoop安装与使用以便你对Hadoop分布式文件系统(HDFS)和Map-Reduce框架有所体会，比如在HDFS上运行示例程序或简单作业等。 先决条件 支持平台 GNU/Linux是产品开发和运行的平台。 Hadoop已在有2000个节点的GNU/Linux主机组成的集群系统上得到验证。 Win32平台是作为开发平台支持的。由于分布式操作尚未在Win32平台上充分测试，所以还不作为一个生产平台被支持。 所需软件 Linux和Windows所需软件包括: JavaTM1.5.x，必须安装，建议选择Sun公司发行的Java版本。 ssh 必须安装并且保证 sshd一直运行，以便用Hadoop 脚本管理远端Hadoop守护进程。 Windows下的附加软件需求 Cygwin – 提供上述软件之外的shell支持。 安装软件 如果你的集群尚未安装所需软件，你得首先安装它们。 以Ubuntu Linux为例: $ sudo apt-get install ssh $ sudo apt-get install rsync 在Windows平台上，如果安装cygwin时未安装全部所需软件，则需启动cyqwin安装管理器安装如下软件包： openssh – Net 类 下载 为了获取Hadoop的发行版，从Apache的某个镜像服务器上下载最近的 稳定发行版。 运行Hadoop集群的准备工作 解压所下载的Hadoop发行版。编辑 conf/hadoop-env.sh文件，至少需要将JAVA_HOME设置为Java安装根路径。 尝试如下命令： $ bin/hadoop 将会显示hadoop 脚本的使用文档。 现在你可以用以下三种支持的模式中的一种启动Hadoop集群： 单机模式 伪分布式模式 完全分布式模式 单机模式的操作方法 默认情况下，Hadoop被配置成以非分布式模式运行的一个独立Java进程。这对调试非常有帮助。 下面的实例将已解压的 conf 目录拷贝作为输入，查找并显示匹配给定正则表达式的条目。输出写入到指定的output目录。 $ mkdir input $ […]
LVS+Keepalived 介绍
LVS+Keepalived 介绍 LVS LVS是Linux Virtual Server的简写，意即Linux虚拟服务器，是一个虚拟的服务器集群系统。本项目在1998年5月由章文嵩博士成立，是中国国内最早出现的自由软件项目之一。目前有三种IP负载均衡技术（VS/NAT、VS/TUN和VS/DR）； 十种调度算法（rrr|wrr|lc|wlc|lblc|lblcr|dh|sh|sed|nq）。 Keepalvied Keepalived在这里主要用作RealServer的健康状态检查以及LoadBalance主机和BackUP主机之间failover的实现 IP配置信息: LVS-DR-Master 192.168.2.166 LVS-DR-BACKUP 192.168.2.167 LVS-DR-VIP 192.168.2.170 WEB1-Realserver 192.168.2.171 WEB2-Realserver 192.168.2.172 GateWay 192.168.2.253
命令行查看Memcached运行状态
很多时候需要监控服务器上的Memcached运行情况，比如缓存的查询次数，命中率之类的。但找到的那个memcached-tool是linux下用perl写的，我也没试过windows能不能用。后来发现个简单的办法可以做到，就是使用Telnet。 首先登录到服务器，然后在cmd命令行中键入 telnet 127.0.0.1 11211 其中127.0.0.1是服务器的地址（这里是本机） ，11211是memcached绑定的端口号。 之后命令行窗口全黑只有光标提示，摸黑输入stats，即可得到描述Memcached服务器运行情况的参数。如下图： 其中，uptime 是memcached运行的秒数，cmd_get是查询缓存的次数。这两个数据相除一下就能得到平均每秒请求缓存的次数——最近niupu的流量很低，所以平均也就一秒请求一次多，这么点大的压力，用文件系统缓存一样没问题，根本不会体现出使用memcached的优越。 下面的cmd_set 就是设置key=>value的次数。整个memcached是个大hash，用cmd_get没有找到的内容，就会调用一下cmd_set写进缓存里。紧跟着是get_hits，就是缓存命中的次数。缓存命中率 = get_hits/cmd_get * 100%。 下面的get_misses的数字加上get_hits应该等于cmd_get。而total_itemscurr_items表示现在在缓存中的键值对个数，在图上total_items == cmd_set == get_misses，不过当可用最大内存用光时，memcached就会删掉一些内容，上面的等式就不成立了。
Ruby on Rails with Nginx on CentOS 5
Ruby on Rails is a popular rapid development web framework that allows web designers and developers to implement fully featured dynamic web applications using the Ruby programming language. This guide describes the required process for deploying Ruby on Rails with Passenger and the nginx web server on CentOS 5. These instructions work with the […]
Rapid Development with Rails ( OSDC 演講）
這是我在 OSDC 2011 的前言草稿。本來是打算週六才打算放出來的，不過目前對岸正在 Twitter 上演 Rails 與 PHP 之爭（詳情請看 @robbinfan 與 @fenng 的大戰），看了手癢。 想了一下，還是把當天的這前十分鐘講稿先放出來好了… 我的主題是如何善用 Rails 特性達到 Rapid Development。這場 talk 不會有太多的 code，一些觀念上的闡釋和搭配的架構介紹會講比較多。時間是 3/26（六）的下午 2:00 在中研院 ==== 簡單自我介紹一下，我是 xdite，在 T 客邦工作。我目前的角色是 Lead Developer 與 Manager。中間是有去「出國深造」一陣子 ….不過目前回來了 XD 我寫 Rails 大約有快四年的時間，之前待過和多、PIXNET 與 HTC。 講題概念 ( 澄清關於對 Rails 的一些錯誤認知） 大概講一下這次會講這個主題的原因：Ruby on Rails 一直以來是一個非常優秀的網頁框架。應該是有始以來最棒的網頁框架，開發者不僅可以從中跟上世界頂尖開發者的研究進度，滿足自己的技術癮之外，又可以穩穩 的兼顧快速的商業需求。很可惜因為種種因素，讓世人對人一直對它停留在非常糟糕的印象（「市場上找不到開發者」且「只適合滿足技術狂人癮頭」的「效率糟 糕」「不穩定」框架）。 Rails 對於生意與開發上的幫助，絕非只有「Rapid […]
node.js调研与服务性能测试
这几天对nodejs进行了一下简单的调研 主要关注这几个方面 socket服务性能, socket客户端性能 http服务性能. 服务的稳定性与资源占用 开发成本 考虑到今后的应用场景, 实现了一个简单的memcache代理服务. 内部维护了一个50连接的简单连接池, 通过长连接与memcache服务器相连. 同时对外提供socket代理服务与http restful服务 测试环境 测试使用编译安装的node.js v0.3.1,未使用任何第三方modules 代理服务与memcache部署在不同的服务器中. 系统均为rhel 5.2, cpu: AMD Opteron 2200, mem: 4g 测试用例 通过此代理程序, 分别使用memcached协议与http协议从memcache服务中取出一个长度为100bytes的值, 并检查最终输出是否正确 压力工具 socket: 由于没有找到合适的socket压力工具.用node.js实现了一个简单的socket压力工具 http: siege 2.70 测试结论 服务启动与空载资源占用 程序启动20秒后,系统资源占用达到稳定状态, 内存消耗13m, 堆尺寸8m 由堆使用变化可知v8每隔7~8秒会进行一次gc操作 100并发100秒socket长连接压力 压力启动后内存占用迅速提高至30m, v8堆也基本维持在22m的水平, 使用率在20%到50%之间波动 此时v8的gc操作频率降低到约20秒一次. qps曲线比较平稳,在16700左右波动,幅度在400左右,v8的gc操作对性能没有明显影响 压力过程中cpu占用基本维持在95%左右,处于满载状态. 另, 测试结束后20秒左右, 所占用资源被释放,内存与v8堆均回复至空载水平. 250并发100秒http长连接压力 与socket相比, http消耗的系统资源约多出30%,且8v的gc操作也要更频繁 qps值为4392, […]
Memcache的使用和协议分析详解(php)
Memcache的使用和协议分析详解 作者：heiyeluren博客：http://blog.csdn.net/heiyeshuwu时间：2006-11-12关键字：PHP Memcache Linux 缓存 Memcache是danga.com的一个项目，最早是为 LiveJournal 服务的，目前全世界不少人使用这个缓存项目来构建自己大负载的网站，来分担数据库的压力。（关于Memcache的更多信息请Google）Memcache官方网站：http://www.danga.com/memcached 【安装Memcache服务器端】 我目前的平台，服务器是Fedora Core 1（内核：2.4.22），客户端是Windows XP SP2，需要安装的就是服务器的Memcached的守护进程和客户端的PHP扩展php_memcache两个东西。现在我分别来讲。 服务器端主要是安装memcache服务器端，目前的最新版本是 memcached-1.2.0 。下载：http://www.danga.com/memcached/dist/memcached-1.2.0.tar.gz另外，Memcache用到了libevent这个库用于Socket的处理，所以还需要安装libevent，libevent的最新版本是libevent-1.2。（如果你的系统已经安装了libevent，可以不用安装）官网：http://www.monkey.org/~provos/libevent/下载：http://www.monkey.org/~provos/libevent-1.2.tar.gz 我分别把两个东东下载回来，放到 /tmp 目录下：# cd /tmp# wget http://www.danga.com/memcached/dist/memcached-1.2.0.tar.gz# wget http://www.monkey.org/~provos/libevent-1.2.tar.gz 先安装libevent：# tar zxvf libevent-1.2.tar.gz# cd libevent-1.2# ./configure –prefix=/usr# make# make install 然后看看我们的libevent是否安装成功：# ls -al /usr/lib | grep libeventlrwxrwxrwx 1 root root 21 11?? 12 17:38 libevent-1.2.so.1 -> libevent-1.2.so.1.0.3-rwxr-xr-x 1 root […]