使用说明
FeeDIY在线网站地图生成工具,感觉有用就请给QQ群里面的朋友推荐下:)
原理:通过PHP网络蜘蛛自动爬行并整理出网站的地图

程序会自动开始爬行网站页面

下面显示最近爬行的15条网址

请及时保存生成的网站地图,sitemap.feediy.com会定期清理缓存的内容
FeeDIY在线网站地图生成工具,感觉有用就请给QQ群里面的朋友推荐下:)
原理:通过PHP网络蜘蛛自动爬行并整理出网站的地图

程序会自动开始爬行网站页面

下面显示最近爬行的15条网址

请及时保存生成的网站地图,sitemap.feediy.com会定期清理缓存的内容
下面记录了两种安装方法,一种通过rpm方式,一种属于一键安装方式,可以自行测试。
推荐通过centmin脚本安装,比较完善,项目地址:
http://www.btcentral.org.uk/projects/centmin/
之前试用了一件安装包安装,安装完后结果一大堆的进程和账户,很臃肿,而且感觉不安全,并且无法体验到最新版本的性能和功能,还是自己手动安装,下面的步骤,仅作记录,欢迎测试和反馈,服务器版本:
CentOS release 5.3 32位
演示使用软件版本:
nginx-1.0.4.tar.gz
php-5.3.6.tar.gz
mysql-5.5.13.tar.gz
相关支持库:
libiconv-1.13.1.tar.gz
libmcrypt-2.5.8.tar.gz
mcrypt-2.6.8.tar.gz
memcache-2.2.6.tgz
mhash-0.9.9.9.tar.gz
pcre-8.12.tar.gz
eaccelerator-0.9.6.1.tar.bz2
PDO_MYSQL-1.0.2.tgz
ImageMagick-6.7.0-4.tar.gz
imagick-3.0.0.tgz
cmake-2.8.4.tar.gz
首先升级系统支持库以及依赖软件
yum -y install gcc gcc-c++ autoconf libjpeg libjpeg-devel libpng libpng-devel freetype freetype-devel libxml2 libxml2-devel zlib zlib-devel glibc glibc-devel glib2 glib2-devel bzip2 bzip2-devel ncurses ncurses-devel curl curl-devel e2fsprogs e2fsprogs-devel krb5 krb5-devel libidn libidn-devel openssl openssl-devel openldap openldap-devel nss_ldap openldap-clients openldap-servers patch vixie-cron bison
yum -y install gcc gcc++ gcc7 libxml2-devel libjpeg-devel libpng-devel libtiff-devel fontconfig-devel freetype-devel libXpm-devel gettext-devel curl curl-devel pam-devel e2fsprogs-devel krb5-devel libidn libidn-devel openssl openssl-devel openldap openldap-devel nss_ldap openldap-clients openldap-servers
创建程序存放目录,取得相关软件包
mkdir -p /data/software
cd /data/software
wget http://nginx.org/download/nginx-1.0.4.tar.gz
wget http://cn.php.net/get/php-5.3.6.tar.gz/from/am.php.net/mirror
wget http://dev.mysql.com/get/Downloads/MySQL-5.5/mysql-5.5.13.tar.gz/from/http://mysql.mirrors.hoobly.com/
wget http://ftp.gnu.org/pub/gnu/libiconv/libiconv-1.13.1.tar.gz
wget "http://downloads.sourceforge.net/mcrypt/libmcrypt-2.5.8.tar.gz?modtime=1171868460&big_mirror=0"
wget "http://downloads.sourceforge.net/mcrypt/mcrypt-2.6.8.tar.gz?modtime=1194463373&big_mirror=0"
wget http://pecl.php.net/get/memcache-2.2.6.tgz
wget "http://downloads.sourceforge.net/mhash/mhash-0.9.9.9.tar.gz?modtime=1175740843&big_mirror=0"
wget ftp://ftp.csx.cam.ac.uk/pub/software/programming/pcre/pcre-8.12.tar.gz
wget http://bart.eaccelerator.net/source/0.9.6.1/eaccelerator-0.9.6.1.tar.bz2
wget http://pecl.php.net/get/PDO_MYSQL-1.0.2.tgz
wget ftp://ftp.imagemagick.org/pub/ImageMagick/ImageMagick-6.7.0-4.tar.gz
wget http://pecl.php.net/get/imagick-3.0.0.tgz
wget http://www.cmake.org/files/v2.8/cmake-2.8.4.tar.gz
官方网站:http://www.squid-cache.org/
相关技术网站:http://www.visolve.com/
代理服务可以代表其它计算机传递数据包或信息,这些数据包和信息包括网页、电子邮件、多媒体文件和其它网络应用程序等。通过它的文件缓存和访问控制等功能,可以实现快速浏览和对用户访问的有效管理。
Web代理服务器(通常所说的代理服务器)是介于浏览器和Web服务器之间的一台服务器,当你通过代理服务器上网浏览时,浏览器不是直接到Web服务器去取回网页而是向代理服务器发出请求,由代理服务器来取回浏览器所需要的信息并传送给你的浏览器。 而且,大部分代理服务器都具有缓冲的功能,就好象一个大的Cache,它有很大的存储空间,它不断将新取得数据储存到它本机的存储器上,如果浏览器所请求的数据在它本机的存储器上已经存在而且是最新的,那么它就不重新从Web服务器取数据,而直接将存储器上的数据传送给用户的浏览器,这样就能显著提高浏览速度和效率。
更重要的是:代理服务器是 Internet链路级网关所提供的一种重要的安全功能,它的工作主要在开放系统互联 (OSI) 模型的对话层。主要的功能有:
1、连接Internet与Intranet 充当firewall(防火墙):因为所有内部网的用户通过代理服务器访问外界时,只映射为一个IP地址,所以外界不能直接访问到内部网;同时可以设置 IP地址过滤,限制内部网对外部的访问权限;另外,两个没有互联的内部网,也可以通过第三方的代理服务器进行互联来交换信息。
2、共享因特网连接,节省IP开销:如前面所讲,所有用户对外只占用一个IP,所以不必租用过多的IP地址,降低网络的维护成本。这样,局域局内没有与外网相连的众多机器就可以通过内网的一台代理服务器连接到外网,大大减少费用。当然也有它不利的一面,如许多网络黑客通过这种方法隐藏自己的真实IP地址,而逃过监视。
3、提高访问速度,节约通信带宽。而且通常代理服务器都设置一个较大的硬盘缓冲区(可能高达几个GB或更大),当有外界的信息通过时,同时也将其保存到缓冲区中,当其他用户再访问相同的信息时,则直接由缓冲区中取出信息,传给用户,从而达到提高访问速度的目的。
没搞懂咋回事,虽然一直没限制搜索引擎的采集,但一直也没什么流量,今天服务器居然停止响应了,登上机器一查询,300多个连接进程,俺vps根本吃不消,看来配置还有待优化,重启服务后,流量还是洪水般的涌来,懒得限制了,这个月流量还有不少,痛并快乐着!
看看把我机器搞死的“罪魁祸首”,大部分都是微软的蜘蛛,I服了U,你丫能不能少开点进程采啊!
分享一条命令行,查看当前网页端口连接ip以及连接数:
netstat -nt | grep [你的服务器IP] | awk '{print $5}' | awk -F":" '{print $1}'| sort | uniq -c | sort -r -n
我在服务器上执行上面的命令,得到如下结果:
Continue reading
网上只能找到此版本,比较老了,也是官方发布的,英文不错可以去官网看英文原文:http://dev.mysql.com/doc/index.html
mysql5.1中文参考手册在线:http://www.orzero.net/mysql/mysql-5.1-zh-manual/
mysql5.1中文参考手册下载:http://www.orzero.net/mysql/refman-5.1-zh.html-chapter.tar.gz