基于 Docker 的 PHP 开发环境

【编者的话】本文作者是Geoffrey,他是一个PHP的Web开发者,喜欢DevOps和Docker。本文主要介绍了如何使用Docker构建 PHP的开发环境,文中作者也探讨了构建基于Docker的开发环境应该使用单容器还是多容器,各有什么利弊。推荐PHP开发者阅读。

现在很多开发者都使用Vagrant来管理他们的虚拟机开发环境,Vagrant确实很酷, 不过也有不少缺点(最主要的是它占用太多的资源)。在容器技术、Docker和更多类Docker技术出现后,解决这个问题就变得简单了。

免责声明

由于boot2docker的工作方式,本文所述的方法在你的环境中可能无法正常运行。如果需要在非Linux环境下共享文件夹到Docker容器,还需要注意更多额外的细节。后续我会写篇文章专门来介绍实际遇到的问题。

怎样才算是好的开发环境

首先,我们得知道什么才是好的开发环境, 对于我而言,一个好的开发环境需要具备以下几个特点:

  1. 可随意使用。我必须可以随意删除和创建新的环境。
  2. 快速启动。我想要用它工作时候,它立马就能用。
  3. 易于更新。在我们行业中,事物发展变化非常快,必须能让我很容易将我的开发环境更新到新的软件版本。

而Docker都支持以上这些特点,甚至更多。你几乎可以即时销毁和重建容器,而更新环境只需要重建你当前使用的镜像即可。

什么是PHP开发环境

目前Web应用错综复杂,PHP开发环境需要很多的东西,为了保证环境的简单性,需要做各种各样的限制。
我们这次使用Nginx、PHP5-FPM、MySQL来运行Synmfony项目。由于在容器中运行命令行会更复杂,所以这方面的内容我会放到下一篇博客中再说。

Pet 与 Cattle

另一个我们要讨论的重点是:我们要把开发环境部署在多容器还是单容器中。 两种方式各有优点:

  • 单容器易于分发、维护。因为它们是独立的,所有的东西都运行在同一个容器中,这点就像是一个虚拟机。但这也意味着,当你要升级其中的某样东西(比如PHP新版本)的时候, 需要重新构建整个容器。
  • 多容器可以在添加组件时提供更好的模块化。因为每个容器包含了堆栈的一部分:Web、PHP、MySQL等,这样可以单独扩展每个服务或者添加服务,并且不需要重建所有的东西。

因为我比较懒,加上我需要在我的笔记本上放点别的内容,所以,这里我们只介绍单个容器的方法。

初始化工程

首先要做的是初始化一个新的Symfony工程. 推荐的方法是用composer的create-project命令。本来可以在工作站上安装composer,但是那样太简单了。这次我们通过Docker来使用它。
我之前发过一篇关于Docker命令的文章:make docker commands(好吧,我说谎了,我本来把它写在这篇文章中了,然后觉得把它独立出来会比较好)。

不管怎么样,你可以读一下。接下来如果还没有composer命令的话,你可以创建一个属于自己的composer 别名。

$ alias composer="docker run -i -t -v \$PWD:/srv ubermuda/composer"

现在你可以初始化Symfony工程了:

$ composer create-project symfony/framwork-standard-edition SomeProject

帅呆了!下面来点实在的工作。(省略了博主自娱自乐的一堆balabla….原文:Awesome. Give yourself a high-five, get a cup of coffee or whatever is your liquid drug of choice, and get ready for the real work.)

容器

构建一个运行标准Symfony项目且自给自足的容器相当容易,只需要安装好常用的Nginx、PHP5-FPM和MySQL-Server即可,然后把预先准备好的Nginx的虚拟主机配置文件扔进去,再复制一些配置文件进去就完事了。

本容器的源代码在GitHub上的 ubermuda/docker-symfony仓库中可以找到。 Dockerfile 是Docker构建镜像要用到的配置文件,我们来看一下:

FROM debian:wheezy

ENV DEBIAN_FRONTEND noninteractive

RUN apt-get update -y
RUN apt-get install -y nginx php5-fpm php5-mysqlnd php5-cli mysql-server supervisor

RUN sed -e 's/;daemonize = yes/daemonize = no/' -i /etc/php5/fpm/php-fpm.conf
RUN sed -e 's/;listen\.owner/listen.owner/' -i /etc/php5/fpm/pool.d/www.conf
RUN sed -e 's/;listen\.group/listen.group/' -i /etc/php5/fpm/pool.d/www.conf
RUN echo "\ndaemon off;" >> /etc/nginx/nginx.conf

ADD vhost.conf /etc/nginx/sites-available/default
ADD supervisor.conf /etc/supervisor/conf.d/supervisor.conf
ADD init.sh /init.sh

EXPOSE 80 3306

VOLUME ["/srv"]
WORKDIR /srv

CMD ["/usr/bin/supervisord"]

我们通过扩展 debian:wheezy 这个基础镜像开始,然后通过一系列的sed命令来配置Nginx和PHP5-FPM。

RUN sed -e 's/;daemonize = yes/daemonize = no/' -i /etc/php5/fpm/php-fpm.conf
RUN sed -e 's/;listen\.owner/listen.owner/' -i /etc/php5/fpm/pool.d/www.conf
RUN sed -e 's/;listen\.group/listen.group/' -i /etc/php5/fpm/pool.d/www.conf
RUN echo "\ndaemon off;" >> /etc/nginx/nginx.conf

这里我们要做两件事。 首先配置PHP5-FPM和Nginx让他们在前台运行以便supervisord可以追踪到他们。
然后,配置PHP5-FPM以指定的用户运行Web-Server,并处理好文件权限。

接下来需要安装一组配置文件,首先是Nginx的虚拟主机配置文件vhost.conf:

server {
    listen 80;

    server_name _;

    access_log /var/log/nginx/access.log;
    error_log /var/log/nginx/error.log;

    root /srv/web;
    index app_dev.php;

     ocation / {
        try_files $uri $uri/ /app_dev.php?$query_string;
    }

     ocation ~ [^/]\.php(/|$) {
        fastcgi_pass unix:/var/run/php5-fpm.sock;
        include fastcgi_params;
    }
}

因为我们不需要域名,所以把server_name设成了_(有点像perl的$_占位符变量), 并配置根目录(document root)为/svr/web, 我们会把应用程序部署在/srv下,剩下的就是标准的Mginx + PHP5-FPM配置.

因为一个容器每次只能运行一个程序, 我们需要supervisord(或者任何别的进程管理器,不过我比较中意supervisord)。幸运的是, 这个进程管理器会产生我们需要的所有进程!下面是一小段supervisord的配置:

[supervisord]
nodaemon=true

[program:nginx]
command=/usr/sbin/nginx

[program:php5-fpm]
command=/usr/sbin/php5-fpm

[program:mysql]
command=/usr/bin/mysqld_safe

[program:init]
command=/init.sh
autorestart=false
redirect_stderr=true
redirect_stdout=/srv/app/logs/init.log

这里我们需要做的是定义所有的服务, 加上一个特殊的program:init进程,它不是一个实际的服务,而是一个独创的运行启动脚本的方式。

这个启动脚本的问题在于,它通常需要先启动某些服务。比如,你可能要初始化一些数据库表,但前提是你得先把MySQL跑起来,一个可能的解决办法 是,在启动脚本中启动MySQL,然后初始化表,然后为了防止影响到supervisord的进程管理,需要停掉MySQL,最后再启动 supervisord。

这样的脚本看起来类似下面这样:

/etc/init.d/mysql start
app/console doctrine:schema:update --force
/etc/init.d/mysql stop

exec /usr/bin/supervisord

看起来丑爆了有木有,咱换种方式,让supervisor来运行它并且永不重启。
实际的init.sh脚本如下:

#!/bin/bash

RET=1

while [[ RET -ne 0 ]]; do
    sleep 1;
    mysql -e 'exit' > /dev/null 2>&1; RET=$?
done

DB_NAME=${DB_NAME:-symfony}

mysqladmin -u root create $DB_NAME

if [ -n "$INIT" ]; then
    /srv/$INIT
fi

脚本先等待MySQL启动,然后根据环境变量DB_NAME创建DB,默认为symfony, 然后在INIT环境变量中查找要运行的脚本,并尝试运行它。本文的结尾有说明如何使用这些环境变量。
阅读全文及发表评论,请移步:http://linux.cn/article-4592-1-qqmail.html

360 安全卫士 for Linux 使用结果

测试了一把,结果显示360基本对Linux社区规范和安全常识不give a fuck。

胡乱打包

首先,这个deb包就是胡乱打包,依赖关系就没弄好:

$ dpkg-deb -I 360safeforlinux-3.0.0.66-stripped.deb 
[...]
 Package: 360safeforlinux
 Version: 3.0.0.66
 Architecture: amd64
 Maintainer: qihu360 company
 Installed-Size: 23617
 Depends: libc6 (>= 2.14),libglib2.0-0 (>= 2.38),python2.7 (>= 2.7.6),openssl(>= 1.0),curl,libqt4-network(>= 4.8.5),libqt4-sql(>= 4.8.5)
 Section: gnome
 Priority: required
 Essential: yes
 Description: 360 safe for linux

但是还实际依赖了libpython2.7和libqtgui4两个库没有标明,要我手动修复。

滥用 Essential

这个打包还通过滥用Essential标记来制造卸载的麻烦。

root@debian-amd64:/home/user# apt-get remove 360safeforlinux
[...]
The following packages will be REMOVED:
  360safeforlinux
WARNING: The following essential packages will be removed.
This should NOT be done unless you know exactly what you are doing!
  360safeforlinux
[...]
**You are about to do something potentially harmful.**
To continue type in the phrase 'Yes, do as I say!'
 ?] 
Abort.

root@debian-amd64:/home/user# aptitude remove 360safeforlinux
The following packages will be REMOVED:  
  360safeforlinux 
[...]
The following ESSENTIAL packages will be REMOVED!
  360safeforlinux 

WARNING: Performing this action will probably cause your system to break!
         Do NOT continue unless you know EXACTLY what you are doing!
To continue, type the phrase "I am aware that this is a very bad idea":

关于Essential打包政策,DebianUbuntu都只保留给最必要的包。

随意使用 setuid

安装后dpkg配置时它的postinst脚本直接给加上了setuid。如此随意地使用setuid,还能自称是安全?

if [ "$1" = "configure" ];then
    chmod u+s /opt/360safeforlinux/s360SafeForLinux
[...]
fi

这个的意思就是,以普通用户权限运行这个东西,它会变成root:

user@debian-amd64:~$ id
uid=1000(user) gid=1000(user) groups=1000(user),24(cdrom),25(floppy),29(audio),30(dip),44(video),46(plugdev)
user@debian-amd64:~$ start360 &
[1] 4512
user@debian-amd64:~$ pstree -u
init─┬─dhclient
     ├─5*[getty]
     ├─login───bash(user)───startx───xinit─┬─Xorg(root)
     │                                     └─x-window-manage
[...]
     ├─urxvtd(user)
     └─urxvtd(user)─┬─bash───start360(root)─┬─{BackendTaskThre}
                    │                       ├─{BrowserHomePage}
                    │                       ├─{CpuMemUseState}
                    │                       ├─{FileWatcher}
                    │                       ├─{IsolateZone}
                    │                       ├─{LogCleanThread}
                    │                       ├─2*[{MyThread}]
                    │                       ├─{VdUpload}
                    │                       └─3*[{start360}]
                    └─bash───pstree

内核模块?

dpkg的prerm脚本还有奇怪的东西:

rc=`lsmod | grep "rk360" | xargs echo`
if [ -n "$rc" ];then
    rmmod rk360 2>/dev/null 1>&2
    rm -rf /etc/360safe/360safe.ko 2>/dev/null 1>&2
fi

rc=`lsmod | grep "immu" | xargs echo`
if [ -n "$rc" ];then
    rmmod immu 2>/dev/null 1>&2
    rm -rf /etc/360safe/immu.ko 2>/dev/null 1>&2
fi

360不仅不满足于root权限,还在用内核模块?不过这次使用中并未发现这两个内核模块。

运行的怪现状

start360启动,然后有两个运行时怪现状:

  1. 把pid保存到/etc/360safe/360safeforlinux.pid。会不会遵守FHS?
  2. 疯狂扫描系统文件,powertop显示闲置状态每秒30个唤醒,笔记本电池寿命已死。会不会用inotify?

功能的真相

它提供了一些功能。

  • 全盘扫描。所有文件都是按照标准设计的,哪个恶意哪个不恶意真不是360能说了算的。
  • 一键清理。可以使用这个命令替代:rm -r ~/.adobe ~/.cache ~/.local ~/.macromedia ~/.thumbnails /tmp/*。但是这些临时文件是有用的,也占不了多大空间。
  • 优化加速。就是把update-rc.d/chkconfig封装了一个图形界面。
  • 软件管家。360的私货app store。
  • 文件粉碎。Linux下有什么无法删除的“顽固”文件?还是重新发明了coreutils的/usr/bin/shred?来删除/proc试试?
  • 网盾。就是Firefox和Chrome的插件。
    ./etc/360safe/urlcheck
    ./etc/360safe/urlcheck/normalize.py
    ./etc/360safe/urlcheck/Firefox
    ./etc/360safe/urlcheck/Firefox/360webshield@qihoo.com.xpi
    ./etc/360safe/urlcheck/lcloud.ini
    ./etc/360safe/urlcheck/browserextensionsinstaller.py
    ./etc/360safe/urlcheck/Chrome
    ./etc/360safe/urlcheck/Chrome/360WebShield.crx
    
  • 还有二进制库的“云查杀”,QEX引擎,BitDefender引擎。不了解有什么用处。

许可证列举

360唯有一点用功了,就是列了一大堆非GPL的许可证:

license/zlib_license.txt
license/c-ares_license.txt
license/qt_license_lgpl.txt
license/unrar_license.txt
license/sqlite_license.txt
license/elftoolchain_license.txt
license/libcurl_license.txt
license/7-Zip_license.txt
license/boost_license.txt
license/openssl_licnese.txt
license/minizip_license.txt
license/jsoncpp_license.txt
license/protobuf_license.txt
license/Noto fonts_license.txt
license/qt_lgpl_exception.txt

这样人们就无权索要源代码。不过,一个安全产品不公开源代码,然后用setuid拿了root还要搞内核模块,谁知道你要干嘛?总之,360对Linux社区规范和安全常识基本不give a fuck。

为什么说缺乏安全常识。

首先,用setuid给一个图形网络程序整体提权到root就是自送漏洞,全身是洞,只要发现一个,就是远程root。

其次,用户界面永远不需要root,提权进行特定动作特定配置有polkit,更新系统配置文件可以有facl可以有SELinux/AppArmor,内核级文件扫描可以有auditd,这些机制都不需要一个以root运行的用户界面造成巨大的攻击面。

第三,以root权限运行网上下载的二进制文件是一切病毒发生的起源。尤其是这种既没有源代码可审计,也没有数字签名可验证真实性的东西。

注:本站对本文有部分修改。原文来自: http://www.v2ex.com/t/158380
阅读全文及发表评论,请移步:http://linux.cn/article-4574-1-qqmail.html

PHP优化杂烩

讲 PHP 优化的文章往往都是教大家如何编写高效的代码,本文打算从另一个角度来讨论问题,教大家如何配置高效的环境,如此同样能够达到优化的目的。

pool

一个让人沮丧的消息是绝大多数 PHP 程序员都忽视了池的价值。这里所说的池可不是指数据库连接池之类的东西,而是指进程池,PHP 允许同时启动多个池,每个池使用不同的配置,各个池之间尊重彼此的主权领土完整,互不干涉内政。

pool

pool

有什么好处呢?默认情况下,PHP 只启用了一个池,所有请求均在这个池中执行。一旦某些请求出现拥堵之类的情况,那么很可能会连累整个池出现火烧赤壁的结局;如果启用多个池,那么可以把请 求分门别类放到不同的池中执行,此时如果某些请求出现拥堵之类的情况,那么只会影响自己所在的池,从而控制故障的波及范围。

listen

虽然 Nginx 和 PHP 可以部署在不同的服务器上,但是实际应用中,多数人都习惯把它们部署在同一台服务器上,如此就有两个选择:一个是 TCP,另一个是 Unix Socket。

listen

listen

和 TCP 比较,Unix Socket 省略了一些诸如 TCP 三次握手之类的环节,所以相对更高效,不过需要注意的是,在使用 Unix Socket 时,因为没有 TCP 对应的可靠性保证机制,所以最好把 backlog 和 somaxconn 设置大些,否则面对高并发时会不稳定。

pm

进程管理有动态和静态之分。动态模式一般先启动少量进程,再按照请求数的多少实时调整进程数。如此的优点很明显:节省资源;当然它的缺点也很明显: 一旦出现高并发请求,系统将不得不忙着 FORK 新进程,必然会影响性能。相对应的,静态模式一次性 FORK 足量的进程,之后不管请求量如何均保持不变。和动态模式相比,静态模式虽然消耗了更多的资源,但是面对高并发请求,它不需要执行高昂的 FORK。

pm

pm

对大流量网站而言,除非服务器资源紧张,否则静态模式无疑是最佳选择。

pm.max_children

启动多少个 PHP 进程合适?在你给出自己的答案之前,不妨看看下面的文章:

一个 CPU 在某一个时刻只能处理一个请求。当请求数大于 CPU 个数时,CPU 会划分时间片,轮流执行各个请求,既然涉及多个任务的调度,那么上下文切换必然会消耗一部分性能,从这个意义上讲,进程数应该等于 CPU 个数,如此一来每个进程都对应一个专属的 CPU,可以把上下文切换损失的效率降到最低。不过这个结论仅在请求是 CPU 密集型时才是正确的,而对于一般的 Web 请求而言,多半是 IO 密集型的,此时这个结论就值得商榷了,因为数据库查询等 IO 的存在,必然会导致 CPU 有相当一部分时间处于 WAIT 状态,也就是被浪费的状态。此时如果进程数多于 CPU 个数的话,那么当发生 IO 时,CPU 就有机会切换到别的请求继续执行,虽然这会带来一定上下文切换的开销,但是总比卡在 WAIT 状态好多了。

那多少合适呢?要理清这个问题,我们除了要关注 CPU 之外,还要关注内存情况:

PHP Memory

PHP Memory

如上所示 top 命令的结果中和内存相关的列分别是 VIRT,RES,SHR。其中 VIRT 表示的是内存占用的理论值,通常不用在意它,RES 表示的是内存占用的实际值,虽然 RES 看上去很大,但是包含着共享内存,也就是 SHR 显示的值,所以单个 PHP 进程实际独立占用的内存大小等于「RES – SHR」,一般就是 10M 上下。以此推算,理论上 1G 内存能支撑大概一百个 PHP 进程,10G 内存能大概支撑一千个 PHP 进程。当然并不能粗暴认为越多越好,最好结合 PHP 的 status 接口,通过监控活跃连接数的数量来调整。

说明:关于 Web 并发模型方面的知识建议参考范凯的「Web并发模型粗浅探讨」。
阅读全文及发表评论,请移步:http://linux.cn/article-4544-1-qqmail.html

MySQL server has gone away

MySQL server has gone away 部分处理方法

mysql出现ERROR : (2006, ‘MySQL server has gone away’) 的问题意思就是指client和MySQL server之间的链接断开了。

造成这样的原因一般是sql操作的时间过长,或者是传送的数据太大(例如使用insert … values的语句过长, 这种情况可以通过修改max_allowed_packed的配置参数来避免,也可以在程序中将数据分批插入)。

产生这个问题的原因有很多,总结下网上的分析:

原因一. MySQL 服务宕了

判断是否属于这个原因的方法很简单,进入mysql控制台,查看mysql的运行时长

mysql> show global status like ‘uptime’;
+—————+———+
| Variable_name | Value   |
+—————+———+
| Uptime        | 3414707 |
+—————+———+

1 row in set或者查看MySQL的报错日志,看看有没有重启的信息

如果uptime数值很大,表明mysql服务运行了很久了。说明最近服务没有重启过。
如果日志没有相关信息,也表名mysql服务最近没有重启过,可以继续检查下面几项内容。

原因二. mysql连接超时

即某个mysql长连接很久没有新的请求发起,达到了server端的timeout,被server强行关闭。
此后再通过这个connection发起查询的时候,就会报错server has gone away
(大部分PHP脚本就是属于此类)

mysql> show global variables like ‘%timeout’;
+—————————-+———-+
| Variable_name              | Value    |
+—————————-+———-+
| connect_timeout            | 10       |
| delayed_insert_timeout     | 300      |
| innodb_lock_wait_timeout   | 50       |
| innodb_rollback_on_timeout | OFF      |
| interactive_timeout        | 28800    |
| lock_wait_timeout          | 31536000 |
| net_read_timeout           | 30       |
| net_write_timeout          | 60       |
| slave_net_timeout          | 3600     |
| wait_timeout               | 28800    |
+—————————-+———-+
10 rows in set

wait_timeout 是28800秒,即mysql链接在无操作28800秒后被自动关闭

原因三. mysql请求链接进程被主动kill

这种情况和原因二相似,只是一个是人为一个是MYSQL自己的动作

mysql> show global status like ‘com_kill’;
+—————+——-+
| Variable_name | Value |
+—————+——-+
| Com_kill      | 21    |
+—————+——-+
1 row in set原因四. Your SQL statement was too large.

当查询的结果集超过 max_allowed_packet 也会出现这样的报错。定位方法是打出相关报错的语句。

用select * into outfile 的方式导出到文件,查看文件大小是否超过 max_allowed_packet ,如果超过则需要调整参数,或者优化语句。

mysql> show global variables like ‘max_allowed_packet’;
+——————–+———+
| Variable_name      | Value   |
+——————–+———+
| max_allowed_packet | 1048576 |
+——————–+———+
1 row in set (0.00 sec)

修改参数:

mysql> set global max_allowed_packet=1024*1024*16;
mysql> show global variables like ‘max_allowed_packet’;
+——————–+———-+
| Variable_name      | Value    |
+——————–+———-+
| max_allowed_packet | 16777216 |
+——————–+———-+
1 row in set (0.00 sec)

以下是补充:

应用程序(比如PHP)长时间的执行批量的MYSQL语句。执行一个SQL,但SQL语句过大或者语句中含有BLOB或者longblob字段。比如,图片数据的处理。都容易引起MySQL server has gone away。

今天遇到类似的情景,MySQL只是冷冷的说:MySQL server has gone away。

大概浏览了一下,主要可能是因为以下几种原因:
一种可能是发送的SQL语句太长,以致超过了max_allowed_packet的大小,如果是这种原因,你只要修改my.cnf,加大max_allowed_packet的值即可。

还有一种可能是因为某些原因导致超时,比如说程序中获取数据库连接时采用了Singleton的做法,虽然多次连接数据库,但其实使用的都是同一个连接, 而且程序中某两次操作数据库的间隔时间超过了wait_timeout(SHOW STATUS能看到此设置),那么就可能出现问题。最简单的处理方式就是把wait_timeout改大,当然你也可以在程序里时不时顺手 mysql_ping()一下,这样MySQL就知道它不是一个人在战斗。

解决MySQL server has gone away

1、应用程序(比如PHP)长时间的执行批量的MYSQL语句。最常见的就是采集或者新旧数据转化。
解决方案:
在my.cnf文件中添加或者修改以下两个变量:
wait_timeout=2880000
interactive_timeout = 2880000
关于两个变量的具体说明可以google或者看官方手册。如果不能修改my.cnf,则可以在连接数据库的时候设置CLIENT_INTERACTIVE,比如:
sql = “set interactive_timeout=24*3600”;
mysql_real_query(…)

2、执行一个SQL,但SQL语句过大或者语句中含有BLOB或者longblob字段。比如,图片数据的处理
解决方案:
在my.cnf文件中添加或者修改以下变量:
max_allowed_packet = 10M(也可以设置自己需要的大小)
max_allowed_packet 参数的作用是,用来控制其通信缓冲区的最大长度。

最近做网站有一个站要用到WEB网页采集器功能,当一个PHP脚本在请求URL的时候,可能这个被请求的网页非常慢慢,超过了mysql的 wait-timeout时间,然后当网页内容被抓回来后,准备插入到MySQL的时候,发现MySQL的连接超时关闭了,于是就出现了“MySQL server has gone away”这样的错误提示,解决这个问题,我的经验有以下两点,或许对大家有用处:
第 一种方法:
当然是增加你的 wait-timeout值,这个参数是在my.cnf(在Windows下台下面是my.ini)中设置,我的数据库负荷稍微大一点,所以,我设置的值 为10,(这个值的单位是秒,意思是当一个数据库连接在10秒钟内没有任何操作的话,就会强行关闭,我使用的不是永久链接 (mysql_pconnect),用的是mysql_connect,关于这个wait-timeout的效果你可以在MySQL的进程列表中看到 (show processlist) ),你可以把这个wait-timeout设置成更大,比如300秒,呵呵,一般来讲300秒足够用了,其实你也可以不用设置,MySQL默认是8个小 时。情况由你的服务器和站点来定。
第二种方法:
这也是我个人认为最好的方法,即检查 MySQL的链接状态,使其重新链接。
可能大家都知道有mysql_ping这么一个函数,在很多资料中都说这个mysql_ping的 API会检查数据库是否链接,如果是断开的话会尝试重新连接,但在我的测试过程中发现事实并不是这样子的,是有条件的,必须要通过 mysql_options这个C API传递相关参数,让MYSQL有断开自动链接的选项(MySQL默认为不自动连接),但我测试中发现PHP的MySQL的API中并不带这个函数,你 重新编辑MySQL吧,呵呵。但mysql_ping这个函数还是终于能用得上的,只是要在其中有一个小小的操作技巧:
这是我的的数据库操 作类中间的一个函数

复制代码 代码如下:
function ping(){
if(!mysql_ping($this->link)){
mysql_close($this->link); //注意:一定要先执行数据库关闭,这是关键
$this->connect();
}
}

我需要调用这个函数的代码可能是这样子的

复制代码 代码如下:
$str = file_get_contents(‘http://www.jb51.net’);
$db->ping();//经过前面的网页抓取后,或者会导致数据库连接关闭,检查并重新连接
$db->query(‘select * from table’);

ping()这个函数先检测数据连接是否正常,如果被关闭,整个把当前脚本的MYSQL实例关闭,再重新连接。
经 过这样处理后,可以非常有效的解决MySQL server has gone away这样的问题,而且不会对系统造成额外的开销。
__________________________________________________________________________________________________
今天遇到类似的情景,MySQL只是冷冷的说:MySQL server has gone away。
大概浏览了一下,主要可能是因为以下几种原因:
一种可能是发送的SQL语句太长,以致超过了max_allowed_packet的大小,如果是这种原因,你只要修改my.cnf,加大max_allowed_packet的值即可。
还有一种可能是因为某些原因导致超时,比如说程序中获取数据库连接时采用了Singleton的做法,虽然多次连接数据库,但其实使用的都是同一个连 接,而且程序中某两次操作数据库的间隔时间超过了wait_timeout(SHOW STATUS能看到此设置),那么就可能出现问题。最简单的处理方式就是把wait_timeout改大,当然你也可以在程序里时不时顺手 mysql_ping()一下,这样MySQL就知道它不是一个人在战斗。
解决MySQL server has gone away
1、应用程序(比如PHP)长时间的执行批量的MYSQL语句。最常见的就是采集或者新旧数据转化。
解决方案:
在my.cnf文件中添加或者修改以下两个变量:
wait_timeout=2880000
interactive_timeout = 2880000  关于两个变量的具体说明可以google或者看官方手册。如果不能修改my.cnf,则可以在连接数据库的时候设置CLIENT_INTERACTIVE,比如:
sql = “set interactive_timeout=24*3600”;
mysql_real_query(…)
2、执行一个SQL,但SQL语句过大或者语句中含有BLOB或者longblob字段。比如,图片数据的处理
解决方案:
在my.cnf文件中添加或者修改以下变量:
max_allowed_packet = 10M(也可以设置自己需要的大小)
max_allowed_packet参数的作用是,用来控制其通信缓冲区的最大长度。
1、应用程序(比如PHP)长时间的执行批量的MYSQL语句。
最常见的就是采集或者新旧数据转化。
解决方案:

my.ini文件中添加或者修改以下两个变量:
wait_timeout=2880000
interactive_timeout = 2880000

关于两个变量的具体说明可以google或者看官方手册。
如果不能修改my.cnf,则可以在连接数据库的时候设置CLIENT_INTERACTIVE,比如:
sql = “set interactive_timeout=24*3600”;
mysql_real_query(…)

2、执行一个SQL,但SQL语句过大或者语句中含有BLOB或者longblob字段。
比如,图片数据的处理
解决方案

my.cnf文件中添加或者修改以下变量:
max_allowed_packet = 10M (也可以设置自己需要的大小)

max_allowed_packet 参数的作用是,用来控制其通信缓冲区的最大长度。

 

文章来源:http://www.jb51.net/article/23781.htm

取消git的右键刷新

今天发现git服务器的连接变得很慢,右键刷新也变得很慢,猜想两者应该是有关系,按照找到的方法关闭了右键git功能,再次测试右键刷新,速度就很快了

安装完Git之后,会发现在系统(此指windows)的右键菜单中会多出Git的三个选项:Git Init Here 、Git Gui 和Git Bash。

如果你用不着上述三个命令,而且也跟我一样觉着很长的右键菜单觉着不爽,那你可以按照以下的方法移除右键菜单的Git命令

 

1、找到你Git的安装路径,如:D:\Program\Git,在这个路径中找到“git-cheetah”文件夹

2、打开cmd窗口

3、以第一步中得到的“D:\Program\Git\git-cheetah”路径为例,依次输入以下命令

     3.1 D:

     3.2 cd Program\Git\git-cheetah

     3.3 regsvr32 /u git_shell_ext64.dll

 

文章来源:http://blog.csdn.net/exlsunshine/article/details/18978981

php设计模式之单例模式

想将类改为单例模式,忘了怎么实现了,找到这篇详细的文章,赶紧记录下来^_^

一、什么是单例模式?

1、含义

作为对象的创建模式,单例模式确保某一个类只有一个实例,而且自行实例化并向整个系统全局地提供这个实例。它不会创建实例副本,而是会向单例类内部存储的实例返回一个引用。

2、单例模式的三个要点:

(1). 需要一个保存类的唯一实例的静态成员变量:
[php] view plaincopyprint?

private static $_instance;

(2). 构造函数和克隆函数必须声明为私有的,防止外部程序new类从而失去单例模式的意义:

[php] view plaincopyprint?

private function __construct()
{
$this->_db = pg_connect(‘xxxx’);
}
private function __clone()
{
}//覆盖__clone()方法,禁止克隆

(3). 必须提供一个访问这个实例的公共的静态方法(通常为getInstance方法),从而返回唯一实例的一个引用
[php] view plaincopyprint?

public static function getInstance()
{
if(! (self::$_instance instanceof self) )
{
self::$_instance = new self();
}
return self::$_instance;

}

二、为什么要使用单例模式?

1、PHP缺点:

PHP语言是一种解释型的脚本语言,这种运行机制使得每个PHP页面被解释执行后,所有的相关资源都会被回收。也就是说,PHP在语言级别上没有办法让某个对象常驻内存,这和asp.net、Java等编译型是不同的,比如在Java中单例会一直存在于整个应用程序的生命周期里,变量是跨页面级的,真正可以做到这个实例在应用程序生命周期中的唯一性。然而在PHP中,所有的变量无论是全局变量还是类的静态成员,都是页面级的,每次页面被执行时,都会重新建立新的对象,都会在页面执行完毕后被清空,这样似乎PHP单例模式就没有什么意义了,所以PHP单例模式我觉得只是针对单次页面级请求时出现多个应用场景并需要共享同一对象资源时是非常有意义的。

2、单例模式在PHP中的应用场合:

(1)、应用程序与数据库交互

一个应用中会存在大量的数据库操作,比如过数据库句柄来连接数据库这一行为,使用单例模式可以避免大量的new操作,因为每一次new操作都会消耗内存资源和系统资源。

(2)、控制配置信息

如果系统中需要有一个类来全局控制某些配置信息, 那么使用单例模式可以很方便的实现.

三、如何实现单例模式?

1、普通的数据库访问例子:
[php] view plaincopyprint?

addUserInfo(…);

……

//在函数中访问数据库,查找用户信息
function getUserInfo()
{
$db = new DB(…);//再次new 数据库类,和数据库建立连接
$db = query(….);//根据查询语句访问数据库
}

?>

2、应用单例模式对数据库进行操作:
[php] view plaincopyprint?

_db = pg_connect(…);//postgrsql
}

private function __clone() {}; //覆盖__clone()方法,禁止克隆

public static function getInstance()
{
if(! (self::$_instance instanceof self) ) {
self::$_instance = new self();
}
return self::$_instance;
}

public function addUserInfo(…)
{

}

public function getUserInfo(…)
{

}

}

//test

$db = DB::getInstance();

$db->addUserInfo(…);

$db->getUserInfo(…);

?>

3、深入理解

[php] view plaincopyprint?

conn = mysql_connect($db[‘host’],$db[‘user’],$db[‘password’]);
if(!mysql_select_db($db[‘database’],$this->conn)){
echo “失败”;
};
mysql_query(‘set names utf8’,$this->conn);
}
public static function getInstance(){
if(is_null(self::$instance)){
self::$instance = new db;
}
return self::$instance;
}
/**
* 查询数据库
*/
public function select($table,$condition=array(),$field = array()){
$where=”;
if(!empty($condition)){

foreach($condition as $k=>$v){
$where.=$k.”='”.$v.”‘ and “;
}
$where=’where ‘.$where .’1=1′;
}
$fieldstr = ”;
if(!empty($field)){

foreach($field as $k=>$v){
$fieldstr.= $v.’,’;
}
$fieldstr = rtrim($fieldstr,’,’);
}else{
$fieldstr = ‘*’;
}
self::$sql = “select {$fieldstr} from {$table} {$where}”;
$result=mysql_query(self::$sql,$this->conn);
$resuleRow = array();
$i = 0;
while($row=mysql_fetch_assoc($result)){
foreach($row as $k=>$v){
$resuleRow[$i][$k] = $v;
}
$i++;
}
return $resuleRow;
}
/**
* 添加一条记录
*/
public function insert($table,$data){
$values = ”;
$datas = ”;
foreach($data as $k=>$v){
$values.=$k.’,’;
$datas.=”‘$v'”.’,’;
}
$values = rtrim($values,’,’);
$datas = rtrim($datas,’,’);
self::$sql = “INSERT INTO {$table} ({$values}) VALUES ({$datas})”;
if(mysql_query(self::$sql)){
return mysql_insert_id();
}else{
return false;
};
}
/**
* 修改一条记录
*/
public function update($table,$data,$condition=array()){
$where=”;
if(!empty($condition)){

foreach($condition as $k=>$v){
$where.=$k.”='”.$v.”‘ and “;
}
$where=’where ‘.$where .’1=1’;
}
$updatastr = ”;
if(!empty($data)){
foreach($data as $k=>$v){
$updatastr.= $k.”='”.$v.”‘,”;
}
$updatastr = ‘set ‘.rtrim($updatastr,’,’);
}
self::$sql = “update {$table} {$updatastr} {$where}”;
return mysql_query(self::$sql);
}
/**
* 删除记录
*/
public function delete($table,$condition){
$where=”;
if(!empty($condition)){

foreach($condition as $k=>$v){
$where.=$k.”='”.$v.”‘ and “;
}
$where=’where ‘.$where .’1=1’;
}
self::$sql = “delete from {$table} {$where}”;
return mysql_query(self::$sql);

}

public static function getLastSql(){
echo self::$sql;
}

}

$db = db::getInstance();
//$list = $db->select(‘demo’,array(‘name’=>’tom’,’password’=>’ds’),array(‘name’,’password’));
//echo $db->insert(‘demo’,array(‘name’=>’最近你啦’,’password’=>’123′));
//echo $db->update(‘demo’,array(“name”=>’xxx’,”password”=>’123′),array(‘id’=>1));
echo $db->delete(‘demo’,array(‘id’=>’2’));
db::getLastSql();
echo ”

";
    ?> 

文章来源:http://blog.csdn.net/jungsagacity/article/details/7618587

aptana无法启动

由于apnata(eclipse)构建工作空间阻塞时,执行了更新文件的操作造成aptana跑死无响应,而直接关闭aptana,使得再次启动时闪一下(载入项目失败)就退出

双击启动图标只闪了下开始加载的图片(显示到载入项目)自动退出了,下面是网上找到的结果(不符合本次问题解决方案)
Aptana 启动时经常双击启动图标只闪了下开始加载的图片就启不起来了,应该是加载的时候内存溢出了,出现这种情况以后,重启机器也还是启动不了,重装 Aptana 也还很可能会重复这类问题,被这个问题搞得头大。

后来摸索了下找到个变通的解决办法,打开 Aptana 的安装目录,下面有个 startup.jar ,双击这个 jar 包启动程序,中间有可能会报内存溢出问你是否需要关闭,中间提示全部点否,启动完了以后,这个时候还不能正常使用,因为每打开一个页面或者点一个标签都会报 “An error has occurred. See error log for more details.”,先不急,等 Aptana 所有全部加载完了以后,下面会有进度条显示,关掉 Aptana Studio 工具,点开始进入 cmd 命令窗口,cd 到 Aptana 安装目录下,执行 AptanaStudio.exe -clean 命令就可以正常启动使用了,如果执行这个命令没有启动的话,那就是你在使用 startup.jar 启动的时候没有加载完所有的程序你就关掉了 Aptana Studio,再使用 startup.jar 重新加载一次以后重复上面的操作即可。
注意如果 Aptana 非正常关闭,点击 startup.jar 的时候可能会启动不了,是由于工具的java进程还在,通过任务管理器把工具的 java 进程停掉再启动 startup.jar 程序。

来源:http://hello-player.iteye.com/blog/450103

之所以不符合,是我根本没在安装文件中找到startup.jar文件;只能再想办法解决,想到aptana是运行到载入项目时出错的,那应该是项目文件加载过程中出了问题,于是将我的项目文件(“D:\www”)改个名字,再运行apnata,这次成功的启动了aptana(由于将工作空间改名字,aptana没有找到工作空间路径,于是新建了“D:\www”),至此问题方向确定是由工作空间里的问题造成的,查看工作空间文件夹,发现新旧两个工作空间中都有“.metadata”文件夹,研究两个.metadata发现两者的子文件夹->.plugins下的内容不一

网上说.plugins下放的都是aptana的插件,是由aptana自动载入的,于是果断的删了老空间中的.plugins文件夹及下所有文件,再将名字改回去,重新启动apnata,OK,启动成功,重新导入本地项目,git测试OK

总结:
问题:由于aptana(eclipse)启动时载入项目错误导致shoutdown,程序无法启动
解决方法:删除项目中的.metadata文件夹及下所有文件或删除.metadata下的.plugins文件夹,重新启动apnata

开启phpredis扩展后的一些操作实例

吐槽:我的win7系统原本安装的wampserver中php版本是5.4.12的,在github上下载的用于php5.4.x的phpredis的扩展dll文件竟然无法有效使用,不知道是不是由于64为系统造成的,我也没有查到有关于phpredis 64位的信息,不得已换了php半杯是5.3的wampserver……

spl_autoload_register(function($class) {
$file = __DIR__.’/lib/Predis/’.$class.’.php’;
if (file_exists($file)) {
require $file;
return true;
}
});

//配置连接的IP、端口、以及相应的数据库
$server = array(
‘host’     => ’127.0.0.1′,
‘port’     => 6379,
‘database’ => 15
);
$redis = new Client($server);

//普通set/get操作
$redis->set(‘library’, ‘predis’);
$retval = $redis->get(‘library’);
echo $retval; //显示 ‘predis’

//setex set一个存储时效
$redis->setex(‘str’, 10, ‘bar’); //表示存储有效期为10秒

//setnx/msetnx相当于add操作,不会覆盖已有值
$redis->setnx(‘foo’,12); //true
$redis->setnx(‘foo’,34); //false

//getset操作,set的变种,结果返回替换前的值
$redis->getset(‘foo’,56);//返回34

// incrby/incr/decrby/decr 对值的递增和递减
$redis->incr(‘foo’); //foo为57
$redis->incrby(‘foo’,2); //foo为59

//exists检测是否存在某值
$redis->exists(‘foo’);//true

//del 删除
$redis->del(‘foo’);//true

//type 类型检测,字符串返回string,列表返回 list,set表返回set/zset,hash表返回hash
$redis->type(‘foo’);//不存在,返回none
$redis->set(‘str’,’test’);
$redis->type(‘str’); //字符串,返回string

//append 连接到已存在字符串
$redis->append(‘str’,’_123′); //返回累加后的字符串长度8,此进str为 ‘test_123′

//setrange 部分替换操作
$redis->setrange(‘str’,0,’abc’); //返回3,参数2为0时等同于set操作
$redis->setrange(‘str’,2,’cd’);//返回4,表示从第2个字符后替换,这时’str’为’abcd’

//substr 部分获取操作
$redis->substr(‘str’,0,2);//表示从第0个起,取到第2个字符,共3个,返回’abc’

//strlen 获取字符串长度
$redis->strlen(‘str’); //返回4

//setbit/getbit 位存储和获取
$redis->setbit(‘binary’,31,1);  //表示在第31位存入1,这边可能会有大小端问题?不过没关系,getbit 应该不会有问题
$redis->getbit(‘binary’,31);    //返回1

//keys 模糊查找功能,支持*号以及?号(匹配一个字符)
$redis->set(‘foo1′,123);
$redis->set(‘foo2′,456);
$redis->keys(‘foo*’); //返回foo1和foo2的array
$redis->keys(‘f?o?’);  //同上

//randomkey 随机返回一个key
$redis->randomkey(); //可能是返回 ‘foo1′或者是’foo2′及其它任何一存在redis的key

//rename/renamenx 对key进行改名,所不同的是renamenx不允许改成已存在的key
$redis->rename(‘str’,’str2′); //把原先命名为’str’的key改成了’str2′

//expire 设置key-value的时效性,ttl 获取剩余有效期,persist 重新设置为永久存储
$redis->expire(‘foo’, 1); //设置有效期为1秒
$redis->ttl(‘foo’); //返回有效期值1s
$redis->expire(‘foo’); //取消expire行为

//dbsize 返回redis当前数据库的记录总数
$redis->dbsize();

/*
队列操作
*/

//rpush/rpushx 有序列表操作,从队列后插入元素
//lpush/lpushx 和rpush/rpushx的区别是插入到队列的头部,同上,’x’含义是只对已存在的key进行操作
$redis->rpush(‘fooList’, ‘bar1′); //返回一个列表的长度1
$redis->lpush(‘fooList’, ‘bar0′); //返回一个列表的长度2
$redis->rpushx(‘fooList’, ‘bar2′); //返回3,rpushx只对已存在的队列做添加,否则返回0
//llen返回当前列表长度
$redis->llen(‘fooList’);//3

//lrange 返回队列中一个区间的元素
$redis->lrange(‘fooList’,0,1); //返回数组包含第0个至第1个共2个元素
$redis->lrange(‘fooList’,0,-1);//返回第0个至倒数第一个,相当于返回所有元素,注意redis中很多时候会用到负数,下同

//lindex 返回指定顺序位置的list元素
$redis->lindex(‘fooList’,1); //返回’bar1′

//lset 修改队列中指定位置的value
$redis->lset(‘fooList’,1,’123′);//修改位置1的元素,返回true

//lrem 删除队列中左起指定数量的字符
$redis->lrem(‘fooList’,1,’_’); //删除队列中左起(右起使用-1)1个字符’_'(若有)

//lpop/rpop 类似栈结构地弹出(并删除)最左或最右的一个元素
$redis->lpop(‘fooList’); //’bar0′
$redis->rpop(‘fooList’); //’bar2′

//ltrim 队列修改,保留左边起若干元素,其余删除
$redis->ltrim(‘fooList’, 0,1); //保留左边起第0个至第1个元素

//rpoplpush 从一个队列中pop出元素并push到另一个队列
$redis->rpush(‘list1′,’ab0′);
$redis->rpush(‘list1′,’ab1′);
$redis->rpush(‘list2′,’ab2′);
$redis->rpush(‘list2′,’ab3′);
$redis->rpoplpush(‘list1′,’list2′);//结果list1 =>array(‘ab0′),list2 =>array(‘ab1′,’ab2′,’ab3′)
$redis->rpoplpush(‘list2′,’list2′);//也适用于同一个队列,把最后一个元素移到头部list2 =>array(‘ab3′,’ab1′,’ab2′)

//linsert 在队列的中间指定元素前或后插入元素
$redis->linsert(‘list2′, ‘before’,’ab1′,’123′); //表示在元素’ab1′之前插入’123′
$redis->linsert(‘list2′, ‘after’,’ab1′,’456′);   //表示在元素’ab1′之后插入’456′

//blpop/brpop 阻塞并等待一个列队不为空时,再pop出最左或最右的一个元素(这个功能在php以外可以说非常好用)
//brpoplpush 同样是阻塞并等待操作,结果同rpoplpush一样
$redis->blpop(‘list3′,10); //如果list3为空则一直等待,直到不为空时将第一元素弹出,10秒后超时

/**
set表操作
*/

//sadd 增加元素,返回true,重复返回false
$redis->sadd(‘set1′,’ab’);
$redis->sadd(‘set1′,’cd’);
$redis->sadd(‘set1′,’ef’);

//srem 移除指定元素
$redis->srem(‘set1′,’cd’); //删除’cd’元素

//spop 弹出首元素
$redis->spop(‘set1′);

//smove 移动当前set表的指定元素到另一个set表
$redis->sadd(‘set2′,’123′);
$redis->smove(‘set1′,’set2′,’ab’);//移动’set1′中的’ab’到’set2′,返回true or false

//scard 返回当前set表元素个数
$redis->scard(‘set2′);//2

//sismember 判断元素是否属于当前表
$redis->sismember(‘set2′,’123′); //true or false

//smembers 返回当前表的所有元素
$redis->smembers(‘set2′); //array(’123′,’ab’);

//sinter/sunion/sdiff  返回两个表中元素的交集/并集/补集
$redis->sadd(‘set1′,’ab’);
$redis->sinter(‘set2′,’set1′); //返回array(‘ab’)

//sinterstore/sunionstore/sdiffstore 将两个表交集/并集/补集元素copy到第三个表中
$redis->set(‘foo’,0);
$redis->sinterstore(‘foo’,’set1′); //这边等同于将’set1′的内容copy到’foo’中,并将’foo’转为set表
$redis->sinterstore(‘foo’,array(‘set1′,’set2′)); //将’set1′和’set2′中相同的元素copy到’foo’表中,覆盖’foo’原有内容

//srandmember 返回表中一个随机元素
$redis->srandmember(‘set1′);

/**
有序set表操作
*/

//sadd 增加元素,并设置序号,返回true,重复返回false
$redis->zadd(‘zset1′,1,’ab’);
$redis->zadd(‘zset1′,2,’cd’);
$redis->zadd(‘zset1′,3,’ef’);

//zincrby 对指定元素索引值的增减,改变元素排列次序
$redis->zincrby(‘zset1′,10,’ab’);//返回11

//zrem 移除指定元素
$redis->zrem(‘zset1′,’ef’); //true or false

//zrange 按位置次序返回表中指定区间的元素
$redis->zrange(‘zset1′,0,1); //返回位置0和1之间(两个)的元素
$redis->zrange(‘zset1′,0,-1);//返回位置0和倒数第一个元素之间的元素(相当于所有元素)

//zrevrange 同上,返回表中指定区间的元素,按次序倒排
$redis->zrevrange(‘zset1′,0,-1); //元素顺序和zrange相反

//zrangebyscore/zrevrangebyscore 按顺序/降序返回表中指定索引区间的元素
$redis->zadd(‘zset1′,3,’ef’);
$redis->zadd(‘zset1′,5,’gh’);
$redis->zrangebyscore(‘zset1′,2,9); //返回索引值2-9之间的元素 array(‘ef’,’gh’)
//参数形式
$redis->zrangebyscore(‘zset1′,2,9,’withscores’); //返回索引值2-9之间的元素并包含索引值 array(array(‘ef’,3),array(‘gh’,5))
$redis->zrangebyscore(‘zset1′,2,9,array(‘withscores’ =>true,’limit’=>array(1, 2))); //返回索引值2-9之间的元素,’withscores’ =>true表示包含索引值; ‘limit’=>array(1, 2),表示最多返回2条,结果为array(array(‘ef’,3),array(‘gh’,5))

//zunionstore/zinterstore 将多个表的并集/交集存入另一个表中
$redis->zunionstore(‘zset3′,array(‘zset1′,’zset2′,’zset0′)); //将’zset1′,’zset2′,’zset0′的并集存入’zset3′
//其它参数
$redis->zunionstore(‘zset3′,array(‘zset1′,’zset2′),array(‘weights’ => array(5,0)));//weights参数表示权重,其中表示并集后值大于5的元素排在前,大于0的排在后
$redis->zunionstore(‘zset3′,array(‘zset1′,’zset2′),array(‘aggregate’ => ‘max’));//’aggregate’ => ‘max’或’min’表示并集后相同的元素是取大值或是取小值

//zcount 统计一个索引区间的元素个数
$redis->zcount(‘zset1′,3,5);//2
$redis->zcount(‘zset1′,’(3′,5)); //’(3′表示索引值在3-5之间但不含3,同理也可以使用’(5′表示上限为5但不含5

//zcard 统计元素个数
$redis->zcard(‘zset1′);//4

//zscore 查询元素的索引
$redis->zscore(‘zset1′,’ef’);//3

//zremrangebyscore 删除一个索引区间的元素
$redis->zremrangebyscore(‘zset1′,0,2); //删除索引在0-2之间的元素(‘ab’,’cd’),返回删除元素个数2

//zrank/zrevrank 返回元素所在表顺序/降序的位置(不是索引)
$redis->zrank(‘zset1′,’ef’);//返回0,因为它是第一个元素;zrevrank则返回1(最后一个)

//zremrangebyrank 删除表中指定位置区间的元素
$redis->zremrangebyrank(‘zset1′,0,10); //删除位置为0-10的元素,返回删除的元素个数2

/**
hash表操作
*/

//hset/hget 存取hash表的数据
$redis->hset(‘hash1′,’key1′,’v1′); //将key为’key1′ value为’v1′的元素存入hash1表
$redis->hset(‘hash1′,’key2′,’v2′);
$redis->hget(‘hash1′,’key1′);  //取出表’hash1′中的key ‘key1′的值,返回’v1′

//hexists 返回hash表中的指定key是否存在
$redis->hexists (‘hash1′,’key1′); //true or false

//hdel 删除hash表中指定key的元素
$redis->hdel(‘hash1′,’key2′); //true or false

//hlen 返回hash表元素个数
$redis->hlen(‘hash1′); //1

//hsetnx 增加一个元素,但不能重复
$redis->hsetnx(‘hash1′,’key1′,’v2′); //false
$redis->hsetnx(‘hash1′,’key2′,’v2′); //true

//hmset/hmget 存取多个元素到hash表
$redis->hmset(‘hash1′,array(‘key3′=>’v3′,’key4′=>’v4′));
$redis->hmget(‘hash1′,array(‘key3′,’key4′)); //返回相应的值 array(‘v3′,’v4′)

//hincrby 对指定key进行累加
$redis->hincrby(‘hash1′,’key5′,3); //返回3
$redis->hincrby(‘hash1′,’key5′,10); //返回13

//hkeys 返回hash表中的所有key
$redis->hkeys(‘hash1′); //返回array(‘key1′,’key2′,’key3′,’key4′,’key5′)

//hvals 返回hash表中的所有value
$redis->hvals(‘hash1′); //返回array(‘v1′,’v2′,’v3′,’v4′,13)

//hgetall 返回整个hash表元素
$redis->hgetall(‘hash1′); //返回array(‘key1′=>’v1′,’key2′=>’v2′,’key3′=>’v3′,’key4′=>’v4′,’key5′=>13)

/**
排序操作
*/

//sort 排序
$redis->rpush(‘tab’,3);
$redis->rpush(‘tab’,2);
$redis->rpush(‘tab’,17);
$redis->sort(‘tab’);  //返回array(2,3,17)
//使用参数,可组合使用 array(‘sort’ => ‘desc’,’limit’ => array(1, 2))
$redis->sort(‘tab’,array(‘sort’ => ‘desc’));  //降序排列,返回array(17,3,2)
$redis->sort(‘tab’,array(‘limit’ => array(1, 2)));  //返回顺序位置中1的元素2个(这里的2是指个数,而不是位置),返回array(3,17)
$redis->sort(‘tab’,array(‘limit’ => array(‘alpha’ => true))); //按首字符排序返回array(17,2,3),因为17的首字符是’1′所以排首位置
$redis->sort(‘tab’,array(‘limit’ => array(‘store’ => ‘ordered’))); //表示永久性排序,返回元素个数
$redis->sort(‘tab’,array(‘limit’ => array(‘get’ => ‘pre_*’))); //使用了通配符’*’过滤元素,表示只返回以’pre_’开头的元素

/**
redis管理操作
*/

//select 指定要操作的数据库
$redis->select(‘mydb’); //指定为mydb,不存在则创建

//flushdb 清空当前库
$redis->flushdb();

//move 移动当库的元素到其它库
$redis->set(‘foo’, ‘bar’);
$redis->move(‘foo’, ‘mydb2′); //若’mydb2′库存在

//info 显示服务当状态信息
$redis->info();

//slaveof 配置从服务器
$redis->slaveof(’127.0.0.1′,80); //配置127.0.0.1端口80的服务器为从服务器
$redis->slaveof(); //清除从服务器

//同步保存服务器数据到磁盘
$redis->save();
//异步保存服务器数据到磁盘
$redis->bgsave();
//??
$redis->bgrewriteaof();
//返回最后更新磁盘的时间
$redis->lastsave();

//set/get多个key-value
$mkv = array(
‘usr:0001′ => ‘First user’,
‘usr:0002′ => ‘Second user’,
‘usr:0003′ => ‘Third user’
);
$redis->mset($mkv); //存储多个key对应的value
$retval = $redis->mget(array_keys($mkv)); //获取多个key对应的value
print_r($retval);

//批量操作
$replies = $redis->pipeline(function($pipe) {
$pipe->ping();
$pipe->flushdb();
$pipe->incrby(‘counter’, 10); //增量操作
$pipe->incrby(‘counter’, 30);
$pipe->exists(‘counter’);
$pipe->get(‘counter’);
$pipe->mget(‘does_not_exist’, ‘counter’);
});
print_r($replies);

//CAS,事务性操作

function zpop($client, $zsetKey) {
$element = null;
$options = array(
‘cas’   => true,     // Initialize with support for CAS operations
‘watch’ => $zsetKey, // Key that needs to be WATCHed to detect changes
‘retry’ => 3,        // Number of retries on aborted transactions, after
// which the client bails out with an exception.
);

$txReply = $client->multiExec($options, function($tx)
use ($zsetKey, &$element) {
@list($element) = $tx->zrange($zsetKey, 0, 0);
if (isset($element)) {
$tx->multi();     // With CAS, MULTI *must* be explicitly invoked.
$tx->zrem($zsetKey, $element);
}
});
return $element;
}
$zpopped = zpop($redis, ‘zset’);
echo isset($zpopped) ? “ZPOPed $zpopped” : “Nothing to ZPOP!”, “\n”;

//对存取的key加前缀,如: ‘nrk:’
$redis->getProfile()->setPreprocessor(new KeyPrefixPreprocessor(‘nrk:’));

//分布式存储的一些方法
$multiple_servers = array(
array(
‘host’     => ’127.0.0.1′,
‘port’     => 6379,
‘database’ => 15,
‘alias’    => ‘first’,
),
array(
‘host’     => ’127.0.0.1′,
‘port’     => 6380,
‘database’ => 15,
‘alias’    => ‘second’,
),
);

use Predis\Distribution\IDistributionStrategy;

class NaiveDistributionStrategy implements IDistributionStrategy {
private $_nodes, $_nodesCount;

public function __constructor() {
$this->_nodes = array();
$this->_nodesCount = 0;
}

public function add($node, $weight = null) {
$this->_nodes[] = $node;
$this->_nodesCount++;
}

public function remove($node) {
$this->_nodes = array_filter($this->_nodes, function($n) use($node) {
return $n !== $node;
});
$this->_nodesCount = count($this->_nodes);
}

public function get($key) {
$count = $this->_nodesCount;
if ($count === 0) {
throw new RuntimeException(‘No connections’);
}
return $this->_nodes[$count > 1 ? abs(crc32($key) % $count) : 0];
}

public function generateKey($value) {
return crc32($value);
}
}

//配置键分布策略
$options = array(
‘key_distribution’ => new NaiveDistributionStrategy(),
);

$redis = new Predis\Client($multiple_servers, $options);

for ($i = 0; $i set(“key:$i”, str_pad($i, 4, ’0′, 0));
$redis->get(“key:$i”);
}

$server1 = $redis->getClientFor(‘first’)->info();
$server2 = $redis->getClientFor(‘second’)->info();

printf(“Server ‘%s’ has %d keys while server ‘%s’ has %d keys.\n”,
‘first’, $server1[‘db15’][‘keys’], ‘second’, $server2[‘db15’][‘keys’]

 

文章来源:http://www.t086.com/article/4901

shell实现php并行处理的想法

shell以脚本方式调用php实现数据按月分批次的并行处理,初步测试,可以使用,该方法可用于处理时间久,数据量大的一些数据迁移的情况

shell以脚本方式调用php实现数据按月分批次的并行处理,本例只是初步想法,后期会进行实际测试和验证

datetime=`date +'%Y-%m-%d %H:%M:%S'` #以0000-00-00 00:00:00 的格式获取当前时间并赋值给变量$datetime

ckdatetime=`date -d"2014-06-01 00:00:00" +%s` #获得指定日期的unix时间戳
edate=`date +'%Y-%m-%d'`
i=0
num=2
while :
do
    sdatetime=`date -d"-$num month" +%s` #获取$num月前的时间戳
    sdate=`date -d @$sdatetime "+%Y-%m-%d"` #将时间戳格式化
    parm=${sdate}' '${edate} #将变量$sdate 和 变量$edate 作为字符串连接起来,中间加一个空格(可作执行php的参数用)
    arrays[$i]=${Url}${parm} #$Url为要执行的php的路径,带上参数
    edate=$sdate
    if [ $sdatetime -le $ckdatetime ]
    then
        break
    fi
    num=` expr $num + 2 `
    i=` expr $i + 1 `
done

根据给出的html内容,获取所有图片url

能根据所给html内容,获取其中包含的所有的图片url的正则

$html = “……”;
$preg = “/<[img|IMG].*?src=[\’|\”](.*?(?:[\.gif|\.jpg]))[\’|\”].*?[\/]?>/i”;
preg_match_all($preg , $html , $matches);
print_r($matches[1]);
exit;

匹配图片和url的正则,返回数组
$matches[0] = 是完整的图片标签
$matches[1] = 是url