技术类 – 第14页

MySQL MyISAM和InnoDB引擎的写入速度优化比较，分页速度优化

文章来自尘缘的博客，介绍mysql数据库引擎相关知识

以下的文章主要介绍的是MySQL MyISAM的引擎和InnoDB引擎的实际性能的比较，我们首先是通过MySQL数据库的表结构来出MySQL MyISAM的引擎和InnoDB引擎的实际性能的实际操作。

CREATE TABLE `myisam` (
`id` int(11) NOT NULL auto_increment,
`name` varchar(100) default NULL,
`content` text,
PRIMARY KEY (`id`)
) ENGINE=MyISAM DEFAULT CHARSET=gbk;
CREATE TABLE `innodb` (
`id` int(11) NOT NULL auto_increment,
`name` varchar(100) default NULL,
`content` text,
PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=gbk;

数据内容：

1	`$name` `= “heiyeluren”;`

$content = “MySQL支持数个存储引擎作为对不同表的类型的处理器。MySQL存储引擎包括处理事务安全表的引擎和处理非事务安全表的引擎：· MyISAM管理非事务表。它提供高速存储和检索，以及全文搜索能力。MySQL MyISAM在所有MySQL配置里被支持，它是默认的存储引擎，除非你配置MySQL默认使用另外一个引擎。 ·

MEMORY存储引擎提供“内存中”表。MERGE存储引擎允许集合将被处理同样的MyISAM表作为一个单独的表。就像MySQL MyISAM一样，MEMORY和MERGE存储引擎处理非事务表，这两个引擎也都被默认包含在MySQL中。

释：MEMORY存储引擎正式地被确定为HEAP引擎。· InnoDB和BDB存储引擎提供事务安全表。BDB被包含在为支持它的操作系统发布的MySQL-Max二进制分发版里。InnoDB也默认被包括在所有MySQL 5.1二进制分发版里，你可以按照喜好通过配置MySQL来允许或禁止任一引擎。·EXAMPLE存储引擎是一个“存根”引擎，它不做什么。你可以用这个引擎创建表，但没有数据被存储于其中或从其中检索。这个引擎的目的是服务，在MySQL源代码中的一个例子，它演示说明如何开始编写新存储引擎。同样，它的主要兴趣是对开发者。”;

[插入数据-1] (innodb_flush_log_at_trx_commit=1)

MyISAM 1W：3/s
nnoDB 1W：219/s
MyISAM 10W：29/s
nnoDB 10W：2092/s
MySQL MyISAM 100W：287/s
InnoDB 100W：没敢测试

[插入数据-2] (innodb_flush_log_at_trx_commit=0)

MyISAM 1W：3/s
InnoDB 1W：3/s
MyISAM 10W：30/s
InnoDB 10W：29/s
MyISAM 100W：273/s
InnoDB 100W：423/s

[插入数据3] (innodb_buffer_pool_size=1024M)

InnoDB 1W：3/s
InnoDB 10W：33/s
InnoDB 100W：607/s

[插入数据4] (innodb_buffer_pool_size=256M, innodb_flush_log_at_trx_commit=1, set autocommit=0)

InnoDB 1W：3/s
InnoDB 10W：26/s
InnoDB 100W：379/s

[MySQL 配置文件] (缺省配置)

# MySQL Server Instance Configuration File
[client]
port=3306
[mysql]
default-character-set=gbk
[mysqld]
port=3306
basedir=”C:/mysql50/”
datadir=”C:/mysql50/Data/”
default-character-set=gbk
default-storage-engine=INNODB
sql-mode=”STRICT_TRANS_TABLES,NO_AUTO_CREATE_USER,NO_ENGINE_SUBSTITUTION”
max_connections=100 
query_cache_size=0
table_cache=256
tmp_table_size=50M
thread_cache_size=8
myisam_max_sort_file_size=100G
myisam_max_extra_sort_file_size=100G
myisam_sort_buffer_size=100M
key_buffer_size=82M
read_buffer_size=64K
read_rnd_buffer_size=256K
sort_buffer_size=256K
innodb_additional_mem_pool_size=4M
innodb_flush_log_at_trx_commit=1
innodb_log_buffer_size=2M
innodb_buffer_pool_size=159M
innodb_log_file_size=80M
innodb_thread_concurr

以上的相关内容就是对MySQL MyISAM的介绍，望你能有所收获。

总结

可以看出在MySQL 5.0里面，MyISAM和InnoDB存储引擎性能差别并不是很大，针对InnoDB来说，影响性能的主要是 innodb_flush_log_at_trx_commit 这个选项，如果设置为1的话，那么每次插入数据的时候都会自动提交，导致性能急剧下降，应该是跟刷新日志有关系，设置为0效率能够看到明显提升，当然，同样你可以SQL中提交“SET AUTOCOMMIT = 0”来设置达到好的性能。另外，还听说通过设置innodb_buffer_pool_size能够提升InnoDB的性能，但是我测试发现没有特别明显的提升。

基本上我们可以考虑使用InnoDB来替代我们的MyISAM引擎了，因为InnoDB自身很多良好的特点，比如事务支持、存储过程、视图、行级锁定等等，在并发很多的情况下，相信InnoDB的表现肯定要比MyISAM强很多，当然，相应的在my.cnf中的配置也是比较关键的，良好的配置，能够有效的加速你的应用。

如果不是很复杂的Web应用，非关键应用，还是可以继续考虑MyISAM的，这个具体情况可以自己斟酌。

硬件配置
CPU : AMD2500+ (1.8G)
内存: 1G/现代
硬盘: 80G/IDE

软件配置
OS : Windows XP SP2
SE : PHP5.2.1
DB : MySQL5.0.37
Web: IIS6

mysql分页优化方法拾遗
在我的老双至强2.4G的ibm服务器上，37万小文本数据表执行select count(*)时间长达3.8秒(innodb存储引擎)，已经超出了可以忍受的范围(页面总执行时间不得超出1秒),因此开始寻找相关优化方法。

count在myisam和innodb下面的差异性
1.myisam保存表的总行数,因此count(*)并且无where子句,很快会返回表的总行数
2.myisam保存表的总行数,利用count(column)并且无where子句,并且此column不为null,很快会返回表的总行数
3.myisam保存表的总行数,利用count(column)并且无where子句,并且此column可以为null,mysql会对表进行全表或全索引扫描来确定行数
4.innodb查询count(*),count(column(not null)),count(column(may be null))并且无where子句,mysql会对表进行全表或全索引扫描来确定行数
5.myisam和innodb查询count(*),count(column(not null)),count(column(may be null))并且存在where子句,mysql会对表进行索引扫描(如果列上有索引),速度也比较快

来源：http://blog.sina.com.cn/s/blog_5b5460eb0100o4s6.html

在使用mysql数据表的分页程序里面，select count是效率的瓶颈所在。部分人使用避免使用不显示数据总数来规避这个问题，比如点点，永远只有下一页的分页链接。这种方式在我这里行不通，使用的extjs框架的gridpanel控件缺乏记录总数无法分页。另一种方式是新建一个数据表统计表记录数，在表新增和删除时对该记录同时做更新。这种方式或者可行。

记录总数的问题解决了，翻页到超过1万页之后速度又变得极慢(每页20条)。mysql分页使用limit offset,length，在10万记录之前效率可观，sql执行时间基本在1秒内(主键索引)，超过10万条后效率成数量级下降。

查阅资料得以下几种优化方式：
1、索引列大于法
SELECT id FROM table WHERE id>(SELECT id FROM table ORDER BY id LIMIT $start,1) ORDER BY id LIMIT $length;
30万数据时，加order by效率提高不多(1秒左右)，不加order by 效率提高一半
10万数据时，效率提高明显。

2、超过半数逆序分页法。
意为判断分页开始id是否超过总数的一半，如果超过一半则反写sql，减小了LIMIT里面的offset值，从而提高效率。
30万数据，假如原SQL语句是ORDER BY id LIMIT 200000,20,可改写为ORDER BY id DESC LIMIT 99980,20,效率提高超过一个数量级。

3、使用临时表缓存索引列，分页时使用临时表，获取到id用IN子查询。
SELECT id FROM table WHERE id IN(SELECT id FROM table_tmp LIMIT $start,$length);

经过再三考虑，我最后把这部分的优化暂时搁置了，太他娘的浪费时间了。

参考文献：

http://blog.hexu.org/archives/630.shtml

http://0e2.net/post/1555.html

文章来源：http://www.4wei.cn/archives/1001855

类名“::”方法名，php5.4以后，方法必须是静态

采用类名::方法的方式调用成员方法时报错： Strict standards: Non-static method abc::test() should be called statically in..

class abc
	{
		public function test(){
			echo "this is test";
		}
	}
echo Person::say();

采用类名::方法的方式调用成员方法时报错： Strict standards: Non-static method abc::test() should be called statically in..

原因是php不提倡静态调用非静态方法，将public function test()改为public static function test() 就不报错了

json解析出来为null，可能是utf8 bom头造成的

json_decode函数能够接收utf8编码的参数，但是当参数中包含BOM时，json_decode就会失效。
这个函数能将给定的字符串转换成UTF-8编码，移除其中的BOM。
下面是PHP代码：

function prepareJSON($input) {

    //This will convert ASCII/ISO-8859-1 to UTF-8.
    //Be careful with the third parameter (encoding detect list), because
    //if set wrong, some input encodings will get garbled (including UTF-8!)
    $imput = mb_convert_encoding($input, 'UTF-8', 'ASCII,UTF-8,ISO-8859-1');

    //Remove UTF-8 BOM if present, json_decode() does not like it.
    if(substr($input, 0, 3) == pack("CCC", 0xEF, 0xBB, 0xBF)) $input = substr($input, 3);

    return $input;
}

//Usage:
$myFile = file_get_contents('somefile.json');
$myDataArr = json_decode(prepareJSON($myFile), true);

文章来源：http://www.phpcode8.com/phpscripts/json-utf8-bom-solution.html

shell脚本中执行时提示“没有那个文件或目录”

lnmp环境shell脚本执行php文件，提示php文件为找到，在终端直接cd 发现文件存在。原因可能是脚本是在windows平台下写的，换行符与linux不同，造成脚本不能正确执行

故障现象：lnmp环境shell脚本执行php文件，提示php文件为找到，在终端直接cd 发现文件存在。原因可能是脚本是在windows平台下写的，换行符与linux不同，造成脚本不能正确执行出现bad interpreter:No such file or directory的原因，是文件格式的问题。这个文件是在Windows下编写的。换行的方式与Unix不一样，但是在vim下面如果不Set一下又完全看不出来。

问题分析：

1、将windows 下编写好的SHELL文件，传到linux下执行，提示出错。

2、出错信息：bad interpreter: 没有那个文件或目录。

问题原因：因为操作系统是windows，在windows下编辑的脚本，所以有可能有不可见字符。脚本文件是DOS格式的即每一行的行尾以\r\n来标识, 其ASCII码分别是0x0D, 0x0A. 解决方法：可以有很多种办法看这个文件是DOS格式的还是UNIX格式的, 还是MAC格式的

（1） vim filename 然后用命令 :set ff 可看到dos或unix的字样，如果的确是dos格式的, 那么用set ff=unix把它强制为unix格式的,，然后存盘退出后就可运行。

转换不同平台的文本文件格式可以用

1. unix2dos或dos2unix这两个小程序来做. 很简单. 在djgpp中这两个程序的名字叫dtou和utod, u代表unix, d代表dos

2. 也可以用sed 这样的工具来做: 复制代码代码如下: sed ‘s/^M//’ filename > tmp_filename mv -f tmp_filename filename

特别说明：^M并不是按键shift + 6产生的^和字母M, 它是一个字符, 其ASCII是0x0D, 生成它的办法是先按CTRL+V, 然后再回车(或CTRL+M) 另外, 当SHELL程序报告command not found时, 总是去检查一下你的PATH里面有没有程序要用到的每一个命令(没指定绝对路径的那种). 你这么小的程序, 可以一行一行核对。

附：少写一个/引发的没有那个文件或目录问题今天在翻看以前写的简单的shell脚本时,发现一个问题: 当./运行时总是提示: (bash: ./hello.sh: bin/bash: 坏的解释器: 没有那个文件或目录),但是当用sh运行时正确. 原来的脚本: (试试看你能否一眼看出错误) 复制代码代码如下: #!bin/bash echo “Hello Linux!” 后来几番检查发现自己写的丢了一些东西. 应该把第一行改成 #!/bin/bash ，少写了一个/ 唉,很简单的问题,自己以前没有发现还有这样的错误! shell脚本的确好用,可唯一难的就是格式要求太高!

文章来源：http://www.jb51.net/article/48784.htm

mysql 无法远程操作

mysql 能够登陆成功，但是无法对表进行操作

Can’t create/write to file ‘/tmp/#sql_4ef4_0.MYI’ (Errcode: 13)

今天服务器上用yum安装的mysql远程登陆后无法对表进行操作，提示错误信息:

Can’t create/write to file ‘/tmp/#sql_4ef4_0.MYI’ (Errcode: 13)

看起来权限设置有问题。

执行如下命令:

cd /

chmod 1757 tmp

vim ctrl+s 的问题

我在使用vim的时候，偶尔会碰到vim莫名其妙的僵在那里。在界面上输入什么都没有反应。甚至Ctrl+C、Ctrl+D也没有反应。

由于不是经常发生，也就没在意。每次很麻烦的关掉putty的窗口，重新再打开putty。今天发生了好几次，很是郁闷。就想看看究竟是怎么回事，结果发现每次按下Ctrl+S就会出现这个问题。

由于以前碰到过vim有些扩展有问题，这次就也怀疑是vim扩展的问题。结果删除了所有扩展和.vimrc文件，问题依旧。通过putty登录到别的系统，也是一样的问题。直接在ubuntu的命令行，按下Ctrl+S，问题也一样！

奥，原来是Linux的一个快捷键呀，干什么用的？

原来Ctrl+S在Linux里，是锁定屏幕的快捷键。如果要解锁，按下Ctrl+Q就可以了。

好吧，接受教训吧。以后碰到问题要勤快点，越早解决越少麻烦。
现在让我记牢点这两个组合键Ctrl+S和Ctrl+Q。

转载自http://www.leonzhang.com/2010/06/09/vim_hangu_by_ctrl_s/

$_SERVER[‘PATH_INFO’] 获取不到报错

新搭建的web环境，使用kohana框架地址重写后，报没有$_SERVER[‘PATH_INFO’] 的notice 错误，解决方案参考

一直以为是rewrite 出错了，没法获取到$_SERVER[‘PATH_INFO’]的值，对了apache的配置和.htaccess文件都没问题，
度娘没有得到理想的结果，于是自己想办法。
错误级别为notice错误，也就是说不是致命错误，查看php.ini 的error_reporting 配置，为E_ALL,就是会报所有的错误，
干脆注释掉
在测试，问题解决，我汗……

win7 64 wampserver 2.2 安装redis扩展

wampserver 2.2 安装redis扩展，不同wampserver的版本需要的不同的dll库，本题提供的下载地址是wampserver2.2专用的

下载php_redis.dll扩展库文件，放入php目录下的ext目录下
下载地址：
https://github.com/downloads/nicolasff/phpredis/php_redis-5.3-vc9-ts-73d99c3e.zip
在php.ini中添加
extension=php_redis.dll

Windows版的Redis

Redis本质上是一个Key-Value类型的内存数据库，很像memcached，整个数据库统统加载在内存当中进行操作，定期通过异步操作把数据库数据flush到硬盘上进行保存。因为是纯内存操作，Redis的性能非常出色，Redis最大的魅力是支持保存List链表和Set集合的数据结构，而且还支持对List进行各种操作，例如从List两端push和pop数据，取 List区间，排序等等，对Set支持各种集合的并集交集操作，此外单个value的最大限制是1GB，不像memcached只能保存1MB的数据，Redis可以用来实现很多有用的功能，比方说用他的List来做FIFO双向链表，实现一个轻量级的高性能消息队列服务，用他的Set可以做高性能的tag系统等等。另外Redis也可以对存入的Key-Value设置expire时间，因此也可以被当作一个功能加强版的memcached来用。

Windows版的Redis可到此处下载，非官方版
http://code.google.com/p/servicestack/wiki/RedisWindowsDownload

Redis文件夹有以下几个文件
redis-server.exe：服务程序
指定redis的配置文件，如没有指定，则使用默认设置
D:\redis-2.0.0-rc2>redis-server.exe redis.conf

redis.conf配置选项如下
daemonize 是否以后台进程运行，默认为no
pidfile 如以后台进程运行，则需指定一个pid，默认为/var/run/redis.pid
bind 绑定主机IP，默认值为127.0.0.1（注释）
port 监听端口，默认为6379
timeout 超时时间，默认为300（秒）
loglevel 日志记录等级，有4个可选值，debug，verbose（默认值），notice，warning
logfile 日志记录方式，默认值为stdout
databases 可用数据库数，默认值为16，默认数据库为0
save <seconds> <changes> 指出在多长时间内，有多少次更新操作，就将数据同步到数据文件。这个可以多个条件配合，比如默认配置文件中的设置，就设置了三个条件。
save 900 1 900秒（15分钟）内至少有1个key被改变
save 300 10 300秒（5分钟）内至少有300个key被改变
save 60 10000 60秒内至少有10000个key被改变
rdbcompression 存储至本地数据库时是否压缩数据，默认为yes
dbfilename 本地数据库文件名，默认值为dump.rdb
dir 本地数据库存放路径，默认值为 ./
slaveof <masterip> <masterport> 当本机为从服务时，设置主服务的IP及端口（注释）
masterauth <master-password> 当本机为从服务时，设置主服务的连接密码（注释）
requirepass 连接密码（注释）
maxclients 最大客户端连接数，默认不限制（注释）
maxmemory <bytes> 设置最大内存，达到最大内存设置后，Redis会先尝试清除已到期或即将到期的Key，当此方法处理后，任到达最大内存设置，将无法再进行写入操作。（注释）
appendonly 是否在每次更新操作后进行日志记录，如果不开启，可能会在断电时导致一段时间内的数据丢失。因为redis本身同步数据文件是按上面save条件来同步的，所以有的数据会在一段时间内只存在于内存中。默认值为no
appendfilename 更新日志文件名，默认值为appendonly.aof（注释）
appendfsync 更新日志条件，共有3个可选值。no表示等操作系统进行数据缓存同步到磁盘，always表示每次更新操作后手动调用fsync()将数据写到磁盘，everysec表示每秒同步一次（默认值）。
vm-enabled 是否使用虚拟内存，默认值为no
vm-swap-file 虚拟内存文件路径，默认值为/tmp/redis.swap，不可多个Redis实例共享
vm-max-memory 将所有大于vm-max-memory的数据存入虚拟内存,无论vm-max-memory设置多小,所有索引数据都是内存存储的(Redis的索引数据就是keys),也就是说,当vm-max-memory设置为0的时候,其实是所有value都存在于磁盘。默认值为0。

Redis官方文档对VM的使用提出了一些建议:
当你的key很小而value很大时,使用VM的效果会比较好.因为这样节约的内存比较大.
当你的key不小时,可以考虑使用一些非常方法将很大的key变成很大的value,比如你可以考虑将key,value组合成一个新的value.
最好使用linux ext3 等对稀疏文件支持比较好的文件系统保存你的swap文件.
vm-max-threads这个参数,可以设置访问swap文件的线程数,设置最好不要超过机器的核数.如果设置为0,那么所有对swap文件的操作都是串行的.可能会造成比较长时间的延迟,但是对数据完整性有很好的保证.redis-cli.exe：命令行客户端，测试用
D:\redis-2.0.0-rc2>redis-cli.exe -h 127.0.0.1 -p 6379

设置一个Key并获取返回的值:
$ ./redis-cli set mykey somevalue
OK
$ ./redis-cli get mykey
Somevalue

如何添加值到list:
$ ./redis-cli lpush mylist firstvalue
OK
$ ./redis-cli lpush mylist secondvalue
OK
$ ./redis-cli lpush mylist thirdvalue
OK
$ ./redis-cli lrange mylist 0 -1
1. thirdvalue
2. secondvalue
3. firstvalue
$ ./redis-cli rpop mylist
firstvalue
$ ./redis-cli lrange mylist 0 -1
1. thirdvalue
2. secondvalue

redis-check-dump.exe：本地数据库检查

redis-check-aof.exe：更新日志检查

redis-benchmark.exe：性能测试，用以模拟同时由N个客户端发送M个 SETs/GETs 查询 (类似于 Apache 的 ab 工具).
./redis-benchmark -n 100000 –c 50
====== SET ======
100007 requests completed in 0.88 seconds （译者注：100004 查询完成于 1.14 秒）
50 parallel clients （译者注：50个并发客户端）
3 bytes payload （译者注：3字节有效载荷)
keep alive: 1 （译者注：保持1个连接)
58.50% <= 0 milliseconds（译者注：毫秒）
99.17% <= 1 milliseconds
99.58% <= 2 milliseconds
99.85% <= 3 milliseconds
99.90% <= 6 milliseconds
100.00% <= 9 milliseconds
114293.71 requests per second（译者注：每秒 114293.71 次查询）

Windows下测试并发客户端极限为60

EXT学习——mvc下，view列表中多store的运用

使用extjs两个星期了，昨天采用extjs的mvc制作列表时，由于外键的原因，需要在前端通过id到另一个store中获取数据，经过多次试验，终于完成了想要的功能，特此记录，以备下次需要

Ext.define(‘DC.view.xxx’, {
extend: ‘Ext.grid.Panel’,
alias: ‘widget.xxx’,
store: ‘xxxxx1’,
frame: true,
multiSelect: true,
initComponent: function() {

// 载入终端类型的数据代理
var xstore = Ext.data.StoreManager.lookup(‘xxxx2′);
// 定义局部变量，存放请求到的数据集
var xobj = {};
// 执行数据代理的载入的方法，获取数据集
xstore.load(function(records, operation, success){
// 取得数据集的数据主体放入已定义的局部变量(此处之所以有 .data 是因为返回结果为{”,”,’data’:{}}的结构)
xobj = Ext.JSON.decode(operation.response.responseText, true).data;
});

Ext.apply(this, {
columns: [{
header: ‘ID’,
dataIndex: ‘id’,
}, {
header: ‘字段’,
dataIndex: ‘ziduan’,
flex: 2,
renderer:function(value){
for(var i=0;i<xobj.length;i++){
if(xobj[i].id == value){
return xobj[i].name;
}
}
}
})
}

2025年六月
一	二	三	四	五	六	日
« 1月
						1
2	3	4	5	6	7	8
9	10	11	12	13	14	15
16	17	18	19	20	21	22
23	24	25	26	27	28	29
30