mysql中文乱码latin1转utf8

一、MySQL字符集设置

• 系统变量：

– character_set_server：默认的内部操作字符集

– character_set_client：客户端来源数据使用的字符集

– character_set_connection：连接层字符集

– character_set_results：查询结果字符集

– character_set_database：当前选中数据库的默认字符集

– character_set_system：系统元数据(字段名等)字符集

– 还有以collation_开头的同上面对应的变量，用来描述字符序。

• 用introducer指定文本字符串的字符集：

– 格式为：[_charset] ‘string’ [COLLATE collation]

– 例如：

• SELECT _latin1 ‘string’;

• SELECT _utf8 ‘你好’ COLLATE utf8_general_ci;

–由introducer修饰的文本字符串在请求过程中不经过多余的转码，直接转换为内部字符集处理。

二、MySQL中的字符集转换过程

1. MySQL Server收到请求时将请求数据从character_set_client转换为character_set_connection；

2. 进行内部操作前将请求数据从character_set_connection转换为内部操作字符集，其确定方法如下：

• 使用每个数据字段的CHARACTER SET设定值；

• 若上述值不存在，则使用对应数据表的DEFAULT CHARACTER SET设定值(MySQL扩展，非SQL标准)；

• 若上述值不存在，则使用对应数据库的DEFAULT CHARACTER SET设定值；

• 若上述值不存在，则使用character_set_server设定值。

3. 将操作结果从内部操作字符集转换为character_set_results。

 

三、latin1转换到utf8

以原来的字符集为latin1为例，升级成为utf8的字符集。原来的表: databasename (default charset=latin1)，新表：new_databasename(default charset=utf8)。

 

mysql> show create database databasename;
+--------------+-------------------------------------------------------------------------+
| Database| Create Database|
+--------------+-------------------------------------------------------------------------+
| databasename | CREATE DATABASE `databasename` /*!40100 DEFAULT CHARACTER SET latin1 */ |
+--------------+-------------------------------------------------------------------------+
1 row in set (0.00 sec)

 

 

1> 导出表结构：

 

mysqldump -uroot -p --default-character-set=utf8 -d databasename > createtab.sql

 

 

其中--default-character-set=utf8 表示设置以什么字符集连接，　-d 表示只导出表结构，不导出数据。

2>修改　createtab.sql中表结构定义中的字符集为新的字符集。

 

sed -i s/CHARSET=latin1/CHARSET=utf8/g `grep -rl "CHARSET=latin1" createtab.sql `

 

 

3>确保记录不再更新，导出所有记录。

 

mysqldump -uroot -p --no-create-info databasename > data.sql

 

 

可选参数：

--quick: 该选项用于转储大的表。　它强制　mysqldump 从服务器一次一行地检索表中的行而不是　检索所有行，并在输出前将它缓存到内存中。

--extended-insert: 使用包括几个　values 列表的多行insert语法，这样使转储文件更小，重载文件时可以加速插入。

--no-create-info: 不写重新创建每个转储表的create table 语句。

--default-character-set=latin1: 按照原有的字符集导出所有数据，这样导出的文件中，所有中文都是可见的，不会保存成乱码。不添加该参数以默认字符导出。

4>打开data.sql,将　set names latin1 修改成　set names utf8 。

 

sed -i s/CHARSET=latin1/CHARSET=utf8/g `grep -rl "CHARSET=latin1" data.sql `

 

 

 

(PS：sed工作效率是非常高的，在测试中60G的数据4分钟就转换完毕了）

 

5>使用新的字符集创建新的数据库。

 

create database new_databasename default charset utf8;

 

 

6>创建表，执行　createtab.sql

 

mysql -uroot -p new_databasename < createtab.sql

 

 

7>导入数据，执行data.sql

 

mysql -uroot -p new_databasename < data.sql

8、查看新数据库的字符信息

 

mysql> show create database new_databasename;
+------------------+-----------------------------------------------------------------------------+
| Database| Create Database|
+------------------+-----------------------------------------------------------------------------+
| new_databasename | CREATE DATABASE `new_databasename` /*!40100 DEFAULT CHARACTER SET utf8 */ |
+------------------+-----------------------------------------------------------------------------+
1 row in set (0.00 sec)
mysql> show createtable type;
+-------+------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
| Table | Create Table|
+-------+------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
| type | CREATE TABLE `type` (
`id` int(10) NOT NULL AUTO_INCREMENT,
`Name` varchar(100) CHARACTER SET gb2312 NOT NULL,
PRIMARY KEY (`id`)
) ENGINE=MyISAM AUTO_INCREMENT=17 DEFAULT CHARSET=utf8 |
+-------+------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
1 row in set (0.00 sec)

 

注意：选择字符集的时候，要注意最好是源字符的超级，或者确定比源字符集的字库更大。

 

MySQL会出现中文乱码的原因不外乎下列几点：
1.server本身设定问题，例如还停留在latin1
2.table的语系设定问题(包含character与collation)
3.客户端程式(例如php)的连线语系设定问题
强烈建议使用utf8!!!!
utf8可以兼容世界上所有字符!!!!
一、避免创建数据库及表出现中文乱码和查看编码方法
1、创建数据库的时候：CREATE DATABASE `test`
CHARACTER SET 'utf8'
COLLATE 'utf8_general_ci';
2、建表的时候 CREATE TABLE `database_user` (
`ID` varchar(40) NOT NULL default '',
`UserID` varchar(40) NOT NULL default '',
) ENGINE=InnoDB DEFAULT CHARSET=utf8;

这3个设置好了，基本就不会出问题了,即建库和建表时都使用相同的编码格式。
但是如果你已经建了库和表可以通过以下方式进行查询。
1.查看默认的编码格式:
mysql> show variables like "%char%";
+--------------------------+---------------+
| Variable_name | Value |
+--------------------------+---------------+
| character_set_client | gbk |
| character_set_connection | gbk |
| character_set_database | utf8 |
| character_set_filesystem | binary |
| character_set_results | gbk |
| character_set_server | utf8 |
| character_set_system | utf8 |
+--------------------------+-------------+
注：以前2个来确定,可以使用set names utf8,set names gbk设置默认的编码格式;

执行SET NAMES utf8的效果等同于同时设定如下：
SET character_set_client='utf8';
SET character_set_connection='utf8';
SET character_set_results='utf8';

2.查看test数据库的编码格式:
mysql> show create database test;
+------------+------------------------------------------------------------------------------------------------+
| Database | Create Database |
+------------+------------------------------------------------------------------------------------------------+
| test | CREATE DATABASE `test` /*!40100 DEFAULT CHARACTER SET gbk */ |
+------------+------------------------------------------------------------------------------------------------+

3.查看yjdb数据库的编码格式:
mysql> show create table yjdb;
| yjdb | CREATE TABLE `yjdb` (
`sn` int(5) NOT NULL AUTO_INCREMENT,
`type` varchar(10) NOT NULL,
`brc` varchar(6) NOT NULL,
`teller` int(6) NOT NULL,
`telname` varchar(10) NOT NULL,
`date` int(10) NOT NULL,
`count` int(6) NOT NULL,
`back` int(10) NOT NULL,
PRIMARY KEY (`sn`),
UNIQUE KEY `sn` (`sn`),
UNIQUE KEY `sn_2` (`sn`)
) ENGINE=MyISAM AUTO_INCREMENT=1826 DEFAULT CHARSET=gbk ROW_FORMAT=DYNAMIC |

二、避免导入数据有中文乱码的问题
1:将数据编码格式保存为utf-8
设置默认编码为utf8：
set names utf8;
设置数据库db_name默认为utf8:
ALTER DATABASE `db_name` DEFAULT CHARACTER SET utf8 COLLATE utf8_general_ci;
设置表tb_name默认编码为utf8:
ALTER TABLE `tb_name` DEFAULT CHARACTER SET utf8 COLLATE utf8_general_ci;
导入：
LOAD DATA LOCAL INFILE 'C:\\utf8.txt' INTO TABLE yjdb;
2:将数据编码格式保存为ansi(即GBK或GB2312)
设置默认编码为gbk：
set names gbk;
设置数据库db_name默认编码为gbk:
ALTER DATABASE `db_name` DEFAULT CHARACTER SET gbk COLLATE gbk_chinese_ci;
设置表tb_name默认编码为gbk:
ALTER TABLE `tb_name` DEFAULT CHARACTER SET gbk COLLATE gbk_chinese_ci;
导入：
LOAD DATA LOCAL INFILE 'C:\\gbk.txt' INTO TABLE yjdb;

注：1.UTF8不要导入gbk，gbk不要导入UTF8;
2.dos下不支持UTF8的显示;
三、解决网页中乱码的问题
 
将网站编码设为 utf-8,这样可以兼容世界上所有字符。
　　如果网站已经运作了好久,已有很多旧数据,不能再更改简体中文的设定,那么建议将页面的编码设为 GBK, GBK与GB2312的区别就在于:GBK能比GB2312显示更多的字符,要显示简体码的繁体字,就只能用GBK。
1.编辑/etc/my.cnf　,在[mysql]段加入default_character_set=utf8;
2.在编写Connection URL时，加上?useUnicode=true&characterEncoding=utf-8参;
3.在网页代码中加上一个"set names utf8"或者"set names gbk"的指令，告诉MySQL连线内容都要使用
utf8或者gbk;