Mysql快速插入千万条数据的实战教程转

一.创建数据库二.创建表1.创建dept表CREATETABLE`dept`(`id`int(11)NOTNULL,`deptno`mediumint(9)DEFAULTNUL...

一.创建数据库

二.创建表

1.创建 dept表

1. CREATE TABLE `dept` (
2.      `id` int(11) NOT NULL,
3.      `deptno` mediumint(9) DEFAULT NULL,
4.      `dname` varchar(20) DEFAULT NULL,
5.      `loc` varchar(13) DEFAULT NULL,
6.      PRIMARY KEY (`id`)
7. ) ENGINE=InnoDB DEFAULT CHARSET=utf8;

2.创建emp表

1. CREATE TABLE `emp` (
2.      `id` int(11) NOT NULL,
3.      `empon` mediumint(9) DEFAULT NULL COMMENT '编号',
4.      `ename` varchar(20) DEFAULT NULL,
5.      `job` varchar(9) DEFAULT NULL,
6.      `mgr` mediumint(9) DEFAULT NULL COMMENT '上级编号',
7.      `hirdate` datetime DEFAULT NULL COMMENT '入职时间',
8.      `sal` decimal(7,2) DEFAULT NULL COMMENT '薪水',
9.      `comm` decimal(7,2) DEFAULT NULL COMMENT '红利',
10.      `deptno` mediumint(9) DEFAULT NULL COMMENT '部门编号',
11.      PRIMARY KEY (`id`)
12. ) ENGINE=InnoDB DEFAULT CHARSET=utf8;

三.设置参数

SHOW VARIABLES LIKE 'log_bin_trust_function_creators';

默认关闭.  需要设置为1。因为表中设置 mediumint 字段 创建函数可能会报错

SET GLOBAL log_bin_trust_function_creators=1;

四.创建函数

1.随机产生字符串

1. DELIMITER $
2. CREATE FUNCTION RAND_STR(n INT) RETURNS VARCHAR(255)
3. BEGIN
4.      DECLARE chars_str VARCHAR(100) DEFAULT 'abcdefghijklmnopqrstuvwsyzABCDEFGHIJKLMNOPQRSTUVWXYZ';
5.      DECLARE return_str VARCHAR(255) DEFAULT '';
6.      DECLARE i INT DEFAULT 0;
7.      WHILE i< n DO
8.      SET return_str =CONCAT(return_str,SUBSTRING(chars_str,FLOOR(1+RAND()*52),1));
9.      SET i= i+1;
10.      END WHILE;
11.      RETURN return_str;
12. END $

2.随机产生部门编号

1. DELIMITER $
2. CREATE FUNCTION RAND_num() RETURNS INT(5)
3. BEGIN
4.      DECLARE i INT DEFAULT 0;
5.      SET i= FLOOR(100+RAND()*10);
6.      RETURN i;
7. END $

五.创建存储过程

1. emp表存储过程

1. DELIMITER $
2. CREATE PROCEDURE insert_emp(IN START INT(10),IN max_num INT(10))
3. BEGIN
4.      DECLARE i INT DEFAULT 0;
5.          SET autocommit = 0;
6.          REPEAT #重复
7.          SET i = i + 1;
8.          INSERT INTO emp(empon,ename,job,mgr,hirdate,sal,comm,deptno) VALUES ((START+i),RAND_STR(6),'SALESMAN',0001,CURDATE(),2000,400,RAND_num());
9.      UNTIL i = max_num
10.      END REPEAT;
11.      COMMIT;
12. END $

2.dept表存储过程

1. DELIMITER $
2. CREATE PROCEDURE insert_dept(IN START INT(10),IN max_num INT(10))
3. BEGIN
4.      DECLARE i INT DEFAULT 0;
5.          SET autocommit = 0;
6.          REPEAT #重复
7.          SET i = i + 1;
8.          INSERT INTO dept(deptno,dname,loc) VALUES ((START+i),RAND_STR(10),RAND_STR(8));
9.      UNTIL i = max_num
10.      END REPEAT;
11.      COMMIT;
12. END $

六.执行

1.先执行十条

这个错误是一个小坑 发现了吗 我之前留下的  根据提示 去排查吧 

执行成功！

2.查看数据

重头戏来喽！  一次性干他百万条数据  赌一把 看看会不会玩崩了

3.执行百万插入

CALL insert_dept(10001,1000000);

需要给 给个表设置成可以成主键自增