今天把需要分析的数据导入到数据库中。
数据将近7000万条,在txt文件中存放,共5.75G。采用Load data infile 导入,最后花了18个小时导入。主要做了以下修改:
1. MySQL优化
key_buffer_size = 64M
max_allowed_packet = 8M
innodb_buffer_pool_size = 1024M
innodb_flush_log_at_trx_commit = 0
innodb_support_xa = 0
2. MySQL设置
(1)
SET autocommit=0;
... SQL import statements
...
COMMIT;
(2)
SET unique_checks=0;
... SQL import statements ...
SET unique_checks=1;
(3)
SET foreign_key_checks=0;
... SQL import statements ...
SET foreign_key_checks=1;
无图无真相