• MySQL处理大量数据的效率问题


    最近在处理项目组的一个数据集,数据量每张表在百万级,由于数据量较大在数据下载和处理方面都可以说是旷日持久,这篇记录一下相关的经验。

    数据下载


    拿到的数据是在远程数据库里面,原先打算直接从远程库里下载csv或txt到电脑上,但在mysql上进行这样的操作好像不是很方便速度也很慢。

    目前在使用的方法是将远程数据库里面的数据导出为sql到本地,导入本地数据库后进行操作,但这一过程也很缓慢,一个百万级数据库在navicat里面可能要导个半个小时,在命令行可能会快一点但没有尝试。

    MySQL中的去重


    参考了这篇文章,http://ningg.top/mysql-data-cleaning/

    基本思路是复制原表A结构新建一个表B,对表B添加UNIQUE约束,然后将表A中的数据逐条插入表B,约束会自动实现去重。

    #复制表结构
    CREATE TABLE newTable LIKE oldTable;
     
    #修改表字段,因为httpURL太大
    ALTER TABLE newTable MODIFY httpURL VARCHAR(300);
     
    #为表格添加约束条件(在Mysql5中,如果约束字段过大,则报错,因此要先执行上面的修改表字段)
    ALTER TABLE newTable ADD UNIQUE(IP,timeStart);
     
    #为新表中添加数据(约束条件自动去重)
    INSERT IGNORE newTable 
    SELECT * FROM newTable 
    ORDER BY IP,timeStart;

    测试的表数据量在三百万左右,去重后数据在二百万左右,在navicat实现时间2168.470s,命令行应该会更快。

  • 相关阅读:
    PAT 1053 住房空置率
    PAT 1078 字符串压缩与解压
    PAT 1024 科学计数法
    HDU 2078 复习时间
    HDU 2065 "红色病毒"问题
    网络协议分析
    多线程同步
    多线程程序设计
    消息队列通讯
    共享内存通讯
  • 原文地址:https://www.cnblogs.com/heiheixiaocai/p/13494997.html
Copyright © 2020-2023  润新知