• R语言高性能编程(二)


    接着上一篇

    一、减少内存使用的简单方法
    1、重用对象而不多占用内存 y <- x 是指新变量y指向包含X的那个内存块,只有当y被修改时才会复制到新的内存块,
    一般来说只要向量没有被其他对象引用,就可以正常修改,以避免复制向量带来的CPU和RAM开销。按照程序属于来说,R是按值传递,
    应该避免使用sort 类似的函数,会返回一个副本,资源开销至少和原对象一样大,甚至更大
    2、删除不在需要的中间数据
    注意 在调用rm()的时候,内存不会被立即释放并交还到操作系统,而是在必要的时候,或者当已删除对象的内存量超过阈值的时候,
    由R的垃圾回收器自动释放内存
    3、运行时计算值而不是永久性存储值
    4、交换活跃数据和非活跃数据 将一些数据保存到磁盘,saveRDSP readRDS

    二、使用有限内存处理大型数据集
    1、使用节约内存的数据结构
    R存储数据结构的方式? 对所有数据类型来说,向量是最基本的结构单元,提供了多种原子向量类型(logic,integer,numeric,complex,character,raw)
    很多其他数据结构都可以从这些向量类型构建,R内部存储结构的本质就是向量
    2、稀疏矩阵 包含大量的零值或者空值 sparse参数
    3、对称矩阵 dspmatrix
    4、比特向量 R中的逻辑值占4个字节或32个比特位,而比特向量仅用一个比特位存储每个逻辑值。减少32倍,但是不适合存储NA值(bit包)
    5、使用内存映射文件并以块的形式处理数据 数据不管怎么优化 大到放不进内存中的时候 就需要以memory -mapped file 的形式存储到磁盘
    分块计算 ,然后合并结构,是否容易实现 取决于算法本身
    bigmemory big.matrix 支持很多R矩阵上的操作 支持big.matrix对象的cran包 biganalytics  bigtabulate
    ff 和 ffbase 已做过简单的数据测试 本机16G 内存 I7700的U  可支持2亿数据量的 分块计算 是一个很考验算法的难题

    --------------------截止到这里 我们已经学习了串行R代码的各种优化,下面介绍利用CPU多核 并行计算

    未完待续.....

  • 相关阅读:
    redis实现电商购物车
    redis应用于各种结构型和非结构型高热度数据访问加速
    Redis控制热点新闻的实效性
    Redis实现分表操作id唯一
    KrakenD网关V1.0.0文档初步翻译
    CentOS7环境下安装Chrome
    七夕秀恩爱新姿势!这波操作我给十分!
    小程序&#183;云开发实战
    小程序&#183;云开发实战
    小程序云开发实战
  • 原文地址:https://www.cnblogs.com/qiaoyihang/p/7852950.html
Copyright © 2020-2023  润新知