• 【技术问题】时空大数据0001---基本知识


    一、B+树、R树定义、区别及场景

     

     

    二、空间数据缓存技术设计

    1、空间数据缓存容量

    2、空间数据缓存穿透

    3、缓存数据失效

    FIFO:First In First Out,先进先出。判断被存储的时间,离目前最远的数据优先被淘汰。
    LRU:Least Recently Used,最近最少使用。判断最近被使用的时间,目前最远的数据优先被淘汰。
    LFU:Least Frequently Used,最不经常使用。在一段时间内,数据被使用次数最少的,优先被淘汰。

    缓存穿透、缓存雪崩

    https://baijiahao.baidu.com/s?id=1619572269435584821&wfr=spider&for=pc

    后端数据库和文件系统压力大

    方案:缓存空值、限流、分级缓存、缓存预热、冷热数据设置缓存过期时间、缓存用不过期

    底图:瓦片、静态资源、CDN、缓存

    数据:缓存、分布式

    三、海量遥感影像存储管理设计

    采用文件实体和索引元数据共同存储。文件实体可以采用分布式文件系统和HDFS等方案,索引元数据为结构化数据存储,分数据库存储和缓存。

    文件实体存储过程中抽取空间信息、波段信息、中心点、拍摄日期、处理状态、数据来源、文件指针、缩略图、10%影像采样图。

    结构化数据存储文件实体采集提取的结构化信息,为了提高检索效率,提供缓存查询和数据库查询两种方案。

    应用分为遥感影像背景图、遥感专题分析等场景。

    遥感影像背景图:需要经过遥感专业数据处理,比如:辐射标定、纠正、融合、裁剪、镶嵌等,然后按照密级要求偏移后做成瓦片地图发布。

    遥感专题分析:需要提供在线算法编写、影像选择、算力、存储、测试等分析平台,如分析农作物的产量,需要计算产量和绿色波段及其他波段的数据关系,然后根据影像数据进行计算。

    遥感目标识别:提供在线遥感影像展示,训练样本采集存储,识别算法训练,识别算法评估,识别算法发布,指定区域选择,识别算法调用,识别任务执行等。

    遥感数据服务:提供框选、圈选,查询指定区域遥感影像数据集(根据结构化数据查询),列表加载查询结果,缩略图显示和影像采样图地图叠加显示,勾选数据集,提交下载任务,后台根据任务清单批处理影像数据集下载流程,下载流程完成后触发邮件或短信任务通知用户。

  • 相关阅读:
    洛谷P1527 矩阵乘法——二维树状数组+整体二分
    bzoj1503 [NOI2004]郁闷的出纳员——splay
    bzoj4811 [Ynoi2017]由乃的OJ 树链剖分+位运算
    D Dandan's lunch
    C Sleepy Kaguya
    B bearBaby loves sleeping
    A AFei Loves Magic
    II play with GG
    angular的路由和监听路由的变化和用户超时的监听
    ng-disabled 指令
  • 原文地址:https://www.cnblogs.com/defineconst/p/12093622.html
Copyright © 2020-2023  润新知