• VALSE2019总结(3)-基于视觉和常识的深度推理


    3. 基于视觉和常识的深度推理

    • 几乎没啥干货

    3.1 视觉场景理解与描述与描述中的物体关系 (shuqiang jiang, CAS)

    • VAD中也涉及到对于不同场景的理解,也许对我有用
    1. 不同距离下的图像表现

      • 场景抽象性:场景是由不同物体及局部区域的组合,相比较物体图像,场景图像更加抽象,更难以识别和理解
      • 比如:(1)常规:ImageNet (2)复杂:COCO, Visual Genome(有一张图)
    2. 视觉场景中的多物体

    3. 关于物体

      • 核心问题:何为物体?发现物体;理解物体;利用物体;描述物体与场景;
    4. 关于物体间关系

      • 同一图像:空间关系,动作关系,属含关系,共生关系,xx关系
      • 不同图像:物体的层次有:实例级,物体级,类别级,知识级,描述级
    5. 四个经典任务:

      • 同一图像
        • 场景识别:物体间的空间位置关系
        • 图像语言描述:物体之间的的上下文关联关系
      • 不同图像
        • 图像搜索:实例级 partial duplicate (去重?)
        • 共同物体检测:不知名的相同物体
    6. 场景:图像中存在的高层概念信息

      • 场景识别的潜在应用
        • 照片自动管理
        • 图像的全面理解
      • 挑战与难点
        • 场景抽象性
        • 类内差异性
        • 类内物体分布多样性
        • 类间相似性
      • 作者的一些工作
        • 直接贴图,有时间再阅读完善
        • 一个不错的思想:利用物体关系进行场景识别
          • 场景内的物体分布可辅助场景识别(新增OOR module, object-object relations)
          • 物体间的共生会混淆场景识别
          • RGB-D的图像数据能更好的表示物体的空间信息
        • 基于空间关系建模的场景识别框架
          • 多种空间关系定义:物体间方向、距离、尺寸的关系
          • 多种空间关系建模:COOR(空间关系特征矩阵建模),SOOR(基于物体与空间关系的图题描述)
          • 具体结构见一张图片
    7. 利用物体上下文信息的语言描述

      • 图片
    8. 基于场景图谱的图像内容描述

      • 图片
    9. 图像共同物体检测

      • 图片
      • 2D image中对一个关于物体的定义:
        • 有一个清晰的闭合曲线边界
        • 与周围有不同的外观
        • 在该物体定义的区域内是突出显著的
      • 物体的概念体系:
        • 类别概念分为:高层,中层(通用物体检测,object detection),实例层
    10. 总结:

      • 物体关系:同一张图像内部不同物体的关系,不同图像之间的物体间关系
      • 利用物体关系来辅助计算机视觉相关任务:场景识别、图像搜索、语言描述、共同物体检测
    11. 一些图片

    3.2 Towards X visual reasoning (hanwang zhang, NTU)

  • 相关阅读:
    分布式MySQL数据库TDSQL架构分析
    Vector Clock理解
    MySQL Full Join的实现
    HDU4309-Seikimatsu Occult Tonneru(最大流)
    UVA 10831
    jdk并发包 CopyOnWriteArrayList源代码分析
    Android源代码下载之《Android新闻client源代码》
    [背景分离] 识别移动物体基于高斯混合 MOG
    我与京东的那些事儿
    Android4.4 Framework分析——Zygote进程的启动过程
  • 原文地址:https://www.cnblogs.com/LS1314/p/10885093.html
Copyright © 2020-2023  润新知