下表中标黄的课程是本篇日记中将重点介绍的对象。
Current offerings list.
| 15-462 | Spring 2010, Fall 2009, Spring 2009, Fall 2008, Spring 2008, Fall 2007, Spring 2007, Fall 2006, Spring 2006, Fall 2005, Spring 2005, Fall 2004, Spring 2004, Fall 2003, Spring 2003, Fall 2002 | |
| 15-463 | Spring 2010, Fall 2008, Fall 2007, Fall 2006, Fall 2005, Fall 2004 | |
| 15-465 | Spring 2010, Spring 2009, Spring 2008, Spring 2007, Spring 2006, Spring 2005, Fall 2003, Spring 2003 | |
| 15 | Spring 2010 | |
| 15-464 | ||
| 15-466 | Fall 2009, Spring 2008, Spring 2007, Spring 2005, Spring 2004, Fall 2002 | |
| 15-869B | Spring 2009, Fall 2006, Fall 2004 | |
| 16-421 | Spring 2009, Spring 2008 | |
| 16-721 | ||
| 15-869 | ||
| 16-823 | ||
| 15 | ||
| 15-467 | ||
| 15-864 | ||
| 16-721 | ||
| 15-863 | ||
| 15-869 |
Computer Graphics I
概要
本课程对计算机图形学建模，动画和渲染进行了全面地介绍。内容包括基本的图像处理，几何变换，曲线曲面的几何建模，动画，三维浏览，可视化算法，着色和光线追踪。
综览
1） 预备知识
这门课程的编程作业将用C + +来实现，并要求涉及矩阵，向量等数学知识。因此具备以下课程知识是必需的：
1、 计算机系统导论、电气工程数学原理，或是
2、 矩阵代数与三维微积分。
2） 教材
本课程需要两本教材：
1、计算机图形学原理第二版，雪莉，彼得等人著
2、OpenGL编程指南第六版
3）作业与评分标准
本课程包括4个编程作业，两次书面作业和期中期末考试，最终得分将由以下部分组成：
- (5%) 作业1
- (5%) 作业2
- (12%) 编程作业1
- (12%) 编程作业2
- (18%) 编程作业3
- (18%) 编程作业4
- (13%) 期中考试
- (17%) 期末考试
课程提纲
1） 第一章：导论与基础数学
1、 第一课：简介
阅读材料：OpenGL编程指南第一章（OpenGL简介），第二章（状态管理和绘制几何物体）
2、 第二课：OpenGL第一讲（基本知识和光照）
阅读材料：OpenGL编程指南第3-6章
3、 第三课：OpenGL第二讲（图形变换和编程作业1）
阅读材料：计算机图形学原理第2章
编程作业：实现OpenGL中基本的相机变换和光照功能，绘制一张拥有两种基本图形（球与三角形）的场景并使用三角风格绘制一张水面。
4、 第四课：图形学的数学基础
阅读材料：计算机图形学原理第6章
5、 第五课：图形变换
阅读材料：计算机图形学原理第7章
6、 视窗与投影变换
阅读材料：OpenGL编程指南第9章
2） 第二章：光照
1、 第七课：纹理映射
书面作业1
阅读材料：计算机图形学原理第9章
2、第八课：着色
阅读材料：计算机图形学原理第17章
2、 第九课：高级纹理映射、GLSL（图形硬件编程）
编程作业2：实现OpenGL的纹理映射并使用GLSL语言实现凹凸纹理映射，环境映射，菲涅尔效应
阅读材料：计算机图形学原理第15章
3） 第三章：几何图形
1、 第十课：曲线与样条
阅读材料：计算机图形学原理第13章
2、 第十一课：多边形风格和隐式曲面
阅读材料：计算机图形学原理第10章
4） 第四章：光线跟踪
1、第十二课：光线投射
阅读材料：本节课程笔记
2、第十三课：光线跟踪
书面作业2
3、 第十四课：空间数据结构
5） 期中考试、寒假
1、第十五课：期中复习
编程作业3：实现一个光线跟踪器
6） 间接光照
1、第十六课：辐射度
阅读材料：本节课程笔记
2、第十七课：光子映射
7） 动画
1、第十八课：动画、动作捕捉、关键帧
2、第十九课：差分方程
3、第二十课：粒子系统
4、第二十一课：布料与隐式积分
5、第二十二课：流体
阅读材料：本节课程笔记
8） 图像处理
1、第二十三课：图像处理
编程作业4：使用光子映射算法实现焦散现象
2、第二十四课：基于图像的渲染
9） 高级课题
1、第二十五课：学术讲座1
2、第二十六课：学术讲座2
3、第二十七课：非真实感渲染与可视化
4、第二十八课：期末复习
10） 期末考试
Learning-based methods in Computer Vision
综览
人类的视觉是最奇特的装置之一。从分散的，有噪声的，模糊的局部场景中通过大脑的处理就可以产生全局的视觉体验。但为何一任务——尽管人类做起来似乎毫不费力——对计算机来说却依然是个极为困难的工作？一部分答案在于人类有着多年的依靠视觉的经验，而计算机却没有。显然，基于学习的方法可以在这个问题的解决上取得进展。试图使用机器学习的工具来直接处理原始视觉数据的方法取得了很大的成功。
这个研究生课程研讨会的目的是对计算机视觉问题有更深入的理解，以便更好地使用基于数据和学习的方法来解决问题。重点将是视觉数据的表示方法，而不是走马观花地学习技术。我们将遍历视觉处理的所有阶段，从低级别的（颜色，纹理，局部贴片）到高级别的（目标识别，整体对象识别）。我们将特别关注于中等级别的计算机视觉（组合，分割，数字/地面，场景布局，图像解析）——一个关键但常常被忽视的地方。本课程将着重使用大量真实的数据（图像，视频，文字批注，其他元数据）。我们还将讨论怎样正确地选择数据以及如何才能获得这些数据等较难的问题。
本课程将就多方面的课题进行阅读和展示一系列经典或最新的论文。所有学生将需要对每一篇论文提交一份书面总结。此外，本课程还将要做两个大项目。
项目
·语义机器视觉
·PASCAL目标识别
进度表
1、 简介，视觉：度量与感知
2、 概述视觉理论的论文
Cavanagh, P. (1995) Vision is getting easier every day
Optional reading: Nakayama, K. (1998) Vision fin-de-siecle - a reductionistic explanation of perception for the 21st century?
3、 概述视觉生理学的论文
相关论文：
Adelson, E.H. & Bergen, J.R. (1991) The Plenoptic Function and the Elements of Early Vision
4、 概率边界
相关论文：
D. Martin, C. Fowlkes, and J. Malik. PAMI May 2004.
Learning to Detect Natural Image Boundaries Using Local Brightness, Color, and Texture Cues
M. Maire, P. Arbelaez, C. Fowlkes, and J. Malik. CVPR 2008.
Using Contours to Detect and Localize Junctions in Natural Images
5、 概率边界（续）
6、 什么情况下目标或场景识别只是纹理识别？
相关论文：
Renninger, L.W. & Malik, J. Vision Research 2004. When is scene recognition just texture recognition?
Csurka, G., Bray, C., Dance, C., and Fan, L. ECCV 2004. Visual categorization with bags of keypoints
Winn, J., Criminisi, A. and Minka, T. ICCV 2005.Object Categorization by Learned Universal Visual Dictionary
7、 纹元爆炸
相关论文：
TextonBoost: Joint Appearance, Shape and Context Modeling for Multi-Class Object Recognition and Segmentation.
J. Shotton, J. Winn, C. Rother, A. Criminisi. In Proc. ECCV 2006.
8、 Semantic Texton Forests（语义纹元森林？）
目标对象简介，几何体与外观
相关论文
Semantic Texton Forests for Image Categorization and Segmentation.
J. Shotton, M. Johnson, R. Cipolla. In Proc. IEEE CVPR 2008.
Semantic Texton Forests implementation
Object Recognition in the Geometric Era: a Retrospective. J. Mundy. 2006.
大规模场景配对
10、外观生成外观：滑动窗口，星座模型，图案结构等。
11、局部目标识别
相关论文：
A Discriminatively Trained, Multiscale, Deformable Part Model
P. Felzenszwalb, D. McAllester, D. Ramanan, In Proc. IEEE CVPR 2008.
12、简介基于上下文的方法
13、揭示视觉中枢的基本原理
14、相关论文：
Object Recognition by Scene Alignment
B. C. Russell, A. Torralba, C. Liu, R. Fergus, W. T. Freeman In NIPS, 2007.
code for gist descriptor
SIFT flow: dense correspondence across different scenes
C. Liu, J. Yuen, A. Torralba, J. Sivic, and W. T. Freeman. ECCV, 2008.
15、相关论文：
Contextual priming for object detection
A. Torralba. IJCV, Vol. 53(2), 169-191, 2003.
Object detection and localization using local and global features
K. Murphy, A. Torralba, D. Eaton, W. T. Freeman. Sicily workshop on object recognition, 2005.
16、图像拆分简介
相关论文：
Objects in Context
Andrew Rabinovich, Andrea Vedaldi, Carolina Galleguillos, Eric Wiewiora and Serge Belongie. ICCV 2007.
Context Based Object Categorization: A Critical Survey
Carolina Galleguillos and Serge Belongie
Technical Report UCSD CS2008-0928, 2008.
17、基于上下文的方法（续）
图像拆分（续）
相关论文：
Object Categorization using Co-Ocurrence, Location and Appearance
Carolina Galleguillos, Andrew Rabinovich and Serge Belongie. CVPR 2008.
Recovering Human Body Configurations: Combining Segmentation and Recognition
G. Mori, X. Ren, A. Efros, and J. Malik. CVPR 2004.
18、图像拆分优化
相关论文：
Learning a Classification Model for Segmentation.
Xiaofeng Ren and Jitendra Malik. in ICCV 2003.
Image Segmentation by Data-Driven Markov Chain Monte Carlo.
Z. Tu and S. C. Zhu, PAMI, vol.24, no.5, pp. 657-673, May, 2002.
19、表面
相关论文：
On the semantics of a glance at a scene. Biederman, I. 1981
Recovering Surface Layout from an Image. D. Hoiem, A.A. Efros, and M. Hebert. IJCV, Vol. 75, No. 1, October 2007.
20、遮掩
相关论文：
Figure/Ground Assignment in Natural Images.
Xiaofeng Ren, Charless Fowlkes and Jitendra Malik, ECCV 2006.
Recovering Occlusion Boundaries from a Single Image.
D. Hoiem, A.N. Stein, A.A. Efros, and M. Hebert. ICCV 2007
21、深度
相关论文：
Depth estimation from image structure
A. Torralba, A. Oliva. PAMI Vol. 24(9): 1226-1238. 2003.
Depth Information by Stage Classification.
Vladimir Nedovic, Arnold W.M. Smeulders, Andre Redert and Jan-Mark Geusebroek. ICCV 2007.
Learning Depth from Single Monocular Images
Ashutosh Saxena, Sung H. Chung, Andrew Y. Ng. In NIPS 2005.
22、基于上下文的图像探索
相关论文：
Total Recall: Automatic Query Expansion with a Generative Feature Model for Object Retrieval
Chum, O. , Philbin, J. , Sivic, J. , Isard, M. and Zisserman, A. In ICCV 2007.
23、分类
相关论文：
Principles of Categorization. Eleanor Rosch
Big Book of Concepts, Chapter 3. Gregory L. Murphy.
24、推测对象属性
25、属性共享
相关论文：
Sharing visual features for multiclass and multiview object detection
A. Torralba, K. P. Murphy and W. T. Freeman PAMI. vol. 29, no. 5, pp. 854-869, May, 2007.
26、语法
相关论文：
Learning compositional models for object categories from small sample sets
J. Porway, B. Yao, and S.C. Zhu Book Chapter in Sven Dickinson et al (eds.)
Object Categorization: Computer and Human Vision Perspectives, Cambridge University Press.
A Stochastic Grammar of Images
Song-Chun Zhu and David Mumford
Foundations and Trends in Computer Graphics and Vision Vol. 2, No 4. 2007.
27、动作
相关论文：
Learning Realistic Human Actions from Movies.
Ivan Laptev, Marcin Marszalek, Cordelia Schmid and Benjamin Rozenfeld. in Proc. CVPR'08
28、不合理的有效数据和群众智慧
29、结果测试
30、项目展示1
31、项目展示2
Physics-based methods in Computer Vision
综览
每天我们都可以观察到我们周围一系列的光线和色彩的现象，有耀眼的大气的效果，复杂的表面和材质以及水下的场景。长期以来，艺术家，科学家和摄影师一直着迷于这些效果，并着重于捕捉和了解这些现象。在这个课程中，我们将采取模拟计算的方法来对这些现象进行建模和分析，我们称之为“视觉外观”。该课程上半部分侧重于视觉外观的物理原理，而该课程的下半部分侧重于算法及其在各个领域的应用，如计算机视觉，图形学，遥感以及空气中与水下成像等技术。本课程初步的理念是统一物理科学及其在影像科学的应用的一些概念。此外，课程亦包括一个摄影比赛。
主题列表
- 原理与现象
- 光度测定原理
- 光场
- 反射，折射, 偏振, 衍射,干涉
- 表面反射机制
- 反射的信号处理机制
- 纹理与 BRDFs (BTF)
- 光照和阴影
- 相互反射
- 焦散
- 散射与容积光传输
- 流体
- 算法与应用
- 光度 'Shape-from-X' 算法
- 图像与基于视觉的渲染
- 蒙特卡洛 模拟 （Monte Carlo Simulations）
- 透明, 半透明, 潮湿,起伏的表面
- 大气和水下散射作用的现象
- 流体现象——烟,火,水
- 恶劣天气现象
- 在大气，水下，医学，显微成像中的应用
- 自然摄影原则
可选教材
- Robot Vision, B. K. P. Horn, MIT Press, 1986
- Light and Color in the Outdoors, M. Minnaert.
评分标准
- 期中作业20%
- 编程作业 30%
- 考试 20%
- 摄影比赛 15%
- 论文展示 15%
课程提纲
第1周 导论
- 第一讲：简介与课程安排
- 第二讲：成像与光度学的基本原理
第2、3、4周 表面反射
- 第三讲: 表面反射的基本原理
- 第四讲: 粗糙镜面表面的BRDF模型
- 第五讲: 粗糙散射表面的BRDF 模型
- 第六讲: BRDF的测量方法
- 第七讲: 2D表面的信号处理的机制
- 第八讲: 3D表面的信号处理的机制
第5周 学生展示
第6、7周 光照，阴影与相互反射
- 第九讲: 光照与阴影 I
- 第十讲: 光照与阴影 II
- 第十一讲: 相互反射 I
- 第十二讲: 相互反射 II
第8周 学生展示
第9周 反射与折射
- 第十三讲: 反射焦散与折射焦散的基本原理
- 第十四讲: 焦散成像与绘制
第10周 光线偏振
- 第十五讲: 光线偏振的基本原理
- 第十六讲: 光线偏振在计算机视觉中的应用
第11、12周 光线散射
- 第十七讲: 光线散射的基本原理
- 第十八讲: 计算机视觉中的体积光散射
- 第十九讲: 计算机图形学中的体积光散射
第13周 流体：烟，火，水
- 第二十讲: 流体建模的基本原理
第14周 学生展示
Advanced Computer Graphics
课程描述
本课程是高级计算机图形学实践课程。它将涉及数字图像生成的各个方面：几何建模，电脑动画和渲染。本课程的目的是为计算机图形原理建立坚实的基础，并介绍最新的一些高级课题，例如，细分曲面，实时全局光照和基于物理的动画。
预备知识
之前接触过计算机图形或导师批准。具有良好的编程技能，线性代数，3维微积分的知识，和数值计算基础。
教材
课程笔记与论文。
评估方式
学期评估将基于一系列的编程与书面作业以及一次课堂测试。
课题涵盖
- 光线与物体交互
- 几何体表示；多分辨率建模
- 形变建模
- 计算机动画和基于物理的建模
- 纹理与环境映射
- 光线跟踪
- 辐射度
- 全局光照
- 高级实时绘制
课程提纲
第1讲：简介（Introduction）
第2讲：表面剖分（Subdivision surfaces）
第3讲：自学Subdivision course notes前四章（No classes (SIGGRAPH deadline)）
作业1：（Assignment #1: Subdivision Surfaces）使用half-edge数据结构并实现表面剖分算法，将剖分后的模型用OBJ文件格式存储。
第4讲：剖分总结（Subdivision Wrap-up）
第5讲：多分辨率分析（Multiresolution analysis）(MRA)、规则网格（Normal meshes）
第6讲：网格简化（Mesh Simplification）
第7讲：递进网格（Progressive Meshes）
第8 讲：网格流（Streaming Meshes）
第9讲：网格平滑（Mesh Smoothing and Fairing）
第10讲：拉普拉斯网格编辑（Laplacian Mesh Editing）
第11讲：隐式曲面（Implicit Surfaces）
第12讲：基于点的模型（Point-based Models）
作业2：薄壳（Assignment #2: Thin Shells）
第13讲：布料的建模与动画（Cloth Modeling and Animation）
第14讲：共轭梯度法（The Conjugate Gradient Method）
第15讲：Newmark积分（Newmark Integration, etc.）——子空间与多分辨率积分
第16讲：可编程图形硬件（Programmable Graphics Hardware）
第17讲：角色皮肤（Character Skinning）
第18讲：辐射度与反射率（Radiometry and Reflectance）
项目建议书（Project Proposal）
第19讲：全局照明简介（Introduction to Global Illumination）
第20讲：蒙特卡罗路径跟踪（Monte Carlo Path Tracing）
第21讲：偏蒙特卡罗方法；光子映射（Biased Monte Carlo Methods;Photon Mapping）
作业3：光子映射（Assignment #3: Photon Mapping）
第22讲：辐射度（Radiosity）
第23讲：可视化重要性（Visual Importance）
第24讲：能见度（Visibility）
第25讲：基于图像的绘制（Image-based Rendering）