深度学习基础课:课程介绍
大家好~我开设了“深度学习基础班”的线上课程,带领同学从0开始学习全连接和卷积神经网络,进行数学推导,并且实现可以运行的Demo程序
线上课程资料:
本节课录像回放
扫码加QQ群,获得ppt等资料,与群主交流讨论:
本系列文章为线上课程的复盘,每上完一节课就会同步发布对应的文章
本文为第一节课:课程介绍的复盘文章
本课程系列文章可进入索引查看:
深度学习基础课系列文章索引
为什么要学习深度学习?
我主要关注在图形学中的应用,在“深度学习和图形学渲染的结合和应用” 中总结了深度学习在图形学中的部分应用。
具体来说应用包括下面几个方面:
- 降噪
如上图所示,左边为路径追踪生成的有噪点的场景图片,右边为经过深度学习降噪后的清晰图片
降噪主要使用深度学习中的卷积神经网络,这也是本课程会重点学习的
在最新的论文中,已经实现了10ms降噪,从而可以用在实时渲染的全局光照中了!
- 神经渲染
具体说就是2D图片转成3D场景
比如谷歌之前发布的3D地图,就是使用了该技术。它先从多个角度拍摄街道,然后通过深度学习中的NeRF将其转换为可从任意视角观看的3D模型
- 语义图像合成
深度学习通过GAN网络,可以将“我的世界”这种体素构成的3D场景,转换为三角面构成的3D场景,从而可以实现玩家在游戏中既可以像我的世界那样,通过操作体素的方式自定义世界,又可以切换到真实渲染模式(三角面组成的3D场景)查看渲染精美的3D场景
- 辐照度缓存
在Real-time Neural Radiance Caching for Path Tracing论文中,提出了使用深度学习实现辐照度缓存,从而加快路径追踪的渲染速度
- 高清分辨率的纹理
在NeuMIP: Multi-Resolution Neural Materials论文中,提出了使用深度学习实现高清分辨率的纹理
技术栈
- Rescript
Rescript以前叫Reasonml,它跟Typescript类似,都属于编译到Javascript的语言
Rescript是从Ocaml而来,基于函数式编程范式,高度优化了编译后的Javascript,性能非常好,非常适合像深度学习这种处理数据的场景
Rescript的学习资料为:
官方文档
课程特色
- 零基础上手学习
- 从0开始
- 进行数学推导
- 实现可以运行的Demo程序
学员收益
- 掌握深度学习的数学推导
- 获得深度学习的实战经验
- 了解深度学习在图形学中的应用
课程大纲
本课程从0开始,不使用任何框架,重点学习在“图像识别”、“降噪”领域的应用
课程内容包括:
- 课程介绍
- 实现“判断性别”Demo
- 推导前向传播和梯度下降
- 基于全连接层实现“识别手写数字”Demo
- 基于卷积神经网络实现“判断性别”Demo
- 基于卷积神经网络实现“识别手写数字”Demo
- 实现优化算法
- 实现LeNet
- 实现AlexNet
- 实现图像识别Demo
- 实现多个Backend
- 基于卷积神经网络实现“降噪”Demo