1. 论坛上有个兄弟写个的ToonShaderModel，可以参考ShaderModel
https://github.com/EpicGames/UnrealEngine/pull/1552/files
2. 自定义渲染模型
http://blog.felixkate.net/2016/05/22/adding-a-custom-shading-model-1/
3. 创建自定义GBuffer
https://forums.unrealengine.com/showthread.php?27766-Odessey-Creating-my-own-G-Buffer-in-UE4&highlight=custom+sceneTexture
4. 如何在材质编辑器创建新的材质节点
http://blog.csdn.net/pizi0475/article/details/48374221
以上教程我都没有尝试过，（Ue4仅为个人爱好，没有太多时间研究过于深入且没有实际生产意义的东西）
注意：以上教程都需要修改源代码，且需要对引擎的渲染流程有点了解。