2020年的这篇文章思路感觉是更有效的：
Learning with Privileged Information for Efficient Image Super-Resolution (ECCV 2020)
https://cvlab.yonsei.ac.kr/projects/PISR/
第一步： 训练encoder退化 HR -> LR', 然后 decoder 恢复 LR' -> HR'
第二步： decoder部分即为我们的SR网络，继承第一步训练的decoder的参数作为初始参数
第三步： 用退化的 LR' 跑decoder 和 LR 跑decoder, LR'部分的feature蒸馏LR部分的feature.
为什么可行， 因为 HR 退化的 LR' 必然包含更多 LR 不具有的恢复更像 HR 的信息，蒸馏这部分差异，可以让 decoder 更有目的的学。
feature loss部分的话加了一个 MLP 作为缓冲