Pix2Pix深度学习模型生成夜间可见光图像(AI-VIS)开发日志

我不是Carl2

2024/01/28

数据集/输入波段扩充：

1. 损失函数和模型架构保持不变，主要在模型训练集上做出改变
2. 原先只使用H8机动观测区，现在尝试加入圆盘图中与机动观测区等大小的切片作为训练集，将有助于改善南半球，高纬地区的模拟效果
3. 在太阳天顶角/方位角之外，再加入卫星天顶角/方位角，将有助于改善南半球/扫描边缘/太阳直接反射高光/陆地反射率的模拟。（可能造成的负面影响是模型更难迁移到其他卫星上，不然有可能在错误的区域上模拟出陆地）
4. 加入Band03陆地底图，希望模型能借助这个通道模拟陆地而不是靠卫星天顶角/方位角硬拟合。

Band03底图做好了，合成时参考了风羽酱的陆地底图方案，效果应该比Bluemarble更好

看得出来之前的归一化范围稍微有点小，图一为Band11-15差分图二为Band13-16差分，青色与红色区域均为超出归一化范围的亮温


新的训练集组成，五张图分别为
1）Band03
2）Band13-08差分+Band13-09差分+太阳天顶角
3）Band13-10差分+Band11-15差分+Band13-16差分
4）Band13+Band13-15差分+太阳方位角
5）卫星方位角+卫星天顶角+陆地底图
一共1+12个通道


15 epoch预览
从第15个epoch开始转到了4090上跑 速度*5

总体上还有很长的一段路，但是硬件好用跑得快就没啥好担心的
总体上新平台经过长时间炼丹测试发现没有稳定性问题，温度控制的也很好
说明我的风道设计还是很成功的
未来就是等吧，等差不多可以的时候会上架一个早期版本到dapiya的实时aivis界面，到时候会告诉大家的
（来自xiaoqianWX）


下面是一个epoch后的验证集图像
图二左侧展示了澳洲陆地的模拟效果，右侧展示了阳光直接反射高光的模拟效果。个人觉得两者的模拟都还不错（没放原图）比较符合改进的目标
不过现在模型还是很初步，后面得低学习率慢慢磨才能取得更优的模型。

我不是Carl2

2024/02/12

AMP自动混精训练：

这两天折腾了一下，把代码里的训练部分全部改成了AMP（自动混合精度）方式运算，训练速度大幅提升，显存占用大幅下降（体现为训练时长缩到了一小时以内，显存占用减少45%）。改成AMP之后测试了几个epoch，没有发现明显的异常。（debug实在是太痛苦了，测试了将近三四个小时才发现一些潜在的问题

（来自大水台6）

我不是Carl2

2024/02/17

https://www.bilibili.com/video/BV122421c7nV
用今天下午的数据做了一个小demo
其实做这个能看到一个很大的亮点：好的多的连贯性和稳定性
以前的模型在画面位置变化和天顶角变化下会有较明显的变化，就像这个demo，因为H9的机动观测区他会抖动，在这样的条件下帧和帧之间没有可见的不连贯性
此外还可以看到模型很好的理解了光影的关系，能看到影子
此外，最近还注意到了通过改进的训练数据集使得陆地上的表现提升了很多，后面我们会放更多的demo演示

(来自xiaoqianWX）

我不是Carl2

2024/02/21

模型训练记录：

20240215的开发周期已经结束并更新到了Dapiya实时更新图源
20240221的开发周期已经开始，优化了不少方法，目前才刚刚开始还没看到太多成果

0221开发周期E38预览


0221开发周期炸炉了，根据0221开发周期收集的数据调整开始0224开发周期
快速迭代中

（来自xiaoqianWX）

我不是Carl2

2024/02/29

模型与数据集改进：



经过一段时间的研究，目前对现有模型本身和数据集做了以下改进：
1.将本贴一开始使用的模型的代码改成github上某些写论文用pix2pix框架的作者提供的源代码。经过查阅对pix2pix原理解释的相关论文和博客，发现Carl从某处（应该不需要我多说）弄下来的代码错漏百出，大面积噪点的产生（上图1）就是错误的卷积方法造成的，正常并不会出现这种状况；
2.将现有的数据集结构（12+1通道）稍作修改，将每个格点的太阳天顶角、方位角，卫星天顶角、方位角对应到图片相应的位置上（上图2、3、4，可见颜色渐变），而不是从中心算出来的值铺平到全图上（见309L），这相当于Dapiya的EVIS的做法。希望该做法能增加VIS模拟的准确性，尽量解决FLDK拼接边缘亮度不一的难题。
总结：过一两天数据集制作完成后会直接开始新一轮训练。敬请期待。

（来自大水台6）

我不是Carl2

2024/03/26

阳光直接反射区/圆盘测试：

最近在赶AI-VIS论文的大修，偶然发现验证集里面这张图
虽然提供了卫星角度和太阳角度，理论上能算出太阳glare会发生的位置，但特别高反射率的区域还是模拟不了


圆盘AI-VIS vs. 真VIS圆盘

我不是Carl2

2024/05/04

阶段性总结与展望：



回顾一下去年年底做的展望，这些方向中：
1. 已经解决，不过当时对噪斑来源的判断不正确，噪斑实际上是dropout layer数量不够导致的。
2. 已完成，目前模型在陆地，高纬区域，南半球，和其他卫星上的表现均有改善。
3. 未完成。
4. 未完成。进行过一些尝试，发现可能无法达到Diffusion的算力要求
5. 未完成。
6. 加入卫星天顶角后，能一定程度上模拟海面高光。高反射率的部分暂时模拟不了，不过也没什么模拟的必要。

新阶段的展望，大致按照时间顺序排一下：
1. 现有的CGAN AI-VIS主模型还没有过拟合，仍有一定改善空间，打算先炼到出现过拟合或验证集表现提升极其缓慢再停。
2. 尝试改进超分辨率模型，一方面是扩充训练集以包含圆盘数据，另一方面也会尝试不同框架的模型。王总这边目前正在考虑ESRGAN和lokr两类模型。
3. 有空可以试试原展望未完成的第三条。多帧云图可以化为时间差分，用几个波段10min前的图像来和现在的图像相减，不过训练集生成的逻辑得改，机动观测也得保证10分钟内定位不在飘否则用不了。
4. VIIRS的训练打算暂时搁置一下，主要有两个问题，一个是dnb受的干扰还是相比vis多一些，第二就是练完了用途比较少，只能给VIIRS无月光的半个月提供额外的AI-VIS，直接迁移到其他卫星上技术难度很大，GAN尤其是这样

我不是Carl2

2024/05/11

600epoch模型：

600epoch为止的验证集表现
SSIM 0.923
PSNR 31.4
RMSE 0.0299
CC 0.991
Bias 0.0003
各指标相比上一版均有明显提升，其中最显著的是Bias从-0.0017（AI-VIS相比VIS高反射率区略暗）提升到了0.0003（基本上没有亮度的偏差）

200epoch（前）与600epoch（后）对比，个人觉得比较明显的改善在于模型对眼内低云和眼墙阴影的理解
先前200epoch的时候中大眼的眼内低云有一种马赛克乱糊上去的感觉，这很可能是GAN训练不充分的噪声残留，此时模型主要关注着画面整体的验证指标，顾不上风眼这一点点面积。随着训练epoch数的增多，模型开始关注到风眼这样“细枝末节”的区域。600epoch时眼内低云有一种降噪了的感觉，结构变得更加清晰了，眼墙阴影也更为立体。

xiaoqianWX

2024/05/22

我先稍微留一个关于超分-NG模型开发的小笔记吧
主要是想要实现利用stable diffusion来超分的可能性，其中最重要的考量是人为在大量无监督学习下，模型可以学会TC长什么样（或者说云该长什么样），这样即使是在细节分布与实际vis不同的情况下，依然可以generalize过去，获得更好的结果
不过这个想法非常具有实验性，在理论上不太能验证效果会怎么样，所以aivis-sr-v1.1系列是一个完全实验性的产品
使用了sdxl-1.0-base作为开始，lokr算法，训练数据集为62.7k H8/9机动观测区500m图像，训练2epoch
其中aivis-sr-v1.1a只训练U-Net，aivis-sr-v1.1b同时训练text encoder，对比一下效果，同时也要考虑到如果继续把训练出来的模型当t2i去用，会发生什么
目前主要的问题是训练相关硬件存在稳定性问题，我这边在排查问题出在哪，如果需要维修则可能要过1-2周才能继续训练，不过到也没有什么好着急的

我不是Carl2

2024/06/21

正在尝试将损失函数中的SSIM loss替换为LPIPS loss，放一下训练前期的结果

第一张是旧模型，第二张是换上新损失函数仅跑了1/20epoch数的结果，虽然还欠拟合但是云顶模糊的问题解决很多了。目前对流塔效果比原先真实，CDO和眼区由于epoch数不足还有提升空间。