Pix2Pix深度学习模型生成夜间可见光图像(AI-VIS)开发日志

我不是Carl2

2023/10/30

扩大图片面积：

之前都是取的256*256范围，也就是四分之一多点的机动观测面积，接下来打算试试能不能炼512*512的，把整个机动观测放进去。理论上来说这会给模型添加更多的可学习内容，泛化性能可能会更好点，但是实际成效得试了才知道

训练集图像其实带着个边框...因为完全塞满了会损失一点图片细节，希望这个框不会造成啥负面影响

下午把神经网络的Unet结构加深了一层，运行起来效果挺惊喜的，跑了四个epoch就超过之前的验证集表现了。不过这也有可能是因为随着范围增大无云区增多导致统计上验证集表现转好。
当然训练过程肯定慢不少，一个epoch得跑六七分钟，batchsize也被迫缩减到15，好在gpu稳定在七十度上下没热太多。

SSMI刚好0.800

我不是Carl2

2023/11/20

8波段模型（更多红外波段）：

下一步计划是添加更多红外波段作为输入。计划中会添加Band08,09,10,11,16的波段差分，其中Band11是所有可用的波段中高云冰晶吸收最小的波段，可以改善对于稍厚高云的识别，Band08,09,10是水汽吸收波段，Band16是二氧化碳吸收波段。对这些波段取差分可以一定程度上获取云顶高度的信息，今晚试试看能不能把这些多的波段加进去。如果成功，验证指标应该能再上一个档次。

5波段的实验中，SSIM上升到了0.818，RMSE降低到了0.0642，确实有比较明显的改善。现在正在加入Band8，Band9看看有没有进一步提升。

H8/H9机动观测区数据+CGAN这个组合的试验已经接近尾声，稍作一下总结：
目前最好的一版（7波段）的验证集表现：
SSIM 0.8217
RMSE 0.0640
这个数据横向对比其他论文应该是相当不错了，SSIM方面最好的是Harder的论文中用Unet++的模型的0.86，但是那个模型缺乏夜间的泛化能力，夜晚数据放进去整张图就暗掉了，其次就是Harder论文中的CGAN，但是SSIM只有0.77，再就是Cheng论文中的0.49。排除掉缺乏夜间泛化能力的模型，我们的模型SSIM已经能排第一了。RMSE方面KMA最新一篇红波段RMSE是0.061，略优于我们的模型，其余衡量过RMSE的五六篇论文RMSE都在0.1附近，也就是说我们模型的RMSE大概能排第二，不过KMA那篇用的是圆盘图训练，其实圆盘图中边框占接近四分之一的的黑色太空面积是能拉低RMSE的，所以我们RMSE其实也是第一了（确信）
不过就具体模拟表现来说还是有不少改善空间的。目前模型对VIS的纹理的模拟已经算是很到位了，低云，积云线的模拟大部分情况下也不错，主要的问题在于较厚卷云覆盖的区域模拟效果较差，比如CDO/雨带边缘区域很多时候难以模拟出VIS的那种暗区，看不出雨带的具体结构。

我不是Carl2

2023/11/24

9波段模型（太阳高度角）：

这两天做了一个很大胆的尝试，现在我们把太阳高度角也当做一个波段输入，由于有了太阳高度角的信息，现在我们可以把白天任何时间的图片都喂给模型去训练，让它自己参悟太阳高度角和VIS图像亮度与光影的关系。这相当于将我们的训练集扩大了10倍，会明显抑制过拟合的发生，让有效的训练轮次大大增加。
稍微透露一下，这次的训练效果真的非常不错从验证指标上来说远超之前的结果了，不过现在还在继续训练，晚点再发图

左侧是AI-VIS 右侧是真VIS

现在验证集指标SSIM 0.87336 RMSE 0.04449，已经全面超越同行论文了

也不是每张验证集结果都这么完美，主要有俩问题，第一个是卷云识别不是很稳定，有些时候是识别不出来，有些时候反而识别过头了，比如下面这张moat（？）区域的卷云识别就有点过度，把moat的反射率模拟太低了。主要还是因为IR穿不太透卷云，缺乏物理信息，只能靠云的结构去猜。

另一个问题是正午附近的可见光模拟偶尔会出现光斑，不过这个问题可能随着进一步训练会消失。


这两周基本上一直在继续训练，这个模型已经训练了177个epoch了，对应200h+的训练时长（笔记本上的4060跑这么大的数据集还是挺吃力的）
现在SSIM已经达到了0.88以上，不过仍然没有过拟合，可以继续再训练一段时间。另外最近添加了另一个验证指标Pearson correlation coefficient，目前的模型能达到0.98的correlation coefficient，在这个指标上对比同类论文优势挺大的
最近也一直在花时间给这个项目写论文，但是碍于模型还没训练完毕results和discussion部分有些内容写不了，好在模型应该也快训练完了，争取两周内把初稿写出来吧

训练趋近结束了，SSIM最高达到0.886左右，其他几个统计指标分别是PSNR28.26 RMSE0.0428 Correlation Coefficient0.984 Bias-0.0016

目前模型还有一个个人认为比较明显的缺陷，4706张验证集中有24张（约0.5%）出现了如图所示的白色噪斑：

这个问题未来可能会通过降低GANloss比重训练一小段解决

我不是Carl2

2023/12/14

介绍一下本模型比较炫酷的功能手动调控模拟的太阳方位角与天顶角（注：天顶角=90-高度角），同一张IR根据输入的角度不同生成的AIVIS效果也不同
以下是今年布拉万1130Z的AIVIS

太阳天顶角35度 方位角-90度（太阳在西侧，相当于下午）

太阳天顶角35度 方位角90度（太阳在东侧，相当于上午）

太阳天顶角35度 方位角180度（太阳在南侧，相当于冬季偏高纬台风的正午）

太阳天顶角35度 方位角0度（太阳在南侧，相当于...理论上没有台风可以达成这样的天顶角与方位角组合，这得是
在南半球才行，所以最后这张光影模拟效果差一点）

太阳天顶角逐渐增加的模拟，天顶角分别为15 35 55 75度

我不是Carl2

2023/12/21

夜间的模型验证，两张分别是DNB和AI-VIS
大致看看就行，俩卫星倾角不同，会有一点视差，云的位置可能会有小的偏移
这张应该是杰拉华

我不是Carl2

2023/12/29

阶段性展望：

稍微讲一下进一步改进的可能方向
1. 减少GANloss的权重以降低噪斑发生率，这个应该是最容易实现的
2. 增加FLDK截取出的训练集，增加在陆地，高纬区域和南半球的泛用性，同时可能需要增加一些参数波段
3. 吧主xiqq今天聊的时候也提了一个改进AI-VIS的想法，把连续多帧的IR云图塞进去对应单张VIS云图，通过高低层风向的不同也可能进一步改善高低云识别
4. 试试别的训练框架，比如一些超分辨率网络或者Diffusion等
5. 针对别的卫星训练，如VIIRS可以直接支持夜间对夜间的训练，绕开昼夜温度变化的问题
6. 把受到海面高光影响的区域质量控制掉，这个应该也相对简单点
感觉除了第一第六条都要做好长时间的样子，会很费计算资源

我不是Carl2

2023/12/31

圆盘图尝试：

图一是HIMAWARI-9 FLDK，图二是GOES-18 FLDK（裁剪过）


（来自大水台6）

我不是Carl2

2024/01/05

超分辨率模型

超分辨率模型训练完成后（epoch多少我不知道），进行了投影处理
值得提醒的是，超分之后经纬度数据需要进行双线性插值，以达到类似于用BAND03重采样到500m分辨率的效果（因为我用了好几个插值方法之后发现只有双线性插值效果最接近重采样）
图一未进行超分处理，图二是超分处理后

（来自大水台6）

我不是Carl2

2024/01/17

论文今天凌晨五点多已投IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing不过从投稿到正式发表一般还有数月的时间。初次投稿没啥经验，也没法保证一定能成功发表，但总之先祝我们好运了

我不是Carl2

2024/01/26

（贴一个王总写的announcement）
AI-VIS 研究预览页面（实时更新）
https://ai-vis.dapiya.top/
https://ai-vis.dapiya.net:1234
AI-VIS是一个长期研究项目，使用静止轨道气象卫星的红外和水汽通道模拟可见光卫星云图，使得当地夜间也可以使用可见光方法进行分析
需要注意在未来的一段时间里我们将持续优化AI-VIS的模型，如果有任何更新我们会第一时间在此通知各位
如果有任何反馈和问题，欢迎各位第一时间向我们提出！