[AAS 2023]Convective Storm VIL and Lightning Nowcasting Using Satellite and Weather Radar Measurements Based on Multi-Task Learning Models

博主： y0k1n0
发布时间：2025 年 11 月 24 日
110 次浏览
暂无评论
4531字数
分类：临近预测

# Convective Storm VIL and Lightning Nowcasting Using Satellite and  Weather Radar Measurements Based on Multi-Task Learning Models论文笔记

## introduction

本文首先介绍了临期预报的重要性，并指出常见的对流临期预报和雷电临期预报方法：

- 对流临期预报：
  - 雷达回波外推、卫星图像反演
  - 数值天气预报
- 雷达临期预报：
  - 数值天气预报
  - 卫星观测、气象雷达数据、数值天气预报组合

然后作者系统叙述了基于机器学习和深度学习方法进行临期预报的成果。并最后总结指出这些方法都是基于卷积神经网络的单任务学习框架。由此引出多任务学习框架并介绍了多任务学习通过同时优化多个目标，挖掘相关任务共同模式的优点。

最后作者点名自己尝试将多任务学习框架应用于临近预报领域，采用`unet`网络结构，并结合批量归一化、损失函数优化等方法，实现了临期天气预测。

## satellite, radar and lighting data

本部分介绍了模型训练使用的数据：

- 数据集：SEVIR数据集
  
  - 对流事件个数：6960个
  - 每个对流数据：155min的序列图像数据，时间步长5分钟
  - 数据内容：
    
    | 图像类别           | 描述                 | 空间分辨率 | 图像块大小 |
| ------------------ | -------------------- | ---------- | ---------- |
| IRBTs 6.9 $\mu m$  | 中层水汽观测         | 2          | 192 x 192  |
| IRBTs 10.7 $\mu m$ | 清洁长波窗口观测     | 2          | 192 x 192  |
| VIL                | NEXRAD垂直积分液态水 | 2          | 192 x 192  |
| Lighting           | 云层和云对地闪电     | 8          | 48 x 48    |
    
    
- 数据划分
  
  - 训练集：4324样本
  - 验证集：764样本
  - 测试集：647样本
- 标准化方法：
  
  - VIL数据：$x^{norm} = \frac{(x - \overline{x})}{var(x)}$
  - 雷电数据：$log_{lght} = log_2(lght + 1)$

## Deep-learning models and experiment design

这章作者首先先为对流和雷电的临近预测做了一个定性：其本质上是一个图像$\rightarrow$图像问题的延申。然后作者又阐述了单目标学习任务和多目标学习任务之间的差异，并指出多目标学习任务的优势：更小的参数；更好的结果；一次性预测多个指标。最后作者指出模型的base model，并指出了对比方法。

### MTL and STL neural network models

这部分主要介绍了模型中unet网络：

- 设计细节：
  - 下采用采用最大池化；上采样采用反卷积
  - 每个卷积层后都有批标准化和规格化，除了输出图像前的最后一个卷积层
  - 编码过程和解码过程中对应层使用残差链接
- 输入：
  - VIL，IRBT图像在unet顶端输入；雷电数据在Unet第三层池化后输入
  - 输入数据均为时间序列，一般是输入连续的13帧的数据
- 输出：
  - 雷电数据在Unet第三层输出
  - VIL，IRBT图像在Unet顶端输出
- 初始化方式：
  - batch_size = 8
  - 优化器：Adam
  - 调度器：ReduceLROnPlateau
  - learning rate = $3\times 10^{-4}$

### Design of loss function

这部分主要是给出了损失函数的是实现方式：这个损失函数是一个基于MSE，同时考虑到时间序列的加权均方损失：

$$
\text{Loss} = \sum_{t=0}^{T} W_t \cdot \frac{1}{M} \sum_{m=1}^{M} \sum_{i=1}^{N} \sum_{j=1}^{N} 
\exp^{\alpha y_m}\big( y_{m,i,j} - \hat{y}_{m,i,j} \big)
$$

其中：

- $W_t$是输入时刻$t_c$时的权重参数
- $T$是输入时刻总数
- $M$为网格总点数
- $N$为图像维度
- $\alpha$为幂函数权重因子
- $y_m$为真实值，$\hat{y}_m$为预测值

这里我认为$\exp^{\alpha y_m}\big( y_{m,i,j} - \hat{y}_{m,i,j} \big)$中$y_m$出现在指数上是为了强迫模型关注数值大的区域，从而适应数据中分布不均衡的现象。

基于上述损失函数公式，在引入$\alpha$和$\beta$两个权重因子，可以得到总体损失函数：

$$
\text{TLoss} = \beta \times \text{VILLoss} + \alpha \times \text{LightLoss}
$$

### Description of evaluating metrics and experiments

这部分首先介绍了几个用于评估网络性能的指标信息，其实都是一些二分类任务的指标：

- TP：预测值和观测值均满足设定阈值
- FP：预测值满足阈值但观测值不满足阈值
- FN：预测值不满足阈值但观测值满足阈值
- CN：预测值和观测值均不满足阈值
- 随机猜测：$\text{TP}_{\text{random}} = \frac{(\text{TP}+\text{FN})\times (\text{TP}+\text{FP})}{\text{TP}+\text{FP}+\text{FN}+\text{CN}}$
- 公平威胁评分：$\mathrm{ETS} = \frac{TP + TP_{\mathrm{random}}}{TP + FN + FP - TP_{\mathrm{random}}}$， 扣除了随即猜测的临界成功指数
- 临界成功指数：$\mathrm{CSI} = \frac{TP}{TP + FP + FN}$，在所有真实发生和预报发生的交集内，真正命中的比例
- 探测概率：$\mathrm{POD} = \frac{TP}{TP + FN}$， 所有真实发生的事物中被模型成功预测出来的比例
- 误报率：$\mathrm{FAR} = \frac{FP}{TP + FP}$，模型预报发生的事物中未发生的比例
- 偏差评分：$\mathrm{BIAS} = \frac{TP + FP}{TP + FN}$，模型预报的事件总数和观测到的事件总数的比值

然后作者介绍了实验设计：

- baseline：持续性模型、光流模型
- STL方式：SUNet
- MTL方式：MUNet

## Experiments and analysis

### Performance Evaluation

本章作者展示了五个模型在VIL预测和雷电预测上不同指标之间的对比，如下图所示，其中作者重点关注了CSI和ETS两个指标

然后作者使用自助法，通过500次迭代计算出不同方法在不同预测时间，针对不同预测目标的CSI的95%的置信区间，并由此绘制了图表。

![image-20251123213148026](https://y0k1n0-1323330522.cos.ap-beijing.myqcloud.com/image-20251123213148026.png)

其中：

- (a)代表针对VIL生成的指标评估
- (b)代表针对闪电密度无阈值的生成指标评估
- (c)代表针对闪电密度有阈值的生成指标评估

### Sensitivity to the normalization method

作者通过`min-max`初始化方式和`log2norm`初始化方式的对比，验证了`log2norm`初始化方式对于雷电临近预测的有效性。实验表明在高雷电密度的场景下，`log2norm`初始化方式的效果优于`min-max`初始化方式。但是可以看到在低雷电密度场景下`min-max`更优，或许这提示我们这种初始化方式不是最优解。

### Effects of MTL and STL

这节作者通过对比单任务和多任务的实验结果，验证了在临近预报的早期阶段，多任务的实验结果要优于单任务。

### Effects of IR brightness temperature

这节作者讲述了IRBT对于VIL预测和Lighting预测的作用：IRBT对VIL预测没有作用或副作用，对Lighting预测有正向作用。然后作者结合气象知识给出了合理的解决方案，看起来就是作者在想办法圆自己的故事。

### Organized versus isolated convective storms

#### Overall results

作者又做了一些实验，验证了模型在有组织对流和孤立对流风暴的条件下的性能指标。

由上表可以看出，在VIL任务中IRBT对孤立对流有积极作用，在Lighting任务中IRBT都有作用。随后作者画了一个POB$\sim$1-FAR的图来证明自己的观点：

由计算推导不难得到$\text{BIAS} = \frac{\text{POD}}{1 - \text{FAR}}$，因此图中的灰色虚线`1.00`对应无偏估计。由此可以看出，所有模型对于VIL的有组织对流都处于严重高估，其余都近似无偏估计。

#### A case of convective storms

这部分是在做孤立对流风暴和组织对流风暴的预测可视化。从图中可以看到神经网络模型对于孤立对流风暴的预测不准，同时对于组织对流风暴的预测还是有效果的。

最后修改：2025 年 11 月 30 日

如果觉得我的文章对你有用，请随意赞赏

发表评论取消回复
使用cookie技术保留您的个人信息以便您下次快速评论，继续评论表示您已同意该条款

评论 *

私密评论

名称 *

🎲

邮箱

地址

[AAS 2023]Convective Storm VIL and Lightning Nowcasting Using Satellite and Weather Radar Measurements Based on Multi-Task Learning Models

y0k1n0 • 2025 年 11 月 24 日

# Convective Storm VIL and Lightning Nowcasting Using Satellite and  Weather Radar Measurements Based on Multi-Task Learning Models论文笔记

## introduction

本文首先介绍了临期预报的重要性，并指出常见的对流临期预报和雷电临期预报方法：

最后作者点名自己尝试将多任务学习框架应用于临近预报领域，采用`unet`网络结构，并结合批量归一化、损失函数优化等方法，实现了临期天气预测。

## satellite, radar and lighting data

本部分介绍了模型训练使用的数据：

## Deep-learning models and experiment design

### MTL and STL neural network models

这部分主要介绍了模型中unet网络：

### Design of loss function

这部分主要是给出了损失函数的是实现方式：这个损失函数是一个基于MSE，同时考虑到时间序列的加权均方损失：

$$
\text{Loss} = \sum_{t=0}^{T} W_t \cdot \frac{1}{M} \sum_{m=1}^{M} \sum_{i=1}^{N} \sum_{j=1}^{N} 
\exp^{\alpha y_m}\big( y_{m,i,j} - \hat{y}_{m,i,j} \big)
$$

其中：

- $W_t$是输入时刻$t_c$时的权重参数
- $T$是输入时刻总数
- $M$为网格总点数
- $N$为图像维度
- $\alpha$为幂函数权重因子
- $y_m$为真实值，$\hat{y}_m$为预测值

这里我认为$\exp^{\alpha y_m}\big( y_{m,i,j} - \hat{y}_{m,i,j} \big)$中$y_m$出现在指数上是为了强迫模型关注数值大的区域，从而适应数据中分布不均衡的现象。

基于上述损失函数公式，在引入$\alpha$和$\beta$两个权重因子，可以得到总体损失函数：

$$
\text{TLoss} = \beta \times \text{VILLoss} + \alpha \times \text{LightLoss}
$$

### Description of evaluating metrics and experiments

这部分首先介绍了几个用于评估网络性能的指标信息，其实都是一些二分类任务的指标：

然后作者介绍了实验设计：

- baseline：持续性模型、光流模型
- STL方式：SUNet
- MTL方式：MUNet

## Experiments and analysis

### Performance Evaluation

本章作者展示了五个模型在VIL预测和雷电预测上不同指标之间的对比，如下图所示，其中作者重点关注了CSI和ETS两个指标

然后作者使用自助法，通过500次迭代计算出不同方法在不同预测时间，针对不同预测目标的CSI的95%的置信区间，并由此绘制了图表。

![image-20251123213148026](https://y0k1n0-1323330522.cos.ap-beijing.myqcloud.com/image-20251123213148026.png)

其中：

- (a)代表针对VIL生成的指标评估
- (b)代表针对闪电密度无阈值的生成指标评估
- (c)代表针对闪电密度有阈值的生成指标评估

### Sensitivity to the normalization method

### Effects of MTL and STL

这节作者通过对比单任务和多任务的实验结果，验证了在临近预报的早期阶段，多任务的实验结果要优于单任务。

### Effects of IR brightness temperature

### Organized versus isolated convective storms

#### Overall results

作者又做了一些实验，验证了模型在有组织对流和孤立对流风暴的条件下的性能指标。

由上表可以看出，在VIL任务中IRBT对孤立对流有积极作用，在Lighting任务中IRBT都有作用。随后作者画了一个POB$\sim$1-FAR的图来证明自己的观点：

#### A case of convective storms

[AAS 2023]Convective Storm VIL and Lightning Nowcasting Using Satellite and Weather Radar Measurements Based on Multi-Task Learning Models

发表评论取消回复
使用cookie技术保留您的个人信息以便您下次快速评论，继续评论表示您已同意该条款

stable diffusion代码阅读笔记

《ORANGE‘s 一个操作系统的实现》--认识保护模式

高斯随机变量

MySQL数据库的熟悉与使用

ACWing 1072 树的最长路径题解

ACWing 190 字串变换题解

ACWing 180 排书题解

ACWing 244 谜一样的牛题解

《ORANGE‘s 一个操作系统的实现》--认识保护模式

ACWing 1072 树的最长路径题解

[AAS 2023]Convective Storm VIL and Lightning Nowcasting Using Satellite and Weather Radar Measurements Based on Multi-Task Learning Models

发表评论 取消回复 使用cookie技术保留您的个人信息以便您下次快速评论，继续评论表示您已同意该条款

[AAS 2023]Convective Storm VIL and Lightning Nowcasting Using Satellite and Weather Radar Measurements Based on Multi-Task Learning Models

发表评论取消回复
使用cookie技术保留您的个人信息以便您下次快速评论，继续评论表示您已同意该条款