AceCAST 5:新增内容
AceCAST 5 现已推出。变化如下:WRF 4.8、四项物理方案更新和四项新增模式输出。
没有评过分的预报,您无法为它定价、调优,也无法信任它。本文用平实的语言讲解常用评分指标和常见陷阱,并给出一个如实报告结果的公开案例。

预报检验,就是对照实际发生的情况给预报评分。预报团队负责人靠它判断新的模式配置是否有改进,采购方靠它了解供应商的预报值多少钱,运营负责人靠它决定对明天的数字能信到什么程度。本指南介绍拿什么作对照、用平实语言讲解的常用评分指标、会让结果显得好看的陷阱,以及一个把结果连同其局限一并报告的公开案例。
没有哪种参照是完美的真值。每一种都有长处,也有盲区。
无论用哪种参照,都要同时给一个基线评分:持续性预报(假定此后不变)、气候态,或一种公开预报,例如 NOAA 逐小时更新的美国预报模式 HRRR。一份预报只有胜过您不用它也能得到的东西,才对得起它的成本。
假设有五次风速预报,误差分别为 +2、−1、+3、−2 和 +3 m/s(预报减观测)。这些数字是为演示算法而编的。
对于事件,例如站点出现雷暴或风速超过风机切出风速,要统计命中、漏报和空报。假设有 20 天预报了雷暴,其中 12 天雷暴确实来了,另有 3 次雷暴没有被预报到(同样是编的数字)。
这两项要一起报告。一份天天都报雷暴的预报,命中率完美,空报率却糟得毫无用处。更完整的定义见预报检验研究联合工作组(Joint Working Group on Forecast Verification Research)维护的方法指南,该工作组隶属于 WMO 的世界天气研究计划。METplus是一个公开的检验框架,由 Developmental Testbed Center 与 NCAR 和 NOAA 共同提供。
模式的值是一个网格单元上的平均值,仪器测的是一个点。一个网格单元里可以同时装下一道山脊和一条山谷。高度同样重要:10 m 处的风速计对 80 m 处的风说明不了多少。“误差”中有一部分来自这种不匹配,而不是预报本身。
高分辨率模式画出的雷暴轮廓分明。如果它把这场雷暴放偏了 20 km,或晚了一小时,逐点评分就会在雷暴实际所在处记一次漏报,在预报位置记一次空报:只差一点,却被罚两次。一份平滑、粗糙、从不明确表态的预报反而可能得分更高,用处却更小。允许空间邻域或时间窗口的评分方法,对轮廓分明的预报更公平。
一个引人注目的个例证明不了什么。在看结果之前,先把时段、站点和评分指标定下来。然后报告每一个个例、样本量、基线,以及哪些地方没有奏效。
Aerava是由 TempoQuest 运营的气象智能平台,它公布了一项风的对比结果。其各项内容与上面的清单一一对应。
Aerava 还说明了它尚未评分的内容:雷暴预报尚未评分,冰雹尺寸属于试验性参考信息。一个场站的十二个夜晚是很小的样本,而这项说明所主张的也仅限于这十二个夜晚。这正是您应当向任何供应商(包括 TempoQuest)要求的范式:样本、参照、基线、哪些失败了,以及哪些尚未评分。
TempoQuest 正在开发 Forecast Verification Tool(FVT),旨在改进天气预报的检验。本指南中的评分指标和陷阱属于通行做法,并不是对 FVT 的描述。