AceCAST 5の新機能と変更点
AceCAST 5は現在ご利用いただけます。変更点は、WRF 4.8、四つの物理更新、四つの新しいモデル出力です。
評価していない予報は、値付けも、調整も、信頼もできません。よく使われるスコアを平易な言葉で説明し、陥りやすい落とし穴と、誠実な報告の公開事例を一つ紹介します。

予報検証とは、実際に起きたことと照らして予報を評価する作業です。予報チームのリーダーは、新しいモデル設定が改善になっているかどうかをこれで確かめ、購入者はベンダーの予報の価値を知り、運用責任者は明日の数値をどこまで信頼するかを決めます。このガイドでは、何と比較するか、よく使われるスコアの平易な説明、実力以上に良く見える結果を生む落とし穴、そして限界を添えて報告された結果の公開事例を一つ取り上げます。
完全な真値となる基準はありません。どの基準にも、強みと死角があります。
どの基準を使う場合でも、ベースラインも評価してください。持続予報(現在の状態から変化しないとする予報)、気候値、あるいはNOAAの毎時実行の米国予報モデルであるHRRRのような公開予報です。予報が費用に見合うのは、それがなくても得られたものを上回る場合だけです。
誤差が+2、−1、+3、−2、+3 m/s(予報値から観測値を引いた値)だった、五つの風予報を考えます。計算を示すために作った架空の数値です。
拠点での雷雨や、風車のカットアウト風速を超える風のような事象については、適中、見逃し、空振りを数えます。たとえば、雷雨が20日について予報され、そのうち12日で実際に発生し、さらに予報のない雷雨が3回発生したとします(これも架空の数値です)。
この二つは一緒に報告してください。毎日雷雨を予報すれば、捕捉率は満点になりますが、空振り率は使いものにならない値になります。より詳しい定義は、WMOの世界天気研究計画(World Weather Research Programme)のもとにある作業部会、Joint Working Group on Forecast Verification Researchが管理する手法ガイドにあります。METplusは、Developmental Testbed CenterがNCARおよびNOAAとともに提供している、公開の検証フレームワークです。
モデルの値は、格子のマス目全体の平均です。一方、観測機器が測るのは一地点です。一つのマス目に、尾根と谷の両方が入ることがあります。高さも重要です。高さ10 mの風速計からは、高さ80 mの風についてほとんど何もわかりません。「誤差」の一部は予報のせいではなく、この不一致によるものです。
高解像度モデルは、輪郭のはっきりした雷雨を描きます。その雷雨の位置が20 kmずれていたり、1時間遅れていたりすると、地点ごとのスコアでは、実際に雷雨があった場所で見逃し、予報した場所で空振りと数えられます。惜しい外れ一つに対して、ペナルティが二つ課されるわけです。位置や時刻をはっきり示さない、滑らかで粗い予報のほうが、有用性は低いのにスコアは良くなることがあります。空間的な近傍や時間的な幅を許容するスコアを使えば、輪郭のはっきりした予報をより公平に扱えます。
劇的な事例が一つあっても、何の証明にもなりません。結果を見る前に、期間、対象地点、スコアを決めておきます。そのうえで、すべての事例、サンプル数、ベースライン、うまくいかなかった点を報告します。
TempoQuestが運営する気象インテリジェンスプラットフォームであるAeravaは、風の比較結果を公開しています。その構成要素は、上のチェック項目に対応しています。
Aeravaは、まだ評価していないものも明らかにしています。雷雨予報はまだスコア評価が行われておらず、ひょうの大きさは実験的な参考情報です。1か所での12夜は小さなサンプルであり、この記述も、その12夜を超えることは何も主張していません。これこそ、TempoQuestを含むあらゆるベンダーに求めるべき形です。サンプル、基準、ベースライン、うまくいかなかった点、そしてまだ評価されていないものを示すことです。
TempoQuestは、気象予報の検証を改善することを目的としたForecast Verification Tool(FVT)を開発中です。このガイドで取り上げたスコアと落とし穴は一般的な実務であり、FVTの説明ではありません。

AceCAST 5は現在ご利用いただけます。変更点は、WRF 4.8、四つの物理更新、四つの新しいモデル出力です。

Aeravaは、ピンで指定した拠点の周辺で気象モデルを実行し、その結果を、ご自身で設定した雷雨、風、風車カットアウトのしきい値と照合します。現在実行できる予報、その料金、そして精度についてAeravaが述べていることを紹介します。

2023年に公開された一つのベンチマークと、Azureの二つの定価をもとに、一行ずつ計算します。GPU VMのコストをCPU VM 1台および16台と比べるとどうなるか、そしてこの計算に含まれていないものは何かを示します。
お客様の予報
その予報がどのような判断に使われるのかをお聞かせください。短いフォームひとつで担当チームに届き、すべてのお問い合わせを確認します。