AI はどうやってゴルフショットの軌跡を描くのか — Shashot のビジョンパイプライン

ゴルフショットの軌跡を動画上に描き出すのは、見た目より難しい仕事です。 ボールは小さく、速く動き、カメラのぶれや芝・空のテクスチャが小さな ピクセルをすぐ飲み込んでしまいます。それでも Shashot が 1 回の撮影で軌跡をきれいに描けるのは、ビジョンパイプラインが次の 4 段階で構成されているからです。

1. 安定化 — ぶれを補正する

動画解析はフレーム間の整合性から始まります。スマートフォンで撮影した 動画は必ず微振動を含むため、オプティカルフローと特徴点マッチングで 背景を揃えてから解析に入ります。ここが弱いとボールではなく カメラの揺れを追ってしまいます。

2. 検出 — ボール・クラブ・手を見つける

小さな白いボールを見つけるために、色・形・動きという 3 つの手掛かりを 同時に見ます。単一フレームでの検出は失敗しがちなので、複数フレームに わたる時空間情報を組み合わせて候補を絞ります。クラブと手は別の キーポイントモデルが担当します。

3. 追跡 — 候補を時間軸で繋ぐ

各フレームの候補を時間順に接続して 1 本の曲線にします。このとき物理 的制約 (ボールの速度・加速度の上限) を併用し、ノイズ由来の候補が 軌跡に紛れ込むのを防ぎます。結果としてなめらかな曲線が得られます。

4. レンダリング — 見栄えよく描く

最終的な曲線に太さ・色・残像を加えて動画に合成します。ユーザーが 選んだエフェクトフィルターに応じてスタイルが変わり、Instagram リール比率での書き出しもその場で可能です。

なぜこの構造なのか

1 つのモデルでエンドツーエンドに処理する方法もあります。しかし ゴルフ動画はボールが 1〜2 ピクセルにまで縮む区間が多く、撮影環境も ユーザーごとに大きく異なるため、各段階を分離して仮説を検証する構造 のほうが堅牢に動きます。段階ごとにユーザーが補正できるのも大きな 利点です。

まとめると、Shashot は 1 本の動画を受け取り、(安定化 → 検出 → 追跡 → レンダリング) の 4 段階を通して結果を作ります。各段階は次の段階の 仮定に依存し、すべての段階でユーザー補正の余地を残しています。 完全自動ではありませんが、速く、予測しやすい結果が得られます。