Zero-shot Detection & Segmentation

ゼロ学習物体検出・個体領域抽出

プロンプトで検出を始め、アノテーション済み画像で対象に合わせて調整する

プロンプトで、探したいものを見つける

画像の中から見つけたいものを、英語の言葉で指定する。その言葉（プロンプト）を手がかりに、対象の位置や形を見つけるAIが、ゼロ学習物体検出・ゼロ学習個体領域抽出です。検査対象の学習画像やアノテーションを用意する前から、検出を始められます。

たとえば、下の画像では麺の上にあるエビを見つけています。位置を四角い枠で示すのが「物体検出」、一つひとつの形を輪郭に沿って取り出すのが「個体領域抽出」です。位置や個数を知りたいのか、面積まで測りたいのかに合わせて使い分けられます。

指定した対象を矩形で見つけます。画像の中で対象がどこにあるかを、四角い枠で取り出す方式です。

対象の位置や個数を確認したいときに使います。矩形には背景も含まれるため、その面積は対象そのものの面積とは異なります。

指定した対象の個体ごとの領域を取り出します。矩形で位置を示すだけでなく、対象が占める領域を個別に扱える方式です。

重なった対象や入れ子になった対象も個体ごとに分けて扱えるので、個数と面積の両方を測りたい検査に使えます。

ゼロ学習物体検出・ゼロ学習個体領域抽出のどちらも、まずはプロンプトで対象を指定して試し、必要に応じて画像で追加学習する流れで使えます。

探したい対象を英語の名詞で入力します。事前の画像学習なしで、物体検出なら矩形、領域抽出なら個体ごとの領域として検出結果を確認できます。

検査対象に合わせて調整したい場合は、アノテーションを付けた画像でファインチューニングできます。画像上のどこを検出したいかを教え、対象に合わせてAIを追加学習します。

ファインチューニング後の結果を確認し、検査で必要な位置や領域を取り出せているかを確かめます。まずはプロンプトだけで検出を始め、必要に応じて画像による調整を加えられます。