Project Astraについて

ホーム
アプリ関連ニュース
AI
Project Astraについて

2024年5月23日
AI

今回は先日おこなわれたGoogleの開発者会議で話題になったProject Astraについて紹介します。

これまでのAIはテキストベースのチャットボットとして使用されるのが主流でしたが、最近では音声認識や音声合成と組み合わせてAIと会話できるものも登場しています。
Project Astraはそれをさらに進化させて、カメラを通して見えているものについて会話をおこなうことができるAIです。

実際の動作は以下のYouTubeで確認することができます。

上記の動画で、スマホのカメラを通してAIと会話する様子を見ることができます。

ユーザーが「音がでるものが見えたらおしえて」というと、AIは「スピーカーが見えます」と答えます。
スピーカーのツイーターをポイントして「これはなに？」と聞くとAIがツイーターについて説明してくれます。
プログラミングをおこなっている人のPCの画面にカメラをむけて「これはなにをやってるの？」と聞くとどのような処理かを説明してくれます。
窓の外にカメラをむけて「今、どこにいる？」と聞くとカメラの画像からどの地域にいるのかを教えてくれます。
メガネをなくした場合に「メガネ、どこかで見かけた？」と聞くと、「机の上、りんごの横にありましたよ」と教えてくれます。今までにカメラ越しに見えたものについて場所を記憶しているようです。
またスマホだけではなくメガネ型のウェアリングデバイスでも同様のことがおこなえるようです。VRとARが融合したMRゴーグルの世界でも今後このようなAIが搭載されていくことになると思われます。

AIがテキストだけでなく、音声や映像にも対応して、さらに処理速度も高速化されていくと、スマホがパーソナルな秘書のようになってもっと活用できるようになりそうです。

木曜日担当：nishida