3月24日，谷歌發言人亞歷克斯・約瑟夫向The Verge證實，谷歌已開始向Gemini Live推送新的人工智能功能。這些功能使Gemini能夠“看到”用戶的屏幕內容，或通過智能手機攝像頭獲取畫面，并實時回答相關問題。

據悉，這些功能基于谷歌去年5月在2024年I/O開發者大會上展示的“阿斯特拉項目”（Project Astra）。該項目是谷歌最新的多模態AI項目，能夠本地運行在Pixel手機上，被視為對標OpenAI GPT-4o的最新模型。

谷歌表示，Project Astra可以直接解釋用戶攝像頭畫面中的物品，為用戶提供更直觀的交互體驗。此次Gemini Live新功能的推出，標志著谷歌在多模態AI領域又邁出了重要一步。