项目介绍

Dex 是一款由人工智能驱动的手持相机，让孩子们可以通过探索周围环境来学习语言。目前支持 11 种语言和 43 种方言。孩子拍下一张照片；多模态大语言模型会识别物体并启动学习体验——通常是目标语言的简短口语挑战。孩子通过说话来推进学习；自动语音识别/自然语言理解系统会解读话语并选择下一个分支/体验。孩子们还可以从互动故事库中选择标题，并在决策点通过说话来推进。每一次发现都会创建一张可收集的抽认卡，并安排在抽认卡游戏中进行复习。当捕捉到有趣的场景（可参考百科全书式主题）时，Dex 会解锁一个故事，该故事融合了照片中的多个元素，揭示现实世界的奇妙之处。家长副驾驶应用会记录学习会话、选择语言/方言、显示发音分数和目标，并赋能家长为孩子们创建自己的故事和游戏，供他们与 Dex 一起探索。