Meta glasses plus OpenAI Realtime, built into an iPhone app via Codex
The author used Codex and Computer Use to build an iPhone app piping Meta smart glasses camera feed into OpenAI Realtime, reporting low latency and beating Meta's official Live AI.
Meta 智能眼镜 + OpenAI Realtime 实时视觉音频的 iPhone APP 都能用 Codex 一句话做出来。 AI甚至能通过眼镜摄像头,看清我手机上的小字! 眼镜摄像头、和 AI 对话几乎没延迟, 也不用像傻子一样说Hey Meta, 秒杀 Meta AI 智能眼镜本身的官方 Live AI, 我真鸡皮疙瘩起来了。 见⬇️视频, 我手势比数字问它“这是多少”时, OpenAI Realtime的 反应速度。 (iPhone录屏录不到眼镜的声音、麦克风) 全程连 Xcode 我都没操作过, 全是 Computer Use 帮我搞的。 这个Meta Vanguard运动智能眼镜, 是前两周买的,觉得很棒, 当时还发了第一人称视频网球视频: https://x.com/coolish/status/2111934464708481469 最近有点吹起 AI 玩硬件的风, 所以想着做一些好玩的, 但没想到门槛这么低, 这里面可玩空间太大了! 本来还以为这种 Meta 智能眼镜很封闭, 会不会需要逆向工程啥的, 做之前我特地让 Grok Bot 全网搜, 有没有这样的现成案例,几乎找不到, 所以我还以为会很难, 结果以完全合规方式,一句话完成, 加上调试测试,一小时不到🥹 提示词在视频的最后。
This post quotes another post: x.com/coolish/status/2111934464708481469