// PROJECT_013 / MULTIMODAL AI HANDHELD
AI 项目 · 音频 / 视觉 / 文本多模态

多功能多模态AI口袋机

Tuya T5 Pocket 把 AI Agent、摄像头、双麦、扬声器、六轴传感器、摇杆、低功耗屏幕、MicroSD 和 4G 装进口袋。它既是 AI 宠物,也是游戏机、电子书、IoT 控制器和开放的硬件开发平台。

Tuya T5-E1Wi-Fi 6 + BLE 5.42.9″ Mono LCDTuyaOpen
透明红色外壳的 Tuya T5 Pocket 多模态 AI 口袋机
TUYA T5-POCKET · OPEN HARDWAREAI Agent + IoT + Game Handheld
01 网络Wi-Fi 6 / BLE 5.4 / 4G
02 多模态语音 / 图像 / 文本 / 传感器
03 显示2.9寸低功耗单色屏
04 协议MIT License
// 01_SCENARIOS

一台掌机,覆盖多种 AI 与 IoT 场景

它不是单一聊天设备,而是一套面向开发者的多模态终端:输入、显示、音频、连接和扩展接口都已集成。

🐣

AI 虚拟宠物

通过语音、摇杆、加速度和视觉互动,维护健康、饥饿、清洁与快乐状态。

💬

多模态问答

结合语音、摄像头图像和文本上下文,与云端 AI Agent 进行交互。

🏠

智能家居控制

接入 Tuya App、DP 数据点与 Function Call,控制联网 IoT 设备。

🎮

掌机与工具

内置贪吃蛇、Dino Jump、电子书、摄像头和水平仪等示例。

// 02_HARDWARE

高度集成的口袋硬件平台

主板采用 4 层、1.2 mm 设计;Pogo Pin FPC 为 2 层、0.15 mm,并使用 PI 补强以避免影响磁力。

COMPUTE + CONNECT

涂鸦 T5-E1 模组

集成 Wi-Fi 6 与 BLE 5.4,并支持 4G Cat-1 模块,满足端云 AI 和移动联网需求。

VISION + DISPLAY

摄像头与低功耗屏

GC2145 约 200 万像素摄像头,搭配 2.9 英寸无背光单色全反屏。

AUDIO

双麦与扬声器

支持音频采集、播放和端侧 VAD、KWS、AEC、ANR、AGC 等处理。

INPUT

摇杆、按键与六轴

游戏摇杆、A/B/功能/菜单键及 BMI270 六轴传感器组成丰富输入。

STORAGE + POWER

MicroSD 与掌机电池

支持外部文件存储,并采用 Switch 手柄同规格 HAC-006 525mAh 电池。

EXPANSION

双扩展接口

Pogo Pin 提供电源与 UART;顶部 10Pin 支持 I²C、SPI、UART 和 GPIO。

// 03_ASSEMBLY

关键物料与装机顺序

这里按开源工程原版装机顺序提炼。屏幕、摄像头排线和 FPC 较脆弱,操作前请释放静电并使用合适螺丝。

核心装配物料

  • 01 T5 Pocket 主板 PCBA
  • 02 2.9″ 单色全反屏
  • 03 GC2145 摄像头
  • 04 Switch 摇杆与 HAC-006 电池
  • 05 4G Cat-1 模组(可选配置)
  • 06 Pogo Pin FPC 与连接座
  • 07 主机外壳、屏幕垫高件、压板
  • 08 亚克力面板和开机键
  • 09 磁铁 ×5、导电泡棉、麦克风垫
  • 10 M3 / M2.5 / M1.6 螺丝
4G 可选中移 ML307R 或移柯 L511C,两者 Pin to Pin 兼容;原项目更推荐 L511C。详细 BOM、封装和采购信息以开源页面最新版为准。

十步完成装机

固定磁铁与 Pogo FPC

少量 PP 结构胶固定 8×4×3 mm 磁铁,再用 4 颗 M1.6×3 螺丝固定 Pogo Pin FPC。

贴底部止滑垫

安装 4 个 8×1 mm 硅胶垫,确保底部平整且不遮挡接口。

安装麦克风气密垫

将 6035 咪套准确放入双麦孔位,避免漏气影响拾音与 AEC 效果。

垫高并粘贴屏幕

垫高件正反贴 3 mm 双面胶后连接排线。悬空位置不可用力按压,以免屏幕破裂。

处理摄像头导电泡棉

导电泡棉用于固定、散热与防静电,装配时需对位 PCB 的 GND 区域。

连接关键排线

依次连接电池手柄、摄像头和 Pogo FPC;摄像头排线预折约 45° 并整理余量。

主板入壳

从顶部先放入,让顶部扩展 IO 排座滑入定位,再用镊子调整摄像头进入槽位。

锁紧主板与摇杆

主板使用 4 颗 M2.5×3 mm,摇杆使用 2 颗 M1.6×4 mm,交叉轻锁。

安装开机键与面板

装入透明亚克力开机键;可选贴喇叭和麦克风防灰网,再用 4 颗 M3 螺丝固定面板。

粘贴扩展接口标签

为顶部 10Pin 和 Pogo Pin 标注接口定义,方便后续连接传感器与调试器。

// 04_FIRMWARE

固件烧录与首次启动

软件基于 TuyaOpen,分为硬件 BSP、云 IoT 事件、LVGL UI 与 AI 四层。预编译固件适合快速体验,开源工程适合二次开发。

01 · PREPARE

烧录前准备

  • 确认电池有电且 USB-C 数据线支持传输。
  • 备份设备配置和 MicroSD 重要文件。
  • 下载与主板版本对应的固件和工具。
02 · FLASH

进入烧录并写入

  • 按资料说明让 T5 进入下载模式。
  • 选择正确串口与固件文件。
  • 保持供电稳定,等待校验与重启完成。
03 · ACTIVATE

联网和 AI 配置

  • 完成 Wi-Fi / 4G 与设备绑定。
  • 配置云端 AI Agent、音量与应用参数。
  • 逐项测试麦克风、喇叭、摄像头与按键。
版本提醒:开源工程会持续更新。烧录前务必核对 PCB、BSP 和固件版本;升级中不要拔线或断电。若只是体验,优先使用你提供的配套固件包。
// 05_CONTROLS

掌机输入定义

菜单和应用以摇杆与按键操作,LED 用于提示 AI 活动状态。

摇杆菜单 / 应用方向导航
A 键确认 / 选择 / 游戏 A
B 键取消 / 返回 / 游戏 B
功能键AI、音频与应用快捷入口
菜单键打开主菜单
用户 LED提示 AI 功能活动,可定制
复位键T5 MCU 硬件复位
摇杆按下原项目暂未定义,可扩展
// 06_DEMOS

开源 Demo 与扩展方向

示例覆盖 AI、图形、传感器、文件和外部模块,适合作为自己的应用起点。

AI PET

涂丫丫 AI 宠物

语音、视觉、文本和加速度多模态互动,管理健康、饥饿、清洁与快乐状态。

CAMERA

单色摄像头显示

把彩色图像通过 Floyd–Steinberg 或 Bayer 抖动转换到单色屏幕。

GAMES

贪吃蛇与跳跳龙

利用 LVGL 和摇杆按键体验经典小游戏,并学习界面与输入事件。

SENSORS

六轴水平仪

读取 BMI270 姿态数据并实时渲染,也可与 AI 上下文融合。

READER

MicroSD 电子书

从 SD 卡读取 TXT 文件,演示文件系统、字体与低功耗阅读界面。

EXPANSION

传感器与外设

通过 10Pin / Pogo Pin 扩展温湿度、RFID、热敏打印机和 UART 调试工具。

// 07_VIDEO

观看完整功能演示

视频集中展示口袋机的 UI、AI 宠物、多模态交互和掌机功能。

播放器无法加载时,前往哔哩哔哩观看完整演示 →