• 正文
    • OpenGlass?功能介紹
    • OpenGlass 硬件和軟件
  • 相關(guān)推薦
申請(qǐng)入駐 產(chǎn)業(yè)圖譜

25美元,DIY開(kāi)源可穿戴智能AI眼鏡:Arduino+樂(lè)鑫ESP32+DeepSeek項(xiàng)目

02/08 13:48
1.3萬(wàn)
加入交流群
掃碼加入
獲取工程師必備禮包
參與熱點(diǎn)資訊討論

智能AI眼鏡OpenGlass的核心是基于樂(lè)鑫ESP32-S3的 Seeed Studio XIAO 開(kāi)發(fā)板,集成了Wi-Fi和藍(lán)牙功能的高性能芯片。結(jié)合EEMB LP502030電池和3D打印的眼鏡架,構(gòu)建出輕便且持久使用的智能眼鏡框架,硬件成本只需25美元。

OpenGlass的軟件部分則采用了Node.js和Expo開(kāi)發(fā)的移動(dòng)端應(yīng)用,實(shí)現(xiàn)了與硬件的無(wú)縫交互,為用戶提供直觀易用的界面。后臺(tái)調(diào)用DeepSeek和OpenAI用于數(shù)據(jù)處理和智能識(shí)別,而Ollama的REST API用于語(yǔ)音轉(zhuǎn)文本功能。

OpenGlass?功能介紹

OpenGlass 智能眼鏡應(yīng)用場(chǎng)景廣泛:

?? 生活記錄者: 隨時(shí)隨地記錄你的日常生活,重要時(shí)刻不再錯(cuò)過(guò)。

?? 社交達(dá)人: 記住新朋友的名字,減少尷尬的忘記瞬間。

???戶外探險(xiǎn): 辨識(shí)野生動(dòng)植物,增加旅行的樂(lè)趣。

?? 飲食健康:?計(jì)算食物卡路里

?? 語(yǔ)言翻譯:實(shí)時(shí)翻譯文字,跨國(guó)交流更無(wú)障礙。

???視覺(jué)輔助: 對(duì)視力受限的人來(lái)說(shuō),它可以讀取菜單或標(biāo)簽上的文字。

?? 智能對(duì)話:?搭載了多種開(kāi)源AI大模型( DeepSeek、OpenAI 、通義千問(wèn)),通過(guò)對(duì)話角色自定義、海量知識(shí)庫(kù)、長(zhǎng)期記憶、語(yǔ)音聲紋識(shí)別等功能,成為了一個(gè)真正“懂你”的AI助理。

OpenGlass 智能眼鏡項(xiàng)目?jī)?yōu)勢(shì)如下:

低成本: 無(wú)需高昂費(fèi)用,就能擁有智能眼鏡體驗(yàn)。

可擴(kuò)展性高: 開(kāi)源設(shè)計(jì)允許開(kāi)發(fā)者和愛(ài)好者添加更多功能。

安裝便捷: 易于組裝的硬件和清晰的軟件設(shè)置指南,任何人都可以嘗試。

社區(qū)支持: 加入Based Hardware Discord社區(qū),獲取幫助、分享經(jīng)驗(yàn),共同進(jìn)步。

隱私優(yōu)先: 自主選擇是否自托管API服務(wù),尊重并保護(hù)個(gè)人數(shù)據(jù)。

OpenGlass 硬件和軟件

OpenGlass 智能眼鏡基于?Seeed Studio XIAO (ESP32-S3)?Sense?開(kāi)發(fā)套件,采用了樂(lè)鑫?ESP32-S3?芯片,支持 2.4 GHz Wi-Fi 和低功耗藍(lán)牙無(wú)線通信,主頻高達(dá) 240 MHz,芯片集成了高性能的 Xtensa? 32 位 LX7 雙核處理器、超低功耗協(xié)處理器、Wi-Fi 基帶、藍(lán)牙基帶、RF 模塊以及外設(shè)。

Seeed Studio XIAO?開(kāi)發(fā)套件還配備了 OV2640 攝像頭傳感器,數(shù)字麥克風(fēng),8MB PSRAM,8MB Flash,支持電池充電,具有豐富接口,適合物聯(lián)網(wǎng)嵌入式機(jī)器學(xué)習(xí)領(lǐng)域。結(jié)合嵌入式 ML 計(jì)算能力和攝影能力,這款開(kāi)發(fā)板可以成為您開(kāi)始使用智能語(yǔ)音和視覺(jué)AI的絕佳工具。

供電采用 EEMB LP502030 3.7v 250mAH 電池,搭配上 3D 打印的結(jié)構(gòu)外殼

OpenGlass 智能眼鏡開(kāi)發(fā)環(huán)境為 Arduino IDE,并使用 Moondream (一個(gè)專在邊緣設(shè)備運(yùn)行的小型的視覺(jué)語(yǔ)言模型)在 Ollama 平臺(tái)上進(jìn)行圖像流的理解和處理。

1.克隆 OpenGlass 倉(cāng)庫(kù)并安裝依賴項(xiàng)

git clone https://github.com/BasedHardware/openglass.gitcd openglassnpm install

2.在位于 keys.ts 文件中添加 Groq 和 OpenAI 的 API 密鑰

https://github.com/BasedHardware/OpenGlass/blob/main/sources/keys.ts

3.關(guān)于 Ollama 的倉(cāng)庫(kù)自托管 REST API 鏈接如下:

https://github.com/ollama/ollama

4.打開(kāi)終端并輸入以下命令

ollama pull moondream:1.8b-v2-fp16

5.啟動(dòng)應(yīng)用程序

npm start

OpenGlass項(xiàng)目源碼?

Github 完整項(xiàng)目資料獲取:https://github.com/BasedHardware/OpenGlass

如有需求,請(qǐng)加小編微信:? beacon0418

樂(lè)鑫科技

樂(lè)鑫科技

樂(lè)鑫科技(股票代碼:688018)是一家全球化的無(wú)晶圓廠半導(dǎo)體公司,成立于 2008 年,在中國(guó)、捷克、印度、新加坡和巴西均設(shè)有辦公地,團(tuán)隊(duì)來(lái)自約 30 個(gè)國(guó)家和地區(qū)。樂(lè)鑫多年來(lái)深耕 AIoT 領(lǐng)域軟硬件產(chǎn)品的研發(fā)與設(shè)計(jì),專注于研發(fā)高集成、低功耗、性能卓越、安全穩(wěn)定、高性價(jià)比的無(wú)線通信 SoC,現(xiàn)已發(fā)布 ESP8266、ESP32、ESP32-S、ESP32-C 和 ESP32-H 系列芯片、模組和開(kāi)發(fā)板,成為物聯(lián)網(wǎng)應(yīng)用的理想選擇。我們致力于提供安全、穩(wěn)定、節(jié)能的 AIoT 解決方案。同時(shí),我們堅(jiān)持技術(shù)開(kāi)源,助力開(kāi)發(fā)者們用樂(lè)鑫的方案開(kāi)發(fā)智能產(chǎn)品,打造萬(wàn)物互聯(lián)的智能世界。

樂(lè)鑫科技(股票代碼:688018)是一家全球化的無(wú)晶圓廠半導(dǎo)體公司,成立于 2008 年,在中國(guó)、捷克、印度、新加坡和巴西均設(shè)有辦公地,團(tuán)隊(duì)來(lái)自約 30 個(gè)國(guó)家和地區(qū)。樂(lè)鑫多年來(lái)深耕 AIoT 領(lǐng)域軟硬件產(chǎn)品的研發(fā)與設(shè)計(jì),專注于研發(fā)高集成、低功耗、性能卓越、安全穩(wěn)定、高性價(jià)比的無(wú)線通信 SoC,現(xiàn)已發(fā)布 ESP8266、ESP32、ESP32-S、ESP32-C 和 ESP32-H 系列芯片、模組和開(kāi)發(fā)板,成為物聯(lián)網(wǎng)應(yīng)用的理想選擇。我們致力于提供安全、穩(wěn)定、節(jié)能的 AIoT 解決方案。同時(shí),我們堅(jiān)持技術(shù)開(kāi)源,助力開(kāi)發(fā)者們用樂(lè)鑫的方案開(kāi)發(fā)智能產(chǎn)品,打造萬(wàn)物互聯(lián)的智能世界。收起

查看更多

相關(guān)推薦

登錄即可解鎖
  • 海量技術(shù)文章
  • 設(shè)計(jì)資源下載
  • 產(chǎn)業(yè)鏈客戶資源
  • 寫(xiě)文章/發(fā)需求
立即登錄