ChatGPT 無疑是今年最出圈的科技熱點,和之前我們認知中的 AI 不太一樣,它擁有更為強大的語言理解和文本生成能力,更能“聽懂”人話,做到與真正人類幾乎無異的交流,甚至可以寫論文、腳本、代碼。如此強大的人工智能,只讓它活在屏幕里未免有點大材小用,所以越疆工程師們在一番研究后,將 ChatGPT 與越疆協作機器人結合,在物理世界做出了應用實踐。
機器人調酒師
一名優秀的調酒師應該具備什么樣的特質?出色的調酒技能只是基礎,他還應該善于溝通,在適當的時候給予客人一定的心靈慰藉。在越疆機器人調酒項目中,工程師們將 ChatGPT 巧妙融入其中,一下讓冷冰冰的機器人,成為了一名懂酒懂心的優秀調酒師。
我們前期對 ChatGPT 進行了訓練,詳細告知它應該扮演的角色(調酒師),各式雞尾酒的配方、口感等內容。
經過訓練后,機器人調酒師變得可靠又貼心,擁有更多自主判斷能力。比如顧客提出不合理要求,故意要求在長島冰茶雞尾酒中放茶時,ChatGPT 會反饋長島冰茶里并沒有茶,其實是各種烈酒和可口可樂混合而成。
當顧客沒有明確的酒類需求,只提出推薦一杯能讓心情好起來的雞尾酒時,ChatGPT 則會根據對話者的當下情緒狀況自行分析判斷,推薦【藍色夏威夷】雞尾酒,理由是酸酸甜甜的口感,有助于恢復心情。
當顧客表示口味比較酸,卻沒有提任何要求時,ChatGPT 會根據語境推測對話者需求是進行口味調節,并且知道用現有材料椰奶來中和酸味,而普通 AI 大概率會因為這種模糊需求不知所措,發出”我不明白您在說什么“的感嘆。
更重要的是,在被授予越疆協作機器人控制接口信息后,ChatGPT 會根據不同雞尾酒的特點,為機器人生成搖酒軌跡和代碼。然后機器人調酒師就能帥氣地制作各式各樣的雞尾酒。
智能物品分揀
調試機器人需要不低的技術門檻,以往工程師需要輸入大量代碼來引導機器人運作,操控不同的機器人可能還會涉及不同的編程語言。而在 ChatGPT 的幫助下,工程師可以直接用口語描述想做什么,由 ChatGPT 自動編譯成機器語言,充分調動機器人的手、眼、腦指揮機器人行動。
簡單的抓取和任務步驟描述自然難不倒機器人和 ChatGPT,為了提升難度,我們要求它在各式物品中抓取一斤橘子,這時 ChatGPT 會多線并行,自動完成水果識別、水果抓取、重量計算等一系列工作并完成任務。
當要求它對桌面物品進行分類時,無需告知細節和步驟,ChatGPT 會自行借助相機識別桌面物品,并自動做出類別判斷,完成分類任務,相比以往依靠人工標注分類的機器人而言,運作更為聰明。
從兩個方案實踐的情況來看,ChatGPT 確實能通過理解和學習人類的語言,結合實際來進行互動,還能快速生成符合不同場景的機器人代碼,匹配用戶需求,大大減少了開發時間和成本。
從技術層面分析,ChatGPT 大模型學習人類先驗知識,融入各類物理感知,以協作機器人為載體,增強了人機交互、人機協作的體驗感,讓機器人更加智能化、人性化。在此基礎上,越疆形成了自己的機器人大規模模型技術框架。
總體技術框架:人類通過自然語言交互下達任務指令,通過語音識別技術轉換為文本輸入給ChatGPT,ChatGPT 大規模語言模型根據從海量數據中學習的大量人類先驗知識(包括語言類知識和世界知識等),以及前期 Prompt 指令的微調訓練后(使得 ChatGPT 更有效適應下游任務),理解人類任務指示,可融合視覺、力覺等物理感知信息,做出最終任務決策,并控制機器人執行完成指定任務。
未來,越疆將在“AI+機器人”領域不斷創新突破,與更多前沿技術融合碰撞,讓協作機器人真正具有自主感知、智能決策、精細操作等特性,并推動大規模模型在機器人先進制造和商業服務業的落地應用。