今日要聞!手機就能跑！開源AI機器人MLC LLM發布：無需聯網

(資料圖片)

快科技5月2日消息，近日，一個名為MLC LLM的項目在GitHub上線，該項目為一個能夠在手機上運行的，無需聯網的開源人工智能聊天機器人。

據悉，MLC LLM項目的本質是一種通用解決方案，它允許將任何語言模型本地部署在一組不同的硬件后端和本地應用程序上。

同時，它還有著一個高效的框架，供每個人進一步優化自己用例的模型性能。

上述這一切，都在本地運行，無需服務器支持，并通過手機或筆記本電腦上的本地GPU加速。

技術上，MLC LLM使用了Vicuna-7B-V1.1，這是一種基于Meta開發的LLaMA模型的輕量級LLM，效果雖然不如GPT3.5或GPT4，但在大小方面比較占優勢。

目前，該項目可用于Windows、Linux、macOS和iOS平臺，但暫時還沒有適用于Android的版本。

值得一提的是，MLC LLM項目的開發團隊來自卡內基梅隆大學的Catalyst計劃、SAMPL機器學習研究小組以及華盛頓大學、上海交通大學和OctoML等。

責任編輯：Rex_02