博客
分类
标签
归档
关于
博客
分类
标签
归档
关于
Chengyu Luo Blog
分类
标签
关于
归档
Github
在mac上部署mlc-chat
Mlc-Chat部署MLC LLM 是一种通用解决方案,它允许将任何语言模型本地部署在一组不同的硬件后端和本地应用程序上,此外还有一个高效的框架,供每个人进一步优化自己用例的模型性能。一切都在本地运行,无需服务器支持,并通过手机和笔记本电脑上的本地 GPU 加速 然后这个我试了一下在M2 的mac上部署,主要也只是测试一下能不能用,实际上就是能用,但只能用一点点,对话能力不够强,比较凑合,中...
2023-05-03
AI
AI
阅读全文