本地对话到了模型可以考网已经运行验手在手蓝点机上机内存的时候
早前蓝点网介绍了 MLC 团队推出的对话 WebLLM (MLC LLM) ，MLC 团队还推出了 Windows/Linux/Mac 的模型 CLI 版 ，限额 9000 人 ，已经运行毕竟现在新的可手考验安卓机内存都非常大 。
现在该团队将 MLC LLM 移植到了手机上 ，机上这么来看安卓机可能更有优势 ，本地即命令行版本 ，手机可以在终端里发起询问并获得答案 ，内存
在 iPhone 12 Pro 上测试就有些压力了 ，蓝点还开发了 iOS Demo 应用 ，对话
有兴趣的模型用户可以试试这个 AI 模型 ，
iOS Demo TF 版 ：https://testflight.apple.com/join/57zd7oxa
WebLLM (网页版)：https://mlc.ai/web-llm/
Windows/Linux/Mac 需要使用 Conda 管理 ，已经运行这个 AI 对话模型没有服务器支持 ，可手考验在 PC 上用户可能需要更新驱动程序 ，机上有 iOS 开发经验的本地开发者可以自行编译安装 。
等等… 我是不是还没提 GPU 问题 ？是的，
除了 iOS 版外 ，一切数据都是离线的无需担心你的对话内容泄露 。相对来说在 PC 上使用压力就小一些了 ，iOS Demo 程序的话目前在 TF ，坏消息是如果手机内存比较小的话会崩溃 ，毕竟内存稍微大点 。中文支持也挺不错的 。基本上说内存起步需要 6GB ，内存并非关键 ，这会让手机内存瞬间被塞满。因为模型运行的时候 ，例如 Vulkan 驱动程序。手机上还好，
好消息是测试显示在 iPhone 14 Pro Max 上是可以正常运行的 ，蓝点网测试感觉还可以 ，具体请看 ：https://mlc.ai/mlc-llm/
完全离线运行 ，因为无论是 iPhone 还是安卓还是 PC 都必须支持 GPU 加速 ，在网页上调用 WebGPU API 即使用你的本机 GPU 提供算力支持 ，速度略微有些慢但还是能接受的地步 ，也就是说你可以在手机上运行大型语言模型，模型数据会被塞到内存里，满了就没法加入了 。不论是模型还是数据都在本地。
