主机交流| 最近类chatgpt的项目如雨后春笋般出现，当中比较有名的LLaMA、Alpaca、chatglm、MiniGPT-4等。
其中脸书的LLaMA直接叫板chatgpt，声称只要较少参数就可以实现GPT-3.5的效果，即LLaMA-13B>GPT-3（175B） 并且13B的模型完全可以跑在家用显卡上。 因为之前开了免费的DSW，A10的显卡，拿来跑图着实有点可惜，故想试试其他项目。 DSW Gallery有提供chatglm的试玩，但脚本写的有问题，几次三番都无法成功部署。 后想起b站的秋叶大佬有做一键包，于是度盘挂了几天终于把模型和包下本地，考虑到DSW坑爹的网络环境，还是直接从线上拉一个模型解压到里面。 启动方式很简单，里面带的python和git用不到，只需要设置下启动参数即可
复制代码 其中chatglm-6b对应模型实际的路径。 复制丢到shell里，然后从弹出来的http://127.0.0.1:17860访问即可 这个地址会被映射到dsw-xxxx/proxy的位置，可以被访问，但需要验证。 看下效果，左边可以进行微调（粗略的微调） 可以进行连续对话，但个人使用起来与chatgpt3.5有很大差距 看下后台，GPU的使用率和提问频率有关，性能曲线多为突发，并且占用不超过80%，可能和问题的难度有关。显存则会大量+长期占用 注意这个时候已经用了超过20G显存，意味着继续进行对话可能会爆。尝试清空对话后，又能继续使用，但显存并没有被释放出来。 目前DSW貌似穿透不出来，frp连接一次之后立刻就会断，sdwebui的穿透似乎也失去了作用，宝塔安装后直接强制重启，所以想用自己的域名可能会有难度。 |
| md，这机器就应该拿来炼丹，给我画瑟图简直浪费 |
| ChatRWKV用着也可以，前几天试了下用3b和7b的模型写小说，感觉写的也像模像样了 |
有空建个自己的知识库 |
