现在大多数ChatGPT都是云服务器的，那如果想在本地跑ChatGPT，需要什么配置的显卡？
通过查询【推荐使用兼容CUDA的NVIDIA GPU，如GTX 1080 Ti或更高型号】，大家的显卡 能满足这个要求吗？我准备配一个能跑ChatGPT的主机，大家有何推荐？
引用: tagetage 发表于 2024-5-13 11:12 你问这问题应该是没有做前期工作，硬件配置的钱得7位数，你能接受吗？？？？？ 你说的哪是几年前勉强运行的 ...
我自己跑ChatGPT，不用七位数吧，公司想买个ChatGPT服务器，最多也就六位数。
引用: wangerxian 发表于 2024-5-13 11:21 我自己跑ChatGPT，不用七位数吧，公司想买个ChatGPT服务器，最多也就六位数。
哦？看英伟达的GPU是哪一款的吧？也有7位数RMB的（10万刀的话，就快7位数了）
引用: wangerxian 发表于 2024-5-13 11:21 我自己跑ChatGPT，不用七位数吧，公司想买个ChatGPT服务器，最多也就六位数。
勉强能用很慢 和 比较流畅运行 的区别。
引用: hellokitty_bean 发表于 2024-5-13 12:31 哦？看英伟达的GPU是哪一款的吧？也有7位数RMB的（10万刀的话，就快7位数了）
英伟达的A100 不是不准卖给咱们吗？
引用: nmg 发表于 2024-5-13 11:46 为何非要本地跑
想体验体验，搭建一个自己的ChatGPT呀。
引用: tagetage 发表于 2024-5-13 13:12 勉强能用很慢 和 比较流畅运行 的区别。
这倒是，本地的估计慢，用CPU其实也能跑，只是超级无敌慢。
本地跑ChatGPT？如果不进行大模型训练，拿现成开源代码和数据库跑，根本无需多少资源，普通桌面平台都可以，高档显卡并非必须，新平台的整合显卡都足够。
至于说要训练，那还是洗洗睡吧，梦里要啥有啥……
引用: chunyang 发表于 2024-5-13 14:32 本地跑ChatGPT？如果不进行大模型训练，拿现成开源代码和数据库跑，根本无需多少资源，普通桌面平台都可以 ...
就跑数据大模型数据。训练模型的话，也只能训练那种小AI模型。
引用: 秦天qintian0303 发表于 2024-5-14 09:41 GTX 1080 Ti或更高型号，感觉下线有点低啊，3060应该能跑
好像还得看模型，跑ChatGPT大模型，3060应该够，可能会慢一些生成结果。
引用: chunyang 发表于 2024-5-13 14:32 本地跑ChatGPT？如果不进行大模型训练，拿现成开源代码和数据库跑，根本无需多少资源，普通桌面平台都可以 ...
兄台说的对呀。。。。。。
梦里花落知多少，梦中啥都有，做梦做梦。。。
引用: wangerxian 发表于 2024-5-14 09:11 就跑数据大模型数据。训练模型的话，也只能训练那种小AI模型。
那根本无需什么高端显卡。很少用到GPU全部的性能，那根本不必买显卡，用AMD的ZEN平台，整合GPU的性能都已达到中端显卡的性能了。
引用: chunyang 发表于 2024-5-20 18:13 那根本无需什么高端显卡。很少用到GPU全部的性能，那根本不必买显卡，用AMD的ZEN平台，整合GPU的性能都已 ...
我整了一个4070S，感觉应该够用，我还想跑本地语言识别模型呢~
京公网安备 11010802033920号
