是否只支持英伟达的显卡

[jiangbinbin-code]

Is your feature request related to a problem? Please describe.

是否只支持英伟达的显卡，其他显卡不支持

Solutions

是否只支持英伟达的显卡，其他显卡不支持

Additional context

No response

[duzx16]

能够运行PyTorch的都可以

[jiangbinbin-code]

有个AMD的显卡，运行一直报Could not find module 'nvcuda.dll ，然后换cpu模式也是报这个错，按照#6 (comment) 这个issue去修改了 也还是不行，请问还有什么思路可以修改吗？？   ?è ***@***.***  

…

------------------ 原始邮件 ------------------ 发件人: "Zhengxiao ***@***.***>; 发送时间: 2023年4月2日(星期天) 下午3:46 收件人: ***@***.***>; 抄送: ***@***.***>; ***@***.***>; 主题: Re: [THUDM/ChatGLM-6B] 是否只支持英伟达的显卡 (Issue #339) 能够运行PyTorch的都可以 — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you authored the thread.Message ID: ***@***.***>

[Looong01]

有个AMD的显卡，运行一直报Could not find module 'nvcuda.dll ，然后换cpu模式也是报这个错，按照#6 (comment) 这个issue去修改了 也还是不行，请问还有什么思路可以修改吗？？   ?è @.***  
…
------------------ 原始邮件 ------------------ 发件人: "Zhengxiao @.>; 发送时间: 2023年4月2日(星期天) 下午3:46 收件人: @.>; 抄送: @.>; @.>; 主题: Re: [THUDM/ChatGLM-6B] 是否只支持英伟达的显卡 (Issue #339) 能够运行PyTorch的都可以 — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you authored the thread.Message ID: @.***>

需要装Linux、ROCm、hip。虚拟机和wsl是不行的

[yichengming]

有个AMD的显卡，运行一直报Could not find module 'nvcuda.dll ，然后换cpu模式也是报这个错，按照#6 (comment) 这个issue去修改了 也还是不行，请问还有什么思路可以修改吗？？   ?è @.***  
…
------------------ 原始邮件 ------------------ 发件人: "Zhengxiao @.>; 发送时间: 2023年4月2日(星期天) 下午3:46 收件人: _@**._>; 抄送: _@.>; @._>; 主题: Re: [THUDM/ChatGLM-6B] 是否只支持英伟达的显卡 (Issue #339) 能够运行PyTorch的都可以 — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you authored the thread.Message ID: _@_.*>

需要装Linux、ROCm、hip。虚拟机和wsl是不行的

感谢。 已经跑起来了

[NaMoCv]

怎么跑起来的，不量化？
我报这个：RuntimeError: Library cudart is not initialized

[yichengming]

rocm跑起来了。我的测试代码能调用a卡计算了。但是… 这个起不来。可能是我5700xt显卡兼容性问题，第二天买了个2080ti

[Looong01]

rocm跑起来了。我的测试代码能调用a卡计算了。但是… 这个起不来。可能是我5700xt显卡兼容性问题，第二天买了个2080ti

你得把你的报错信息发一下啊，不然没法帮你

[Looong01]

怎么跑起来的，不量化？ 我报这个：RuntimeError: Library cudart is not initialized

是不是物理机的Linux？

如果是，是否按照pytorch官网按照rocm版本的？（ROCm版本的pytorch无法按照conda方式安装

[NaMoCv]

怎么跑起来的，不量化？ 我报这个：RuntimeError: Library cudart is not initialized

是不是物理机的Linux？

如果是，是否按照pytorch官网按照rocm版本的？（ROCm版本的pytorch无法按照conda方式安装

物理机linux，rocm；我看过代码了，量化依赖cudart的，没有提供hiprt的调用方法，所以量化用amd显卡跑不起来（cpu可以正常跑）。

[Looong01]

怎么跑起来的，不量化？ 我报这个：RuntimeError: Library cudart is not initialized

是不是物理机的Linux？
如果是，是否按照pytorch官网按照rocm版本的？（ROCm版本的pytorch无法按照conda方式安装

物理机linux，rocm；我看过代码了，量化依赖cudart的，没有提供hiprt的调用方法，所以量化用amd显卡跑不起来（cpu可以正常跑）。

你可以考虑用cpu导出量化模型，然后不用运行时量化，直接加载量化后的checkpoint到a卡

[OneiroXL]

怎么跑起来的，不量化？ 我报这个：RuntimeError: Library cudart is not initialized

我也是报这个错误

[OneiroXL]

怎么跑起来的，不量化？ 我报这个：RuntimeError: Library cudart is not initialized

是不是物理机的Linux？
如果是，是否按照pytorch官网按照rocm版本的？（ROCm版本的pytorch无法按照conda方式安装

物理机linux，rocm；我看过代码了，量化依赖cudart的，没有提供hiprt的调用方法，所以量化用amd显卡跑不起来（cpu可以正常跑）。

你可以考虑用cpu导出量化模型，然后不用运行时量化，直接加载量化后的checkpoint到a卡

直接选择作者提供的量化好的模型是不是也可以

[Looong01]

怎么跑起来的，不量化？ 我报这个：RuntimeError: Library cudart is not initialized

是不是物理机的Linux？
如果是，是否按照pytorch官网按照rocm版本的？（ROCm版本的pytorch无法按照conda方式安装

物理机linux，rocm；我看过代码了，量化依赖cudart的，没有提供hiprt的调用方法，所以量化用amd显卡跑不起来（cpu可以正常跑）。

你可以考虑用cpu导出量化模型，然后不用运行时量化，直接加载量化后的checkpoint到a卡

直接选择作者提供的量化好的模型是不是也可以

是这个道理，但是作者只提供了int4和int4q的量化）

[guoqingkong]

怎么跑起来的，不量化？ 我报这个：RuntimeError: Library cudart is not initialized

是不是物理机的Linux？
如果是，是否按照pytorch官网按照rocm版本的？（ROCm版本的pytorch无法按照conda方式安装

物理机linux，rocm；我看过代码了，量化依赖cudart的，没有提供hiprt的调用方法，所以量化用amd显卡跑不起来（cpu可以正常跑）。

你可以考虑用cpu导出量化模型，然后不用运行时量化，直接加载量化后的checkpoint到a卡

直接选择作者提供的量化好的模型是不是也可以

是这个道理，但是作者只提供了int4和int4q的量化）

直接load int4的模型还是出现cudart 缺失的错误，不晓得怎么绕过去。

[NaMoCv]

怎么跑起来的，不量化？ 我报这个：RuntimeError: Library cudart is not initialized

是不是物理机的Linux？
如果是，是否按照pytorch官网按照rocm版本的？（ROCm版本的pytorch无法按照conda方式安装

物理机linux，rocm；我看过代码了，量化依赖cudart的，没有提供hiprt的调用方法，所以量化用amd显卡跑不起来（cpu可以正常跑）。

你可以考虑用cpu导出量化模型，然后不用运行时量化，直接加载量化后的checkpoint到a卡

直接选择作者提供的量化好的模型是不是也可以

是这个道理，但是作者只提供了int4和int4q的量化）

直接load int4的模型还是出现cudart 缺失的错误，不晓得怎么绕过去。

https://github.com/agrocylo/bitsandbytes-rocm 这好像是指出rocm的量化包，b站上有视频用这跑了，我还没试。