issues Search Results · repo:kvcache-ai/ktransformers language:Python
Filter by
609 results
(60 ms)609 results
inkvcache-ai/ktransformers (press backspace or delete to remove)检查清单
- [x] 1. 我已经搜索过相关问题，但未能获得预期的帮助
- [x] 2. 该问题在最新版本中尚未修复
- [x] 3. 请注意，如果您提交的BUG相关 issue 缺少对应环境信息和最小可复现示例，我们将难以复现和定位问题，降低获得反馈的可能性
- [x] 4. 如果您提出的不是bug而是问题，请在讨论区发起讨论 https://github.com/kvcache-ai/ktransformers/discussions。否则该 ...
learner-crapy
- 1
- Opened yesterday
- #846
通过大家已经搭建起来的环境进行配置和性能参考，麻烦各位跑起来的大佬分享下自己的配置和性能信息，按照模板填写即可，谢谢！
运行环境 具体使用的模型版本（Q4KM、Q8KM等）： CPU型号(单、双路及核心线程数)： 内存参数（单根容量、实际运行频率、内存数量、实际通道数）： GPU型号（备注显存大小）：
运行时 CPU占用率： GPU占用率： 内存容量占用率： 实际使用内存带宽： 实际推理速度： ...
wait0423
- 1
- Opened 2 days ago
- #844
检查清单
- [x] 1. 如果您提出的不是新功能而是问题，请在讨论区发起讨论 https://github.com/kvcache-ai/ktransformers/discussions。否则该 issue 将被关闭
- [x] 2. 为方便社区交流，我将使用中文/英文或附上英文/中文翻译（如使用其他语言）。未附带翻译的非英文/中文内容可能会被关闭
需求背景
使用docker compose ...
verigle
- 2
- Opened 2 days ago
- #843
lifehacuda12.8 （系统和conda Ktransformers下双重安装，系统路径已配置） pytorch 2.7 python 3.11 Flash -attenion 已经安装成功。
输入路径后，报错如下：
(ktransformers) kimi@kimi-MS73-HB1-000:~$ python -m ktransformers.local_chat.py --model_path ...
KimmyGLM
- Opened 2 days ago
- #838
检查清单
- [x] 1. 我已经搜索过相关问题，但未能获得预期的帮助
- [x] 2. 该问题在最新版本中尚未修复
- [x] 3. 请注意，如果您提交的BUG相关 issue 缺少对应环境信息和最小可复现示例，我们将难以复现和定位问题，降低获得反馈的可能性
- [x] 4. 如果您提出的不是bug而是问题，请在讨论区发起讨论 https://github.com/kvcache-ai/ktransformers/discussions。否则该 ...
OHLIA
- 1
- Opened 2 days ago
- #837
Checklist
- [ ] 1. I have searched related issues but cannot get the expected help.
- [ ] 2. The bug has not been fixed in the latest version.
- [ ] 3. Please note that if the bug-related issue ...
pitaozi
- 5
- Opened 2 days ago
- #836
Hoshino-Yumetsukicpu型号：Intel(R) Xeon(R) Gold 6330 CPU @ 2.00GHz ，志强3代cpu ,双插槽 56个核 ， 内存2T 。 显卡：服务器上有8张nvidia L40可用
这样的配置可以跑起满血版非量化的deepseek-R1不？
尝试拉了https://modelscope.cn/models/unsloth/DeepSeek-R1-GGUF/files 中的 DeepSeek-R1-BF16 ...
hlj1205
- 17
- Opened 3 days ago
- #832
检查清单
- [ ] 1. 我已经搜索过相关问题，但未能获得预期的帮助
- [ ] 2. 该问题在最新版本中尚未修复
- [ ] 3. 请注意，如果您提交的BUG相关 issue 缺少对应环境信息和最小可复现示例，我们将难以复现和定位问题，降低获得反馈的可能性
- [ ] 4. 如果您提出的不是bug而是问题，请在讨论区发起讨论 https://github.com/kvcache-ai/ktransformers/discussions。否则该 ...
wangfan008
- 1
- Opened 3 days ago
- #831
Learn how you can use GitHub Issues to plan and track your work.
Save views for sprints, backlogs, teams, or releases. Rank, sort, and filter issues to suit the occasion. The possibilities are endless.Learn more about GitHub IssuesProTip!
Press the /
key to activate the search input again and adjust your query.Learn how you can use GitHub Issues to plan and track your work.
Save views for sprints, backlogs, teams, or releases. Rank, sort, and filter issues to suit the occasion. The possibilities are endless.Learn more about GitHub IssuesProTip!
Restrict your search to the title by using the in:title qualifier.