Comments (7)
https://github.com/josStorer/RWKV-Runner/releases/tag/v1.1.3
from rwkv-runner.
cuda算子对python版本和torch版本均有要求,所以才强制的,而且整个python环境才4GB,相比模型实在是太小了,emm
from rwkv-runner.
附一下上面 Chrisma-98 的提议。可以看出来,版主是技术牛人,RWKV-Runner、chatGPTBox、selfhostedAI几个开源应用水平都很高!估计是不太愿意浪费时间、重重复复的回答或解决一些简单的技术问题。但其实这个社会绝大部分人都是技术小白,或者都是从小白开始慢慢成长的。我是老IT、老理工,60后,以前学的代码和技术都落伍了。我也是今年才开始接触各种大模型,接触两三月后,看来国内RWKV和ChatGLM技术以及用户环境是比较好的,我都是把各家模型从huggingface.co上手工下载,并统一放在一个固定目录,用过LLaMA、GPT4ALL、ChatCSDN、ChatYuan、MOSS、Replitcode、StableDiffusion、PaddleSpeech、Whisper等等,目录光模型就占150GB左右的空间,Python有3.9、3.10、3.11三个可以用自己写的BAT脚本切换的版本,CUDA有11.7、11.8、12.1三个版本,cudnn有8.7、8.8、8.9三个版本,这些加起来也有30-50GB了,可以通过改变环境参数切换,最费事的一次测试就是把ChatGLM-6B和PaddleSpeech整合起来,可以通过API调用,实现基于Web的语音聊天,为此还在自己的Python3.9环境,用C++重新编译了第三方ctc_decoders包,看了里面很多源码后,发现其实这是PaddleSpeech很小的一个坑,无非就是Linux和Windows环境的差异问题,其实百度技术人员多花半小时,就能给Windows平台的试用人员提供更友好的测试环境。我看了版主的RWKV-Runner,第一想法就是希望能可以自己配置模型路径和Pathon环境,ChatRWKV_PC是可以自己选模型,GPT4ALL也是,当然,我也充分理解Python各种依赖包的环境是比较复杂。只是建议,最终由版主考虑决定,谢谢版主开源分享!
from rwkv-runner.
我可以在设置里添加自定义模型目录和python解释器路径,后面版本加吧
from rwkv-runner.
谢谢!给您点赞!模型路径及模型加载自定义会相对简单一些,Python解释器自定义后,后面依赖包检查可能会比较复杂一些,可以在requirements.txt注释一下,或者通过PYthon脚本检查一下关键的依赖。希望应用越做越好!
from rwkv-runner.
我可以在设置里添加自定义模型目录和python解释器路径,后面版本加吧
感谢大佬回复和考虑跟进。
from rwkv-runner.
点赞。。。
from rwkv-runner.
Related Issues (20)
- CPU/CPU(rwkv.cpp) 模型切换问题 HOT 1
- 调用api接口感觉速度有点慢,是否和流式输出有关系,我看接口记录中流式输出参数是false,这个"stream": false, 参数在哪里可以设置呢? HOT 7
- 大佬,有兴趣加入Mirostat采样器吗? HOT 1
- 如何完全卸载呢? HOT 1
- 希望重新生成之前的对话时不会自动滚动到最后一段聊天
- JosStorer君,下载的东西都默认下载到C盘了。文件夹我是放到D盘的 HOT 1
- 模型运行成功,但发的所有消息都显示network error,控制台显示报错。 HOT 2
- 微调功能在上月新发布的 ubuntu 24.04 下失败
- 是否能够进行多batch的推理?
- install from source requirement.txt error on pkgutil
- 服务启动成功,但是访问报500 HOT 3
- 显卡能使用计算卡吗? HOT 2
- 最新的rwkv-6-world模型转换后运行出错 HOT 1
- 因为ImportError: cannot import name 'packaging' from 'pkg_resources'导致模型转换失败 HOT 2
- 请教GPU负载均衡的问题 HOT 2
- lora微调训练问题 HOT 1
- linux部署的时候换一个rwkv模型无法运行
- Linux服务器的webGPU并行问题 HOT 1
- ERROR: Could not find a version that satisfies the requirement torch==1.13.1 (from versions: none) ERROR: No matching distribution found for torch==1.13.1
- RWKV依赖错误
Recommend Projects
-
React
A declarative, efficient, and flexible JavaScript library for building user interfaces.
-
Vue.js
🖖 Vue.js is a progressive, incrementally-adoptable JavaScript framework for building UI on the web.
-
Typescript
TypeScript is a superset of JavaScript that compiles to clean JavaScript output.
-
TensorFlow
An Open Source Machine Learning Framework for Everyone
-
Django
The Web framework for perfectionists with deadlines.
-
Laravel
A PHP framework for web artisans
-
D3
Bring data to life with SVG, Canvas and HTML. 📊📈🎉
-
Recommend Topics
-
javascript
JavaScript (JS) is a lightweight interpreted programming language with first-class functions.
-
web
Some thing interesting about web. New door for the world.
-
server
A server is a program made to process requests and deliver data to clients.
-
Machine learning
Machine learning is a way of modeling and interpreting data that allows a piece of software to respond intelligently.
-
Visualization
Some thing interesting about visualization, use data art
-
Game
Some thing interesting about game, make everyone happy.
Recommend Org
-
Facebook
We are working to build community through open source technology. NB: members must have two-factor auth.
-
Microsoft
Open source projects and samples from Microsoft.
-
Google
Google ❤️ Open Source for everyone.
-
Alibaba
Alibaba Open Source for everyone
-
D3
Data-Driven Documents codes.
-
Tencent
China tencent open source team.
from rwkv-runner.