基于RWKV-v5训练完成了最新的15亿参数的模型,可以用来续写色情小说,但不建议用来对话,使用教程请往下看
模型地址: https://huggingface.co/a686d380/rwkv-5-h-world
以上内容来自hlib.cc。更多中文H小说尽在hlib.cc。
如果下载缓慢可以用国内镜像: https://hf-mirror.com/a686d380/rwkv-5-h-world
收集并清洗了大量语料,经过去重后保留了17G
以上内容来自hlib.cc。更多中文H小说尽在hlib.cc。
清洗后的语料: https://huggingface.co/datasets/a686d380/h-corpus-2023
未清洗的原始语料: https://huggingface.co/datasets/a686d380/h-corpus-raw
以上内容来自hlib.cc。更多中文H小说尽在hlib.cc。
准备了一个评测集用来测评哪些开源模型适合色色,并且测试了许多开源模型
评测集: https://huggingface.co/datasets/a686d380/h-eval
以上内容来自hlib.cc。更多中文H小说尽在hlib.cc。
更大的模型正在训练,在 https://huggingface.co/a686d380/rwkv-h-world-test 会上传训练中的半成品,预期3B模型会在一个月后训练完成
以上内容来自hlib.cc。更多中文H小说尽在hlib.cc。
## 模型的使用教程
本模型训练自国产开源模型RWKV,所以接入了RWKV生态,建议配合RWKV Runner使用 以上内容来自hlib.cc。更多中文H小说尽在hlib.cc。
RWKV Runner地址: https://github.com/josStorer/RWKV-Runner
首先在进入RWKV Runner的release界面 https://github.com/josStorer/RWKV-Runner/releases 以上内容来自hlib.cc。更多中文H小说尽在hlib.cc。
点击最新的 RWKV-Runner_windows_x64.exe 下载
将 RWKV-Runner_windows_x64.exe 放置在一个空文件夹下然后运行 以上内容来自hlib.cc。更多中文H小说尽在hlib.cc。
接着打开模型链接: https://huggingface.co/a686d380/rwkv-5-h-world
或者国内镜像: https://hf-mirror.com/a686d380/rwkv-5-h-world 以上内容来自hlib.cc。更多中文H小说尽在hlib.cc。
点击 Files and versions, 再点击rwkv-5-h-world-1b5.pth 右侧的下载按钮下载模型
将下载好的rwkv-5-h-world-1b5.pth 放在 RWKV-Runner_windows_x64.exe 目录下的models文件夹内 以上内容来自hlib.cc。更多中文H小说尽在hlib.cc。
进入RWKV Runner的配置界面,在模型参数中选择模型为 rwkv-5-h-world-1b5.pth
接着根据你的显卡 以上内容来自hlib.cc。更多中文H小说尽在hlib.cc。
### 如果你是Nvidia显卡
Strategy 选择CUDA,精度选择fp16,载入显存层 以上内容来自hlib.cc。更多中文H小说尽在hlib.cc。