大的来啦!开源15亿参数色情小说续写模型,17G语料和评测集

2023年11月17日11:341391253
字号
粗細
行距

基于RWKV-v5训练完成了最新的15亿参数的模型,可以用来续写色情小说,但不建议用来对话,使用教程请往下看

模型地址: https://huggingface.co/a686d380/rwkv-5-h-world

以上内容来自hlib.cc。更多中文H小说尽在hlib.cc。

如果下载缓慢可以用国内镜像: https://hf-mirror.com/a686d380/rwkv-5-h-world

收集并清洗了大量语料,经过去重后保留了17G

以上内容来自hlib.cc。更多中文H小说尽在hlib.cc。

清洗后的语料: https://huggingface.co/datasets/a686d380/h-corpus-2023

未清洗的原始语料: https://huggingface.co/datasets/a686d380/h-corpus-raw

以上内容来自hlib.cc。更多中文H小说尽在hlib.cc。

准备了一个评测集用来测评哪些开源模型适合色色,并且测试了许多开源模型

评测集: https://huggingface.co/datasets/a686d380/h-eval

以上内容来自hlib.cc。更多中文H小说尽在hlib.cc。

更大的模型正在训练,在 https://huggingface.co/a686d380/rwkv-h-world-test 会上传训练中的半成品,预期3B模型会在一个月后训练完成

以上内容来自hlib.cc。更多中文H小说尽在hlib.cc。

## 模型的使用教程

本模型训练自国产开源模型RWKV,所以接入了RWKV生态,建议配合RWKV Runner使用 以上内容来自hlib.cc。更多中文H小说尽在hlib.cc。

RWKV Runner地址: https://github.com/josStorer/RWKV-Runner

首先在进入RWKV Runner的release界面 https://github.com/josStorer/RWKV-Runner/releases 以上内容来自hlib.cc。更多中文H小说尽在hlib.cc。

点击最新的 RWKV-Runner_windows_x64.exe 下载

将 RWKV-Runner_windows_x64.exe 放置在一个空文件夹下然后运行 以上内容来自hlib.cc。更多中文H小说尽在hlib.cc。

接着打开模型链接: https://huggingface.co/a686d380/rwkv-5-h-world

或者国内镜像: https://hf-mirror.com/a686d380/rwkv-5-h-world 以上内容来自hlib.cc。更多中文H小说尽在hlib.cc。

点击 Files and versions, 再点击rwkv-5-h-world-1b5.pth 右侧的下载按钮下载模型

将下载好的rwkv-5-h-world-1b5.pth 放在 RWKV-Runner_windows_x64.exe 目录下的models文件夹内 以上内容来自hlib.cc。更多中文H小说尽在hlib.cc。

进入RWKV Runner的配置界面,在模型参数中选择模型为 rwkv-5-h-world-1b5.pth

接着根据你的显卡 以上内容来自hlib.cc。更多中文H小说尽在hlib.cc。

### 如果你是Nvidia显卡

Strategy 选择CUDA,精度选择fp16,载入显存层 以上内容来自hlib.cc。更多中文H小说尽在hlib.cc。

  • 评论区
  • 登录后即可发表评论及享受更多功能
  • 相关推荐