更大的70亿参数模型训练完成
更多中文H小说尽在hlib.cc。
更多中文H小说尽在hlib.cc。
模型地址: https://huggingface.co/a686d380/rwkv-5-h-world 以上内容来自hlib.cc。更多中文H小说尽在hlib.cc。
更多中文H小说尽在hlib.cc。
更多中文H小说尽在hlib.cc。
使用教程和上期一样，只需要把模型从rwkv-5-h-world-1b5替换为rwkv-5-h-world-7B，并把精度改为int8
更多中文H小说尽在hlib.cc。
以上内容来自hlib.cc。更多中文H小说尽在hlib.cc。
更多中文H小说尽在hlib.cc。
教程 https://www.pixiv.net/novel/show.php?id=21039830
更多中文H小说尽在hlib.cc。
更多中文H小说尽在hlib.cc。
Google Colab在线测试 以上内容来自hlib.cc。更多中文H小说尽在hlib.cc。
更多中文H小说尽在hlib.cc。
更多中文H小说尽在hlib.cc。
由于7B太大了，Google colab内存吃不下，目前是CPU推理，速度非常慢，建议想办法本地运行
更多中文H小说尽在hlib.cc。
以上内容来自hlib.cc。更多中文H小说尽在hlib.cc。
更多中文H小说尽在hlib.cc。
https://colab.research.google.com/drive/1KKTesMvL1frynfW-NaTkwUDlyeons3-K?usp=sharing
更多中文H小说尽在hlib.cc。
更多中文H小说尽在hlib.cc。
7B对于显存和配置要求更高，fp16预期显存占用15G, int8占用7.5G。 以上内容来自hlib.cc。更多中文H小说尽在hlib.cc。
更多中文H小说尽在hlib.cc。
更多中文H小说尽在hlib.cc。
如果你的配置极低但仍然想尝试7B，可以尝试使用CPU推理，模型选择下方量化版本的模型
更多中文H小说尽在hlib.cc。
以上内容来自hlib.cc。更多中文H小说尽在hlib.cc。
更多中文H小说尽在hlib.cc。
https://huggingface.co/a686d380/rwkv-5-h-world-ggml
更多中文H小说尽在hlib.cc。
更多中文H小说尽在hlib.cc。
基于关键词续写的模型宣布科研失败，你可以在下方寻找到半成品 rwkv-5-h-world-1b5-keywords.pth 以上内容来自hlib.cc。更多中文H小说尽在hlib.cc。
更多中文H小说尽在hlib.cc。
更多中文H小说尽在hlib.cc。
https://huggingface.co/a686d380/rwkv-h-world-test
更多中文H小说尽在hlib.cc。
以上内容来自hlib.cc。更多中文H小说尽在hlib.cc。
更多中文H小说尽在hlib.cc。
开源一个简单的小说鉴黄工具
更多中文H小说尽在hlib.cc。
更多中文H小说尽在hlib.cc。
https://huggingface.co/datasets/a686d380/simple-h 以上内容来自hlib.cc。更多中文H小说尽在hlib.cc。
更多中文H小说尽在hlib.cc。
更多中文H小说尽在hlib.cc。
7B参数的训练消耗了1w RMB租用显卡，达到了我能承受的极限。此外技术进展没有想象的快，长文本有逻辑地生成小说仍然没有很好的解决方案。今年的主要工作是收集更多数据并等待技术进步，也可能考虑研究其他AI R18内容生成(不包括较为成熟的文生图)。
更多中文H小说尽在hlib.cc。
以上内容来自hlib.cc。更多中文H小说尽在hlib.cc。
更多中文H小说尽在hlib.cc。
此外欢迎有意向的朋友拿着这个开源模型商业化，毕竟大部分人没有合适的显卡或者苦于不会配置。但是我不会提供技术支持也不会索取任何报酬。
更多中文H小说尽在hlib.cc。
更多中文H小说尽在hlib.cc。
## 交流讨论 以上内容来自hlib.cc。更多中文H小说尽在hlib.cc。
更多中文H小说尽在hlib.cc。
更多中文H小说尽在hlib.cc。
https://discord.gg/V5m42EqZE5