Bert-vits2-v2.2新版本地训练推理集成包(原神八倍神童英文模型miko)
https://github.com/fishaudio/Bert-VITS2/releases/tag/v2.3
这次我们基于最新版本的Bert-vits2-2.3重现了《生化危机》经典角色Ada Wong的声音。
Bert-vits2-2.3项目配置
首先克隆项目:
git克隆https://github.com/v3ucn/Bert-vits2-V2.3.git
请注意,该项目是从Bert-vits2 的2.3 分支分叉出来的。在此基础上,增加了素材分割、音译标注等功能,使用起来更加方便。
然后进入项目:
cd Bert-vits2-V2.3
安装依赖项:
pip3 install -r 要求.txt
然后下载对应的模型,首先是bert模型:
https://openi.pcl.ac.cn/Stardust_minus/Bert-VITS2/modelmanage/show_model
放入bert目录下:
E:\work\Bert-VITS2-2.3\berttree /fFolder 卷myssdVolume 的路径列表序列号为7CE3-15AEE: bert_models.jsonbert-base-japanese-v3 .gitattributes config.json 自述文件.md tokenizer_config.json vocab.txtbert-large-japanese-v2 .gitattributes config.json README.md tokenizer_config.json vocab.txtchinese-roberta- wwm-ext-large.gitattributesadded_tokens.jsonconfig.jsonpytorch_model.binREADME.mdspecial_tokens_map.jsontokenizer.jsontokenizer_config.jsonvocab.txtdeberta-v2-large -japanese.gitattributesconfig.jsonpytorch_model.binREADME.mdspecial_tokens_map.jsontokenizer.jsontokenizer_config.jsondeberta-v2-large-japanese-char-wwm.gitattributesconfig .jsonpytorch_model.binREADME.mdspecial_tokens_map.jsontokenizer_config.jsonvocab.txtdeberta-v3-large .gitattributes config.json Generator_config.json pytorch_model.bin README.md spm.model tokenizer_config .json
注意,每个子目录下的pytorch_model.bin就是bert模型本体。
然后你必须下载拍手模型。虽然clap已经通过推理去掉了,但同时下载wav2vec2-large-robust-12-ft-emotion-msp-dim模型,放入项目:的情感目录中
E:\work\Bert-VITS2-2.3\emotionaltree /fFolder 卷myssdVolume 的路径列表序列号为7CE3-15AEE:clap-htsat-fused .gitattributes config.json merges.txt preprocessor_config.json pytorch_model.binREADME.mdspecial_tokens_map.jsontokenizer.jsontokenizer_config.jsonvocab.jsonwav2vec2-large-robust-12-ft-emotion-msp-dim .gitattributes config.json LICENSE preprocessor_config .json pytorch_model.bin README.md vocab.json
最后下载基础模型:
https://huggingface.co/OedoSoldier/Bert-VITS2-2.3
只需将其放入角色的模型目录中即可。
请注意,这次2.3 基础模型是4 个文件。
Bert-vits2-2.3数据预处理
将King Ada的语音素材放入Data/ada/raw目录下,执行切分脚本:
python3 audio_slicer.py
将材料分成小块:
E:\work\Bert-VITS2-2.3\Data\ada\rawtree /f 卷myssdVolume 序列号的文件夹路径列表为7CE3-15AEE: ada_0.wav ada_1.wav ada_10.wav ada_11.wav ada_12.wav ada_13.wav ada_14.wav ada_15.wav ada_16.wav ada_17.wav ada_18.wav ada_19.wav ada_2.wav ada_20.wav ada_21.wav ada_22。 wav ada_23。 wav ada_24.wav ada_25.wav ada_26.wav ada_3.wav ada_4.wav ada_5.wavada_6。 wav ada_7.wav ada_8.wav ada_9.wav
然后运行转录和注释:
python3 Short_audio_transcribe.py
程序返回:
E:\work\Bert-VITS2-2.3\venv\lib\site-packages\whisper\timing.py:58: NumbaDeprecationWarning: 未将“nopython”关键字参数提供给“numba.jit”装饰器。此参数的隐式默认值当前为False,但在Numba 0.59.0 中将更改为True。有关详细信息,请参阅https://numba.readthedocs.io/en/stable/reference/deprecation.html#deprecation-of-object-mode-fall-back-behaviour-when-using -jit。 def backtrace(trace: np.ndarray):Data/ada/raw检测到的语言: en我做。你喜欢的那种。已处理: 1/27检测语言: en现在琥珀在哪里?已处理: 2/27检测语言: en离开那个女孩。不管怎样,她都迷路了。Processed: 3/27检测到的语言: en你现在走开了,谁知道呢?Processed: 4/27检测到的语言: en也许你会活着再次见到我。Processed: 5/27检测到的语言: en我可能会收到你正在寻找的问候语for.Processed: 6 /27检测语言: en我们下次再继续讨论如何?Processed: 7/27检测语言: 抱歉,还没有。Processed: 8/27检测语言: en但是我的小帮手正在创建Processed: 9/27检测语言: 骚动。 10/27检测到的语言: en一切都会顺利进行。已处理: 11/27检测到语言: en他是个好孩子。 Predictable.Processed: 12/27Detected language: en协议是,当您交付琥珀时,我们会带您离开这里。没有琥珀色,没有保护,Louise.Processed: 13/27检测到语言: en没什么私人的,Leon.Processed: 14/27检测到语言: enLouise和我有安排。Processed: 15/27检测到语言: en别担心,我会好好照顾它的。Processed: 16/27检测到的语言: en只有一个问题。已处理: 17/27检测到的语言: 你打算用这个做什么?已处理: 18/27检测到的语言: en那么,我们正在谈论数百万人的伤亡?已处理: 19/27检测到的语言: en我们正在改变路线。现在.Processed: 20/27检测到的语言: en你可以停下来了,Leon.Processed: 21/27检测到的语言: en不会让我使用这个。Processed: 22/27检测到的语言: en你愿意吗? /27检测到的语言: en非常流畅。啊,Leon.Processed: 26/27检测语言: en你知道我不工作和讲述。
请注意,whipper 会在此处报告警告。如果你觉得不好看,可以修改timing.py的第58行:
修改前@numba.jitdef backtrace(trace: np.ndarray):修改后@numba.jit(nopython=True)def backtrace(trace: np.ndarray):
随后,运行网页预处理接口:
python3 webui_preprocess.py
然后按照页面上的说明进行操作:
至此,数据预处理结束。
Bert-vits2-2.3 训练和推理
在根目录下运行命令:
python3 train_ms.py
模型将在models 目录中生成:
E:\work\Bert-VITS2-2.3\Data\ada\modelstree/fFolder 卷myssdVolume 的路径列表序列号为7CE3-15AEE: G_150.pth
然后打开推理页面进行推理:
python3 webui.py
新的推理页面增加了利用辅助文本的语义来辅助生成对话(语言与主体文本保持一致),即以提示词的形式来定制生成语音的风格。
但不能使用命令性文字(如:快乐),而应使用带有强烈情感的文字(如:我太高兴了!)
这就导致生成的语音情感风格比较形而上:
因为要不断调整提示来测试效果,所以不如之前拍手的情感音频提示那么直观,但客观地说,BERT语义文本引导的风格化情感语音还是有一定效果的。
结论
在更新Bert-vits2系列基础教程的同时,我也学到了很多东西。毫无疑问,Bert-vits2让更多人领略到深度学习的魅力。是一个极其优秀的人工智能入门项目,兴趣永远是最重要的。老师好,鼓励一下大家,最后献上Bert-vits2-2.3-Final集成包:
集成包链接:https://pan.baidu.com/s/182LZCu5cyR3nH8EoTBLR-g?pwd=v3uc
用户评论
终于来了!一直期待着Bertvits22.3Final,这个整合包把MOD里我最喜欢的要素都融合了简直不要太棒!特别喜欢这次升级后的女主角CG画面,细节处理到位 banget!
有7位网友表示赞同!
看到标题就忍不住激动!生化危机艾达王这个游戏的mod总是那么好玩,期待这次的最终版能再体验到更多新鲜感。听说这次加入了全新的场景?我要赶紧去试试!
有19位网友表示赞同!
Bertvits2一直是玩Biohazard修改包的首选,每个版本都让我惊艳不已。这次的整合包更是如此,希望开发者能够继续开发,带给我们更多惊喜。
有19位网友表示赞同!
虽然我承认这个整合包画面做的很棒,但总感觉剧情和角色关系变化有点突兀。或许是我习惯了原作的走向吧?不过整体来说还是值得下载体验一下
有17位网友表示赞同!
刚试了一下Bertvits22.3Final,感觉游戏变得非常流畅了!特别是对艾达王的服装设计简直太赞了,性感又不失专业的感觉,让人爱不释手。希望以后能加入更多类似的MOD。
有11位网友表示赞同!
这个整合包确实厉害,各种改进都做得很好,但最大的缺点就是游戏难度似乎被降低了不少。曾经挑战过的副本,现在变得容易了许多,感觉失去了之前的刺激感。
有11位网友表示赞同!
我是一名资深玩家,对艾达王有太多执着记忆了。每次看到新的整合包都会忍不住下载试玩,这一次的Bertvits22.3Final也不例外。画面精美,玩法也更加完善,但有些细节改变让我觉得不够原汁原味.
有18位网友表示赞同!
我是一个mod小白,今天才接触到Bertvits22.3Final。一开始有点迷茫,不过经过一番试玩,发现这个整合包非常友好新手玩家,教程清晰易懂,游戏体验也十分流畅!
有8位网友表示赞同!
之前一直用Bertvits VRChat的MOD,这次看到最终版生化危机整合包,终于可以试试了!听说加入了许多新的武器和剧情内容,期待探索更丰富的世界线。
有19位网友表示赞同!
对于热爱艾达王这款游戏的玩家来说,Bertvits22.3Final绝对是不容错过的宝藏。它完美地结合了游戏原本的要素和最新的MOD技术,带来了全新的体验!
有13位网友表示赞同!
感觉这次整合包画面提升很明显,但有些部分操作感觉有点别扭?像是角色移动和攻击的节奏变化太大,需要多练几次才能适应。希望下次更新能改善一下这个问题。
有15位网友表示赞同!
我一直认为Bertvits做的MOD都非常的优秀,这次的最终版也不例外!不过作为老玩家,我还是比较想念之前版本的剧情走向,现在的修改感觉有点偏离了原游戏的故事设定,可惜了!
有10位网友表示赞同!
太感谢开发人员的工作了!这个整合包让我重燃了我对生化危机的热爱,各种改进都做得非常好,从画面、音乐到游戏机制,都能感受到满满的爱心!希望以后能够继续更新支持!
有7位网友表示赞同!
玩完Bertvits22.3Final后我有点失望,因为它并没有像宣传的那样带来质的变化。感觉很多改动只是锦上添花,核心玩法还是和原作没太大区别。这让我觉得物超所值。
有17位网友表示赞同!
最近一直在关注这个整合包的更新,终于等到了最终版!下载体验了一下,确实惊艳了!画面细节非常精致,游戏内容也更加丰富多彩,强烈推荐给所有喜欢生化危机的玩家!
有6位网友表示赞同!
我个人比较不喜欢这次改造的角色造型,感觉和官方版本相比显得不够成熟稳重,特别是艾达王的角色设计让我有点接受不能。其余部分还不错。
有18位网友表示赞同!
整合包总体来说不错,但游戏帧率偶尔会有波动,影响了我的游戏体验。希望开发者能够尽快解决这个问题,带来更加流畅的游戏环境!
有13位网友表示赞同!