42k Stars！微软开源语音AI登场：1分钟克隆声音、60分钟轻松转写

微软最近做了一件大事：将自家语音AI模型VibeVoice正式开源。项目在GitHub上迅速升至42k Stars，仅今天就增加771颗，开源圈再次被微软"背刺"了。

最引人注目的能力是：仅提供1分钟音频样本，VibeVoice就能完整克隆你的声音。生成结果并非明显失真的机械音，而是能保留音色、语调和停顿习惯的数字分身。

这意味着内容创作者只需录制一期播客，之后便能用自己的声音通过AI生成文章配音、字幕配音和视频旁白，不必再面对麦克风反复录制三四遍。

VibeVoice-ASR还有一项突出能力：一小时以内的音频无需切分，就能直接完整转写，并附带说话人分离、时间戳标注和自定义热词。无论整理播客、制作会议纪要还是记录法律访谈，都十分契合。

过去处理长音频转录，要么分段后损失上下文连贯性，要么使用付费API云服务；如今一个开源模型即可全部完成。

体量最小的VibeVoice-Realtime仅有0.5B参数，用一张消费级8GB显卡即可运行，既不用排队等待API，也不必担忧数据上云造成隐私泄露。Colab还提供现成notebook，按照步骤操作，5分钟就能启动。

如果更看重质量，1.5B与7B版本的效果会更好；只要GPU显存充足，就值得尝试。

这个消息传出

后，GitHub上的相关项目与教程明显增多。有人用于声音转换，有人制作多语言配音，也有人开发无障碍辅助工具。开源社区的价值就在于，一个底座模型可以衍生无数种玩法。

VibeVoice背后包含连续语音tokenizer、超低帧率以及扩散模型结合LLM等整套技术栈。技术细节虽然硬核，实际落地后却是任何人都能使用的工具。

上手门槛确实不高：GitHub提供完整文档和Colab Demo，只要会一点Python并拥有显卡即可运行；若不会本地部署，也能直接从Hugging Face下载模型权重。

客观来说，微软此次开源语音AI会给整个行业带来较大冲击。原有收费语音合成服务今后可能需要降价或提升质量，而普通用户则多了一个可免费使用的强力选择。

本文参与腾讯云自媒体同步曝光计划，内容分享自微信公众号。原始发表日期为2026-04-28，如有侵权请联系[email protected] 删除