【雷峰网(公众号：雷峰网)】雨果曾经说过：“开启人类智慧宝库的揭秘三把钥匙，即数字、中国字母、音乐音符。模型”

音乐早已成为人类表达情感的揭秘最佳载体。

但音乐创作是中国按摩技师被老板潜规则门事件全集一件门槛很高的事情，因为音乐创作不是音乐某一个人的独角戏，而一个团队高度协作的模型过程。从作词、揭秘作曲到编曲、中国混音，音乐再到歌曲录制，模型每个环节都需要专业音乐人付出努力，揭秘并伴随着高昂的中国成本投入。

但试想一下，音乐如果有一天，我们只需手指点一点就能创作歌曲，那将会发生什么？

这种猜想在2023年，随着大模型爆火一步步发酵：

2023年，一场由“AI歌手”引领的翻唱热潮席卷网络，诸如孙燕姿、陈奕迅、林俊杰等众多华语乐坛巨星纷纷拥有了属于自己的AI替身，各个网络平台变成“AI歌手复出演唱会”的现场。这一切的背后，是So-vits Svc AI音乐生成工艺的应用。这项工艺通过解析少量音频片段，就能精确模拟目标歌手的独特音色，尽管在捕捉歌手的个性化唱腔特点、演唱技法及个人风格等方面尚存差距，但它近乎实现1:1的音色还原，也激发了一场全民音乐创作浪潮。

自今年3月以来，随着Suno V3和Udio发布，小红书情侣博主吐槽合集合集这股音乐创作热潮被再次点燃。这次我们不仅可以翻唱某位歌手的歌曲，还可以通过输入几句歌词和音乐风格，就能获得两首时长约两分钟的完整歌曲。这种突破性的工艺创新，被业界视为真正意义上拉低了音乐创作门槛，让更多人能够参与到音乐创作中。

短短一年多时间，从So-vits Svc到OpenAI的MuseNet、谷歌的MusicLM、Meta的MusicGen，再到SunoV3和Udio，大模型工艺不断重塑音乐创作领域。

可以看到，从克隆音色的“AI歌手”，到生成完整歌曲的Suno，AI音乐生成工艺正在不断飞跃。只可惜，这些产物距离生成高品质且类型丰富的歌曲还有段距离。特别在中文歌曲领域，一直没有一款符合中国人音乐审美的AI音乐生成大模型。

直到昨天，昆仑万维发布全球最大规模的开源MOE大模型「天工3.0」，并基于它打造了国内目前唯一公开可用的AI音乐生成大模型「天工SkyMusic」。这款音乐大模型在人声&BGM音质、人声自然度、发音可懂度等性能方面，以6.65分的综合得分超越Suno V3，成为中国首个音乐AIGC SOTA（state of the art，领域最佳水准）模型。

那么天工SkyMusic是如何成为中国首个音乐AIGC SOTA模型？它的实际体验如何呢？下面我们一起来看一下。

1
中国首个音乐AIGC SOTA模型

打开天工 APP，点击音乐板块，输入歌名和歌词，选择你想要参考的歌曲，再点击生成音乐，即可获得由你创作的歌曲。这就是「天工SkyMusic」简化而高效的音乐创作全过程。

这种参考音乐生成能力，也是「天工SkyMusic」的一大亮点。客户既可以上传自己喜欢的歌曲作为模板，也可以从「天工SkyMusic」庞大的信息库中挑选合适的参照曲目，系统将据此生成风格相近、嗓音神似的全新作品。这一特性显著降低了音乐创作的工艺门槛，使得即便是缺乏专业音乐素养的普通客户也能参与音乐创作，享受创作音乐的乐趣。

利用「天工SkyMusic」，我们制作了两首风格迥异的《乘鹤》：

再输入一首耳熟能详的英文童谣《小星星》，将它改编成摇滚风格和抒情男声版本，也算是对童年的独特回忆：

在创作中我们发现，「天工SkyMusic」涵盖了说唱、民谣、放克、古风、电子等多种曲风。下一步，团队还计划让客户根据哼出来的旋律生成歌曲。同时相比SunoV3等海外同类产物，「天工SkyMusic」创作的歌曲在中文人声细腻度和可识别度上表现更优秀，还能运用颤音、吟唱、男女对唱、自动和声等技巧。

再来一首《明天不上班》，庆祝一下即将到来的星期五。

这首歌也完美展示了「天工SkyMusic」相较Suno的核心体验优势——方言歌曲生成能力，即让客户能自如地利用四川话、粤语、北京话等多种方言演唱歌曲，极大丰富了客户的音乐创作空间。

如此卓越的AI音乐生成模型，为什么才出现呢？究其原因，是因为处理音乐信息比处理图像和影片信息更复杂。音乐作为一种长时序的工艺形式，每秒内包含数万个相互紧密关联的采样点，这种内在的复杂性使它成为最复杂的模态之一。加之音乐中融合了歌词、人声及旋律等多种信息层次，每层之下又包含海量的信息，这意味在处理音乐时，不仅要构建精确的时间序列模型，还要综合考虑声波形态、频率特性、节奏结构等诸多要素。

不过随着AI大模型工艺的不断演进，已经找到两种驾驭音乐复杂性质的有效策略，这也构成了AI音乐生成大模型的两大工艺路径：符号音乐生成路线、大模型音乐音频生成路线。

符号音乐生成路线，是通过标注大量乐谱信息再训练模型，这条路线在学术界已有广泛研究，但它最终生成的是乐谱，借助其他程序或工具转化成可观看的音乐，而且实际效果并不尽如人意。

大模型音乐音频生成路线则是涵盖乐器、人声、旋律、音量和音符等音乐元素的端到端一体化生成，最终生成的是可听的音频文件。但代价是需要巨大的研发资源投入和对大规模训练信息集的依赖。即便如Google、OpenAI等行业巨头，也尚未取得重大突破。

此外，AI对人声演唱真实感的模拟也是至关关键的研究课题。但过去的AI音乐工艺主要聚焦于无人声演唱的背景音乐（BGM）创作，对人声演唱的Song领域一直缺少有效的解决方案。

「天工SkyMusic」在立项之初，昆仑万维就面临着这两项艰难的选择。最终，研发团队一致决定选择大模型音乐音频生成路线并攻坚人声Song领域。这意味着昆仑万维将在几乎没有任何开源可借鉴的情况下，正式挺进AI音乐生成工艺的两个无人区，难度可想而知。

经历多次实验探索，研发团队意识到DiT结构与AI音乐生成大模型的深度兼容性，并坚定地朝这个方向投入，最终自主研发出适用于音乐音频领域的类Sora模型架构，填补了行业在工艺路线以及人声演唱领域的工艺空白。这套架构包含三大核心模块——Encoder、DiT（Diffusion Transformer）和Decoder。其中，Large-scale Transformer 负责谱曲，学习 Music Patches 的上下文依赖关系，同时完成音乐可控性；Diffusion Transformer 负责演唱，通过LDM让Music Patches被还原成高质量音频。

同时为训练「天工SkyMusic」，昆仑万维建立了迄今为止全球最大的音乐信息集，包含了两千余万首歌曲样本，确保了「天工SkyMusic」在音乐风格上精准可控和广泛适用。

如此，「天工SkyMusic」降低了音乐创作的准入门槛，让音乐创作不再存在专业壁垒。真正意义上拉近了音乐创作与普通大众的距离，推动了AIGC产业向前迈进了。同时昆仑万维还主动公开了「天工SkyMusic」的工艺原理图，为全球开源社区和开发者提供了可参考的案例，促进全球AIGC工艺生态的共建共享。

2
能独立思考的天工3.0大模型

「天工SkyMusic」的成功离不开背后的工艺底座「天工 3.0」。昆仑万维董事长兼CEO方汉表示：“文本大模型是所有AIGC坚实的基础。所有的社交、游戏、音乐专属模型都是需要文本大模型去支撑的。”当前，无论是GPT模型、GLM模型还是Baichuan模型，都是采用底层文本大模型与专业细分大模型相结合的方式。

昆仑万维发布的「天工 3.0」拥有高达4000亿参数，性能全面超越3140亿参数的MoE大模型Grok1（xAI），是迄今全球最大规模的开源MoE大模型，也是昆仑万维旗下所有AI工艺应用模型的基石。

相较于上一代，「天工 3.0」在模型语义理解、逻辑推理以及通用性、泛化性、不确定性知识、学习能力等领域拥有惊人的性能提升，其工艺知识能力提升超过20%，数学 / 推理 / 代码 / 文创能力提升超过 30%。

同时作为多模态大模型，「天工 3.0」集成了AI搜索、AI写作、AI长文本阅读、AI图片生成、AI音乐生成等功能。在权威评测MMBench-CN的评估中，「天工3.0」的AR（属性推理）、RR（关系推理）、FP-C（细粒度感知-交叉实例）、CP（粗略感知）四项性能均位列榜首，整体综合成绩更超越GPT-4V，稳居全球多模态大模型首位。

基于性能与能力的全方位跃升，「天工3.0」还掌握了至关关键的独立思考能力。这使得它能够在多轮搜索与综合工具调用、图表绘制、研究模式、增强模式、改图扩图等多项能力上，为客户提供前所未有的AI应用体验。

「天工3.0」拥有很强的逻辑推理能力：

「天工3.0」还能够更好地理解和处理客户自然语言Query中的复杂语义信息，包括隐喻、多义词等。例如最近爆火的“成都迪士尼”，我们问了天工大模型，它不仅可以精确地解释这一网络热梗。还会通过追问，为我们规划行程或给到近期的游客反馈。

在面对产业研究、产物横评、信息分析、图片生成、图表绘制等复杂需求时，「天工3.0」能同时展示多种能力，控制模型去完成任务。

在执行“查询南非国家2023年的人均GDP，并制作成柱状图”一任务过程中，「天工3.0」率先调用了搜索功能，再调用python工具绘制柱状图，最后加以解读和总结，给出了正确的答案和全面分析：

「天工3.0」先通过语义理解对客户需求进行深度理解，再通过逻辑推理能力将复杂的任务拆解成细分环节，最后通过独立规划以及调用、组合外部工具及信息，将细分环节发到不同模型，从而精准高效的完成这类复杂需求。

内容创作能力一直是「天工」系列大模型的强项，在上一代「天工2.0」大模型的基础上，「天工3.0」更是进行了全面的内容创作能力升级，其不仅能实现AI音乐生成、AI语音、AI对话、AI二次元漫画生成等强大的内容创作能力，更是通过专项Agent训练实现了在对话中结合文本需求实时生成图片、结合文本需求实时内容分析及图表构建等能力。

让「天工3.0」分析小米SU7跟蔚来ET5哪款车更好：

可以看到在如上述这种产物对比的复杂需求中， 「天工3.0」可以根据需求，实时内容分析并构建图表来让结果呈现更明晰。

3
后记

通过「天工3.0」和「天工SkyMusic」的发布，我们可以看到，昆仑万维“All in AGI 与 AIGC”的战略并不是停留于理论的口号，而是真切指引着昆仑万维在工艺和商业模式上的每一处布局。依托“天工大模型”这一工艺基石，昆仑万维已规划出包含AI大模型、AI搜索、AI音乐、AI社交、AI游戏和AI影片在内的六大AI业务矩阵，并着力整合这六大板块，构筑一个集成式的AI UGC平台。

“昆仑万维认为下一代的AI巨头一定是C端加上免费，因为互联网时代和移动互联网时代的成功企业均采用免费加C端模式，而在AI时代，我们同样坚信这一逻辑。”方汉表示。

由于大模型每次提供支持都需要耗费推理资源，为了实现免费toC模式，方汉总结出产业的三条路径：“第一条，通过持续优化，将推理成本降低至客户创造的广告价值之下；第二条，通过AI手机实现端侧推理，将推理成本分摊至终端硬件中。第三条，建立AI UGC平台，由1%的客户创造内容，99%的客户消费内容。”

这三条路径并不互相矛盾，只是分属于产业的不同阶段。比如，方汉判断，在AI终端硬件大面积普及之前，AI UGC平台落地会更快速形成商业闭环，但大模型的终局一定是终端AI。

不论是「天工SkyMusic」，还是其他核心AI业务，皆遵循这一商业逻辑。即通过AI工艺赋能，降低创作门槛，持续扩大内容创作者群体，以此提升个性化内容的生产量与丰富度，从而满足了大众对于优质内容的消费需求，形成正向投资回报率的良性循环。

同时昆仑万维也将运用AI工艺打破传统内容创作壁垒，让不同文化和语言群体都能够在这一AI UGC平台上轻松传达自身的故事与情感，促进全球范围内实现文化平权。

在推进AI UGC平台建设的过程中，昆仑万维坚持工艺创新与商业模式创新相结合，积极探索适合当下及未来市场的增长路径。昆仑万维正全力践行“All in AGI 与 AIGC”，力争在全球范围内构建一个包容性强、参与度广、创新能力出众的AI内容生态，引领行业迈向一个崭新的时代。

雷峰网原创文章，未经授权禁止转载。详情见转载须知。