[AI] 华为诺亚方舟实验室声明:盘古Pro MoE开源模型基于昇腾硬件创新开发

[复制链接]
12 |0
数字前沿 发表于 前天 20:09 | 显示全部楼层 |阅读模式    IP属地:广东东莞
华为诺亚方舟实验室今日发布声明,就盘古Pro MoE开源模型的相关讨论作出回应。声明指出,盘古Pro MoE开源模型是基于昇腾硬件平台进行开发、训练的基础大模型,并非基于其他厂商模型进行增量训练。

盘古团队在声明中强调,盘古Pro MoE在架构设计和技术特性上进行了关键创新,是全球首个面向昇腾硬件平台设计的同规格混合专家模型。该模型创新性地提出了分组混合专家模型(MoGE)架构,有效解决了大规模分布式训练的负载均衡难题,显著提升了训练效率。

同时,盘古团队也承认,在盘古Pro MoE开源模型的部分基础组件代码实现中,参考了业界开源实践,涉及了其他开源大模型的部分代码。但团队严格遵循了开源许可证的要求,在开源代码文件中清晰标注了开源代码的版权声明。这一做法不仅符合开源社区的通行规范,也体现了业界倡导的开源协作精神。

华为诺亚方舟实验室表示,将始终坚持开放创新的理念,尊重第三方知识产权,同时提倡包容、公平、开放、团结和可持续的开源理念。实验室感谢全球开发者与合作伙伴对盘古大模型的关注和支持,并表示将高度重视开源社区的建设性意见。

实验室还希望通过盘古大模型的开源,与志同道合的伙伴共同探索并不断优化模型能力,加速技术突破与产业落地。同时,欢迎并期待大家在开源社区Ascend Tribe就技术细节进行深入、专业的交流。
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

热门版块
数码资讯
最新数码动态,尽在掌握。
快速回复 返回顶部 返回列表