首页 首页 资讯 商业 查看内容

开源助推AI技术落地

2023-12-4 09:27| 发布者: CEO在线| 查看: 563| 评论: 0

摘要:   ◎本报记者 操秀英   近日,浪潮电子信息产业股份有限公司(以下简称浪潮信息)发布千亿级开源大模型“源2.0”。“源2.0”创新采用局部注意力过滤增强机制(LFA),可以有效捕捉局部信息和短依赖信息,使模型能够 ...

  ◎本报记者 操秀英

  近日,浪潮电子信息产业股份有限公司(以下简称浪潮信息)发布千亿级开源大模型“源2.0”。“源2.0”创新采用局部注意力过滤增强机制(LFA),可以有效捕捉局部信息和短依赖信息,使模型能够更精准地掌握上下文之间的强语义关联,学习人类语言习惯范式本质,大幅提升数理逻辑、数学计算、代码生成能力。

  浪潮信息于2021年9月在业界率先推出了中文人工智能(AI)巨量模型“源1.0”,参数规模高达2457亿。浪潮信息人工智能软件研发总监吴韶华介绍,比起“源1.0”,“源2.0”在算法、数据、计算等方面都实现了创新。在算法上,该模型基于LFA。有别于传统Transformer模型结构擅长捕捉全局信息和长依赖信息能力的特点,LFA具备有效捕捉局部信息和短依赖信息的能力,可确保模型更精准地学习人类语言范式本质。

  在数据处理方面,“源2.0”通过使用中英文书籍、论文等资料,结合高效的数据清洗流程,为大模型训练提供了高质量的学科专业数据集和逻辑推理数据集。除此之外,浪潮信息提出基于单元测试的数据清洗方法,可更高效地获取高质量数据集,提高训练效率。“有限的算力资源下,训练数据的质量直接决定了模型的性能。”吴韶华说,“‘源1.0’绝大部分的数据来源于网页,虽然我们花费了很大力气清洗,但数据质量确实需要进一步提高。‘源2.0’减少了网页数据,增加了书籍、期刊等的数据,并引入代码和数学数据,使模型数理逻辑能力进一步增强。”

  不仅如此,“源2.0”还将实行全面开源(模型全开源、免费可商用、无需申请授权)。对此,浪潮信息高级副总裁刘军表示,从计算机科学与人工智能的发展历程来看,开源始终对软件技术乃至IT技术的发展有巨大的推动作用。“Meta公司的LLaMA大模型开源之后,迅速吸引了大量开发者。”刘军说,在国内,开源开放是促进AI技术发展和商业落地的重要手段,大模型的开源开放可以使不同的模型之间共享底层数据、算法和代码,有利于打破大模型孤岛,促进模型之间的协作和更新迭代,推动AI开发更加灵活高效。

  刘军认为,开源开放有利于推进“技术+行业”的闭环,以更丰富的高质量行业数据反哺模型,打造更强的技术产品,并加速其商业化进程。

  刘军透露,未来,依托浪潮信息在AI算力平台等方面的长期技术积累,“源2.0”将持续为大模型创业者和开发者提供更加丰富、全面的助力和更加开放的技术创新空间。

分享至:
| 收藏

公司 & 人物

ADAYO华阳与地平线达成战略合作 助力智能网联汽车发展
ADAYO华阳与地平线达成战略合
  4月19日,2021上海国际汽车工业展览会在国家会展中心(上海)如期举行,ADAYO华阳携
重磅!小浣熊被评为“福建省抗击新冠肺炎疫情先进民营企业”
重磅!小浣熊被评为“福建省抗
  近日,福建省工商业联合会、福建省光彩事业促进会下发《福建省工商业联合会关于对
热烈庆祝 | 青李人力青岛分公司隆重开业
热烈庆祝 | 青李人力青岛分公
  2021年3月6日,文艺复兴集团旗下——青李人力青岛子公司隆重开业。青李人力总部位
全程管家更省心!业之峰“2021全年第一签”来了
全程管家更省心!业之峰“2021
  装修工程环节多、工期长,让人疲于奔命,一不小心还容易掉入各种消费“陷阱”。