点击右上角微信好友

朋友圈

请使用浏览器分享功能进行分享

正在阅读:数字技术与大语言模型时代
首页> 社科 > 正文

数字技术与大语言模型时代

  作者:陈晓东(中国社会科学院工业经济研究所研究员)

  在人类发展史上,由于技术进步带来的全新产品与服务,不仅满足了既有的需求还创造了新的需求。随着数字技术的广泛应用,以智能化为特征的第四次工业革命已经悄然出现。ChatGPT由于具备了较为流畅的逻辑性对话和交互能力,体现出具有高水平结构复杂性和大量参数的大模型可以实现深度学习,一经问世就备受市场关注。从本质上讲,这种大模型是大语言模型(LLM),具有大规模参数和复杂网络结构,引发了人工智能生成内容(AIGC)技术的质变。与传统语言模型不同,大语言模型通过在大规模语料库上进行训练来学习语言的统计规律,能够自动学习语法、句法、语义等多层次的语言规律。人工智能的大语言模型参数一般有1亿多个,且这一标准还在不断提高,而比大语言模型更大、更复杂的人工神经网络模型,通常拥有数万亿到数十万亿个参数的超大模型。超大模型通常被用于解决自然语言处理(NLP)中的问答和机器翻译、计算机视觉中的目标检测和图像生成等更为复杂的任务。从人工智能的生成角度来看,其模型可以根据文本提示生成代码,还可以解释甚至在某些情况下调试代码。这一过程不仅可以实现文本、图像、音频、视频的生成并构建多模态,还可以在更为广泛的领域生成新的设计、知识和思想,乃至实现广义的艺术和科学再创造。

  大语言模型的训练需要大量的计算资源和数据。OpenAI就用了数万台CPU、GPU(图像处理单元)和多种技术对其模型进行优化调整。2018—2023年,OpenAI的大语言模型实现了数次迭代;OpenAI还提供了API接口,使得开发者可以利用大语言模型进行NLP的应用开发。这是在数学、统计学、计算机科学、物理学、工程学、神经学、语言学、哲学、人工智能等诸多学科融合基础上的一次突变。正如谷歌研究院、斯坦福大学和DeepMind联合发表的《大语言模型的涌现能力》中所提及的:“许多新的能力在中小模型上线性放大规模都得不到线性的增长,模型规模必须呈指数级增长并超过某个临界点,新技能才会突飞猛进。”因此,大语言模型的训练和调整需要极其巨大的算力、算法、数据、技术以及超大规模的投入与协作,而前三者作为人工智能的三要素,在产业数字化的智能升级进程中发挥着巨大作用。其中,数据是生产资料,算法代表新生产关系,算力作为新生产力支撑着算法和数据,而算力水平又直接决定数据处理能力的强弱。在复杂的算力场景中,如何组合不同的算力类型,是降低成本并最终得到市场认可的关键。

  当前,算力已成为全球主要国家的战略布局核心,更成为全球战略竞争新焦点,对于我国在推进新型工业化过程中抢占新一轮科技革命和产业变革制高点同样具有深刻意义。大语言模型对算力的要求更多地聚焦在智能算力上,预计到2026年,中国智能算力规模将达1271.4 EFLOPS(即每秒浮点运算次数),年复合增长率达52.3%。随着“东数西算”工程与新型基础设施等政策出台,我国算力整体布局从东部地区开始逐渐向中西部地区延伸,因此要鼓励有条件的地区因地制宜探索试点算力新领域。在加大算力作为经济发展重要底层支撑的同时,还要着力培育并加快建立我国人工智能发展的完整生态。OpenAI专注于大语言模型研发,算力由微软公司完成,数据由专门公司负责清洗……OpenAI正是在整个人工智能生态中完成了大语言模型开发,这样的多方协作生态不断促使各参与主体的自主创新与协同发展。发展我国大语言模型,必须建立一个统一的大语言模型平台和基座,对接国产算力公司并做好接口,让所有企业都可以参与使用,这样才能促进人工智能尤其是大语言模型的生态链建设,在同经济社会发展深度融合中推动我国新一代人工智能健康发展。

[ 责编:李彬 ]
阅读剩余全文(

相关阅读

您此时的心情

光明云投
新闻表情排行 /
  • 开心
     
    0
  • 难过
     
    0
  • 点赞
     
    0
  • 飘过
     
    0

视觉焦点

  • 畅通物流通道 助力区域经济发展

  • 北京:中关村展示中心常设展

独家策划

推荐阅读
奔跑吧·少年2024年内蒙古自治区棒垒球邀请赛在鄂尔多斯市康巴什区开赛。
2024-04-20 17:03
4月2日,随着57652次检测车从南充北站5道缓缓驶出,标志着新建汉中至巴中至南充铁路南充至巴中段(以下称"巴南高铁")启动联调联试,进入工程验收关键阶段,为全线早日开通奠定了坚实基础
2024-04-03 15:11
为切实织密森林“防火网”各地组织人员巡查防火。
2024-04-03 15:11
2024年3月31日,“知音湖北 遇见浪漫孝感”春赏花活动在湖北省孝感市金卉庄园景区启动。金卉庄园花团锦簇,五彩斑斓花卉竞相绽放。人们穿梭在花海之间,享受明媚春光。
2024-04-02 15:40
2024年3月23日,由中国服装设计师协会主办的2024秋冬中国国际时装周在北京开幕。
2024-03-26 21:07
3月17日,原创独立设计师品牌SHANG1 BY SHANGYI 2024秋冬系列时装发布会在北京举行。
2024-03-18 16:39
2024年2月28日,新疆维吾尔自治区巴音郭楞蒙古自治州博湖县境内的博斯腾湖出现推冰景观。
2024-02-29 18:59
云南省曲靖市罗平县马街镇钻天坡,盛开的油菜花梯田在初升太阳映照下,勾勒出一幅田园春景图
2024-02-23 10:59
美丽的三亚湾
2024-01-20 17:42
2024年1月12日,江西省吉安市吉州区庐陵文化生态园层林尽染,色彩斑斓,市民徜徉其间,尽享生态之乐。
2024-01-13 19:43
2023年12月26日,在云南省红河哈尼族彝族自治州元阳县新街镇黄草岭村附近,游客在冬樱花与梯田边游览。
2023-12-26 15:39
2023年12月12日,新疆哈密市巴里坤县第十九届冰雪文化旅游节采冰仪式在高家湖二渠水库进行。仪式主要展示了"头冰"的开采上岸过程。开幕式上还举行迎风旗、祈福词、喝出征酒等仪式。
2023-12-13 16:08
2023年12月13日,河北省正定古城迎来降雪,古城内外银装素裹,犹如一幅淡雅的水墨画,美如画卷。
2023-12-13 15:59
2023年11月28日,贵州省六盘水市明湖国家湿地公园层林尽染,景色迷人。
2023-11-29 15:42
2023年11月28日,江西吉安长塘镇中心小学,老师指导学生剪纸。
2023-11-29 15:42
三角梅原产于巴西,现主要分布在中国、秘鲁、阿根廷、日本、赞比亚等国家和地区。其中,以海南三角梅最为出名。
2023-11-29 11:13
2023年11月23日清晨,朝霞初现,三峡库区湖北省宜昌市秭归县沿江公路G348国道的绝壁岩体上,工人们正在铺设防护网,以防止岩崩和落石。
2023-11-24 15:15
2023年11月23日,黑龙江哈尔滨,哈尔滨站工作人员正在清理站台积雪。
2023-11-23 16:02
2023年11月21日,甘肃敦煌,首趟"敦煌号"铁海联运国际货运班列装载1000吨石棉驶出,经天津港通过铁海联运发往泰国曼谷。
2023-11-21 16:55
2023年11月21日,江苏省如皋市龙游河生态公园,色彩斑斓的树木与一河碧水相应成趣。
2023-11-21 16:55
加载更多