【学会新闻】医学大数据与人工智能技术专委会副主委郑海涛副教授团队在大规模语言预训练模型前沿领域取得新进展

China120

马上下载

【学会新闻】医学大数据与人工智能技术专委会副主委郑海涛副教授团队在大规模语言预训练模型前沿领域取得新进展

2024-06-11
广东省器官医学与技术学会
【学会新闻】医学大数据与人工智能技术专委会副主委郑海涛副教授团队在大规模语言预训练模型前沿领域取得新进展

期刊   Nature Machine Intelligence

近日,郑海涛副教授团队在大规模语言预训练模型前沿领域取得新进展,提出从参数优化和最优控制两个角度提出了增量微调的理论框架并基于统一的分析框架对增量微调现有方法进行梳理总结,为探索和解释增量微调的内在机理提供了可行方案。相关研究成果以“面向大规模预训练语言模型的参数高效微调”为题作为封面文章发表在国际期刊《Nature Machine Intelligence》(If= 25.898)。
【学会新闻】医学大数据与人工智能技术专委会副主委郑海涛副教授团队在大规模语言预训练模型前沿领域取得新进展
论文链接: 
https://www.nature.com/articles/s42256-023-00626-4

郑海涛副教授长期深耕于人工智能和语义挖掘领域理论和应用的研究工作,在智能计算和知识工程领域有着深厚的研究基础。带领团队所获研究成果处于世界领先地位并已经得到了国内外同行的认可,已在ICLR、ACL、EMNLP、AAAI、IJCAI、TKDE、Information Sciences等权威国际顶级会议/期刊上共发表论文100余篇,包括CCF A类论文30多篇,引用数超过5000次,带领团队获得2019年VALSE年度杰出论文奖, 2022年ACL最佳系统展示论文奖,以及2022年中国计算语言学大会(CCL’22)一等奖;带领团队提出了被誉为轻量级卷积神经网络的桂冠的 ShuffleNet V2, 提出业界首个统一范式的提示学习编程框架OpenPrompt,在 Github 上已经获得了超过2500 星标,获得业内高度认可。

此次论文研究成果提出的参数高效适配的统一框架:Delta Tuning,在千亿级模型上最多节省10000倍存储开销,对于我国自主研发万亿级预训练大模型起到极大帮助。

随着时代的发展,医疗大数据的应用及价值体现越来越受到关注。而医疗大数据规模庞大、增长快速、结构多样和价值密度多维、可信性要求高、安全社会关注度高等特点,对医疗大数据的数据治理提出了更高的要求。医疗大数据中大约80%的医疗数据是自由文本构成的非结构化数据,其中不仅包括大段的文字描述,也包括包含非统一文字的表格字段。而通过医学NLP技术,将非结构化医疗数据转化为适合计算机分析的结构化形式是医疗大数据分析的基础。

接下来,专委会将秉持“资源聚合、学术为先、高质量发展”的理念,联动专委会医学界、AI界等多方优势资源,构建一个融合前沿AI技术与医疗大数据的科创平台,开展基于前沿AI技术的医疗大数据分析与研究,并在临床辅助诊疗、药品研发与临床试验、健康管理和疾病预防等医疗场景开展创新应用,为产业研发、政府治理、居民健康应用提供有力支撑,为医疗卫生健康产业、人民健康事业的全面发展做出更大贡献。

专家    郑 海 涛
【学会新闻】医学大数据与人工智能技术专委会副主委郑海涛副教授团队在大规模语言预训练模型前沿领域取得新进展
清华大学副教授、博士生导师

广东省器官医学与技术学会医学大数据与人工智能技术专委会副主委
清华大学深圳国际研究生院知识工程研究中心学术带头人
清华大学深圳国际研究生院智能语义挖掘技术工程实验室副主任
AAAI 2023 分会主席
长期担任国际顶级期刊/会议NIPS、ACL、KDD、TKDE、TOC、TIT的审稿人
担任2010年和2012年中国语义网会议组委会主席

广东省器官医学与技术学会
广东省器官医学与技术学会是经广东省民政厅批准正式成立的广东省一级学会,业务主管单位是广东省科学技术协会。

想了解学会更多的交流活动,请点击下面关注我们吧!

来源:学会医学大数据与人工智能技术专委
编辑、初审:郑英姿
审核:石冰
广东省器官医学与技术学会
gdsomt.china120.com
投诉
点赞是美意,打赏是鼓励
匿名打赏

举报

色情
反动
违法信息
人身攻击
违规有奖活动
不实信息
其他

举报