清华唐杰：从千亿模型到ChatGPT的一点思考丨YEF特邀报告

简介：唐杰(ACM/AAAI/IEEE Fellow)，清华大学计算机系教授，获国家杰青。研究人工智能、知识图谱、数据挖掘、社交网络和机器学习。  发表论文300余篇，获ACM SIGKDD Test-of-Time Award（十年最佳论文），主持研发了千亿级开源双语预训练模型GLM-130B，性能与 GPT-3原版基座模型相当，全球已有53个国家369家机构申请使用，并在此基础上研发了类ChatGPT的产品ChatGLM。还研发了研究者社会网络挖掘系统AMiner，吸引全球220个国家/地区3000多万用户，担任国际期刊IEEE T. on Big Data、AI OPEN主编。 获国家科技进步二等奖、北京市科技进步一等奖、北京市发明专利奖一等奖 、中国人工智能学会科技进步一等奖、KDD'18 杰出贡献奖。

演讲题目：从千亿模型到ChatGPT的一点思考

演讲摘要: 近年超大规模预训练模型取得突飞猛进的发展，OpenAI发布大规模自然语言预训练模型GPT-3，同时近日推出了AI聊天机器人chatGPT，推理能力大大加强，能够回答非常复杂的推理问题。清华自研了GLM-130B中英双语模型，参数1300亿，算法采用自研的GLM，支持低成本、低资源使用，仅4张3090即可驱动，同时支持在NVIDIA、海光DCU、华为Ascend 910和神威Sunway处理器上进行训练与推理。讲者将介绍团队在研发GLM-130B过程中碰到的困难和收获，以及对ChatGPT技术点的理解，并分析下一步要实现ChatGPT需要走的路和面临的技术挑战。