返回首页
您的位置:首页 > 新闻 > CCF聚焦

赵启阳:ChatGPT与高水平程序设计竞赛:冲击和不足 | CNCC专家谈

阅读量:75 2023-10-19 收藏本文

图片




在即将于今年10月26-28日在沈阳举办的CNCC2023期间,在129个涵盖人工智能、安全、计算+、软件工程、教育、网络、芯片、云计算等30个热门专业领域的技术论坛上,包括国际知名学者、两院院士、产学研各界代表在内的700余位报告嘉宾将着力探讨计算技术与未来宏观发展趋势,为参会者提供深度的学术和产业交流机会,当中不乏在各领域深具影响力的重磅学者专家亲自担纲论坛主席。


本专题力邀CNCC2023技术论坛主席亲自撰稿,分享真知灼见,带你提前走进CNCC,领略独特专业魅力!


图片


图片



本期特别嘉宾:

赵启阳  NOI科学委员会副主席,北京航空航天大学博士


中国计算机学会
,赞1


作者:CNCC2023【新形势、新冲击下的NOI教师发展与成长】论坛主席:赵启阳


最近,以ChatGPT等大语言模型(Large Language Model,LLM)为代表的新型人工智能(Artificial Intelligence,AI)技术,通过学习大量的语料库和知识库,尽可能地模拟人类的语言逻辑,在对话等场景中可以按照人类的要求,流畅地生成高质量的自然语言文本,在多轮对话、文本生成、问题推理乃至程序设计等方面都取得了显著的进展,带来了深度学习(Deep Learning)时代的新一轮范式变化。


图片


目前,国内外陆续提出的ChatGPT、GPT、文心一言等LLM迅速得到了广泛的关注和应用。LLM给社会各行业带来了新的机遇,不仅能够改进工作效率,还有可能会催生新型业务。在教育领域,LLM可以帮助教师辅助教学,包括代替教师回答学生的简单和基本问题,辅助教师评估学生的学习进度和掌握程度、为学生制定个性化的学习计划和教学方案等,从而提高教学效果和教学效率。在其他领域,LLM可以辅助医生诊断疾病,帮助银行进行风险评估和控制,以及为各行业构建高度智能的客服机器人等。

LLM同时也给人们带来了新的挑战,部分行业的从业习惯和技能结构可能会被迫调整,相关从业者乃至全行业甚至有被取而代之的风险。例如,在人工客服等一些技能性较低或重复性较强的工作中,ChatGPT等AI助手已经可以逐步地取代人类的部分工作。这些行业的从业者需要不断学习和提高自己的技能水平,以适应新的形势变化和从业需求。对于整个行业来说,如果行业结构和行业范式无法适应新型AI技术带来的冲击,可能面临着被取代甚至取消的风险。

目前国内外教育领域对LLM的看法则是众说纷纭、莫衷一是。巴黎政治学院、香港大学等从学术诚信角度出发,明确宣布禁止学生在完成作业和论文时使用ChatGPT等大语言模型,而新加坡、芬兰和冰岛等国家或地区的教育机构则从教育效率角度出发,对大语言模型的使用持开放和鼓励态度。


◆ 大语言模型是良好的程序设计助手


在计算机科学教育领域,LLM往往能够条理清楚地解释比较复杂的计算机科学知识和概念,而且还能在一定的引导下,较好地解答部分程序设计题目。这为LLM成为程序设计的重要辅助工具和关键教学工具提供了潜在的可能:

·框架指导:LLM可以提供快速的程序设计指导和语言或工具库参考,提高程序设计的效率。在程序设计中,程序员需要尽快地理解和解决问题。LLM有可能会帮助程序员快速地找到解决思路,甚至提供成型的算法、架构和模块,帮助程序员更快地定位和获取所需的代码示例。

·辅助编码:LLM可以帮助程序员节省大量的思考低密集型工作,让他们更加专注于高级数据结构和高级算法的运用。LLM具有根据上下文提供代码自动补全和建议的能力,可以在一定程度上减少代码编写时的繁琐工作,有效地提高程序员的程序设计速度和准确性,使程序设计更加高效。

·辅助学习:在学生的学习过程中,围绕程序设计所涉及的知识专题,LLM可以帮助学生更有针对性地获取相关的文档、教程和示例代码,有效地提高知识获取效率,促进学生学习新的编程语言、框架或工具库,以及基本数据结构和算法等。

相较于此前的AI技术,LLM在计算机科学知识传播和程序设计方面的表现可谓令人耳目一新,因此有观点认为LLM可以通过与学生的对话式交互教学,实现程序设计的高效自主学习,部分甚至完全地取代人类教师的角色。然而在程序设计竞赛以及相关教育方面,目前LLM虽然可以为学生和参赛选手提供基础性的辅助,但暂未表现出可以完全取代人类的高超的创造力,所能提供的教育作用则较为有限。


◆ ChatGPT尚无法解决低难度的NOI题目


程序设计竞赛对创造性和技巧性的要求往往显著地高于一般性的程序设计工作。此前在Codeforces平台举办的程序设计比赛模拟评估中,DeepMind提出的AlphaCode取得了良好的表现,提高了人们对LLM在高水平程序设计竞赛中取得良好表现的期待。为此,来自清华大学的韩文弢老师(已受邀作为讲者出席CNCC 2023 NOI 论坛)曾经做过案例研究,通过引导ChatGPT解决第四十届全国青少年信息学奥林匹克竞赛(NOI 2023)中难度最低的题目“方格染色”,以测试LLM在高水平程序设计竞赛中的表现。

图片


经过多轮引导后发现,ChatGPT尽管迈出了基础性的一步,提出使用“线段树”数据结构来解决问题,但是其使用方式并不合理正确。从总体上来看,ChatGPT能够基本理解“方格染色”题目的题面,也能够给出相关度较高的回答,并且写出符合语法规则的程序代码,还具备了初步的推理能力,但是距离解决NOI最低难度水平的题目还有很大差距,因此也无从谈起对选手在思路方面的有效指导。

图片

图片


由CCF NOI科学委员会撰写并发布的《NOI 2023题目知识构成分析报告》,对NOI 2023全部机试题目进行了深入分析,发现竞赛考察的知识覆盖范围相当广泛,但是知识点难度系数仅以中等难度6级为主,这说明以NOI为代表的高水平程序设计竞赛更加侧重对选手思维能力的考察,要求选手具备高超的创造性思维以及灵活的解决问题能力,而绝非单纯的知识性考核。


图片


高水平的程序设计竞赛是高度强调选手创造性思维的智力活动。在以NOI为代表的高水平程序设计竞赛中,从问题建模到数据表示、再到算法设计和代码调试等,很多环节都需要选手在深入理解问题和知识本质的基础上打破常规思维,对经典数据结构和算法进行创造性地组合、突破才得以完成。如果没有深入理解和掌握相关知识和技能,选手很可能因为创造能力不足而无法在竞赛中取得好的表现。这对LLM在NOI等高水平程序设计竞赛中取得良好表现是极大的挑战。


◆ AI技术在NOI教育方面还有待发展


与大部分强调思想性或技巧性的教育领域相同,NOI等程序设计竞赛方面的教学工作也绝非静态的知识传达可以涵盖,本身就需要NOI指导教师创造性地完成相关的启发和引导工作,例如通过与学生的积极互动,对数据结构和算法等抽象知识进行具象化,凭借师生的丰富想象力实现概念联系和思维跃迁,才能完成对学生创造性思维的有效培养。“授人以渔而非授人以鱼”的背后,是教师这一角色所完成的大量创造性教育工作。


在讲解难度较高的程序设计竞赛题目时,NOI指导教师不仅要注重讲解标准解法(常被称为“正解”)所用的数据结构和算法,更要通过对问题解决过程的拆解分析,使得学生熟悉掌握相关的思想和方法,引领学生取得思维和技巧的突破。这一过程,并不仅局限于告诉学生正解“是什么”,而更要告诉学生正解由何而来,即正解“为什么”。换而言之,教师要很好地向学生解释正解从无到有的整个思维过程,而这正是当前大语言模型等AI技术还有待完善之处。


可解释性是当前基于深度学习的大语言模型所面临的主要问题之一。为此学界提出了大量的研究性工作,尽管目前已经取得了较好的进展,但是尚未完全地加以解决。这意味着LLM即便能够较好地解决程序设计竞赛题目,也无法很好地展现其思维过程。尽管思维链(Chain of Thought,CoT)等新的提示方式可以通过一系列的提示,更好地引导LLM完成推理过程,但是这需要使用者自身具有比较清晰明确的思路。对于高水平的程序设计竞赛,在学生自身和LLM对解决问题的突破方向都缺乏清晰的认知,又没有人类教师所提供的高层次外界指导时,双方只能在迷雾中摸索前进方向。这种“盲人摸象”想要找到问题的突破口,进而捅破思维创新的窗户纸,其难度可想而知。


除此以外,NOI等高水平的程序设计竞赛是激烈的大强度智力比拼,要求学生具备坚韧的个人品质和足够的毅力,才能够取得较好的表现。对于这种“软性”的素质,目前只能通过教师长期的言传身教来完成对学生的树立和培养,LLM更是暂时完全不具备取代人类教师的可能性。


◆ 拥抱AI是NOI教师的发展方向


尽管当前的AI技术在程序设计竞赛教学方面的能力还有待发展,但毋庸置疑,LLM等在提高知识传播效果、改进教育效率方面能够提供极大的便利。为此, NOI教师需要积极地拥抱AI,通过不断地学习和掌握新的教育技术和教学方法,实现与AI的良好共生,借力AI实现自身的发展和突破。


在CNCC 2023上举行的NOI论坛,将以“新形势、新冲击下的NOI教师发展与成长”为主题,聚焦研讨ChatGPT及其对信息学竞赛教学工作的影响,以及NOI教师专业水平与学生成长之间的相关性等。通过深入探讨这些问题,期望能够为NOI教师提供一些具体建议,以帮助他们在相关教学活动中更好地向AI借力、实现高效发展和卓越成长。


图片

CNCC参会报名

 


论坛名称:【新形势、新冲击下的NOI教师发展与成长】技术论坛

举办时间:10月27日下午

论坛主席:赵启阳  NOI科学委员会副主席,北京航空航天大学博士

共同主席:宋新波  CCF WCET委员会主席,清华大学附属中学教师



想了解更多关于CNCC2023技术论坛信息,欢迎观看CCF公众号【CNCC专家谈】专题及CCF视频号【CNCC会客厅】直播,我们将陆续邀请本届CNCC技术论坛的论坛主席或重磅嘉宾,围绕今年CNCC涉及到的热门话题进行研讨交流,亲自带观众走进CNCC,敬请随时关注!