任何技术都是一把双刃剑，都有可能被用来作恶，那为什么只有人工智能引发了这么大的争议？AI作恶是世界末日还是杞人忧天？为了避免人工智能作恶，是否应该停止相关技术的研究？从立法角度如何看待和防止AI作恶？25日下午，关于这些话题的分论坛吸引了与会者的关注。现在就跟芯君一起，看看有哪些精彩的观点吧！

谭晓生：AI作恶核心在人，不在技术

人物小贴士：

谭晓生是360集团技术总裁，首席安全官，CCF理事，副秘书长，CCF YOCSEF 2015-2016总部主席，ACM从业者理事会理事。今年9月，获得中国互联网发展基金会网络安全专项基金“网络安全人才奖”。

谭晓生首先通过引用阿西莫夫在《我，机器人》中提到的机器人学三定律”及后来补充的“机器人零定律”简单明了地阐述了他的观点，他认为“这三大定律明显是互相矛盾的，机器人既要无条件地服从人类的命令，又要遵守不能伤害人类并且尽可能地保护自己的原则，那机器人在某些特殊情况下到底该怎么做？阿西莫夫作为提出‘机器人学三定律’的鼻祖，自己可能也说不清楚。”

作为360的技术总裁，谭晓生接触过很多黑客，他表示，黑色产业（以下简称黑产）远比安全维护生产总值高得多，去年，黑产总值超过1000亿人民币，而安全维护产业的生产总值仅仅300多亿。“我们用很长时间新发现的一个攻击方法，黑客可能在半年前就开始用了”，所以黑客是一支不容小觑的技术流。

这正如爱因斯坦曾经后悔发明原子弹一样。他发明原子弹的初衷是为了造福人类，可是之后的原子弹被应用于战争，核电站等使用到链式反应的设施也发生了核泄漏等一系列对人类的生命安全造成巨大伤害的事件，令他发出了“早知如此，我宁可当个修表匠”的感叹。

“我认为人工智能会威胁到人类的生存，有很大风险。我对人工智能的发展前景并不悲观，但我们也不得不承认这确实比较危险。”“再来谈谈我的黑客兄弟们，如果到了AI作恶的时候，那他们可能就是拯救人类的一线希望了，人工智能终归是代码写出来的，代码再好，跑得再快，在黑客面前也总有漏洞，而黑客此时要做的，就是找到这个漏洞，然后彻底摧毁它。”

总得来说，谭晓生认为，我们要考虑的是在AI发展的过程中，什么结果是我们不能接受的，确定我们的底线和尺度，拥抱变化，让人类生存下来，让文明得以延续。

现场问答

Q1: 360是否已经利用AI来作安全方面的工作？

A：是的，我们公司已经开始用AI作网络防御。我认为，AI作恶，核心在人，不在技术。一个人想要用AI作恶，即便这个技术不成熟，他也会想尽办法去做。如果抱着运用AI改善人类生活的初心来掌握并完善这项技术，那AI技术必然会蒸蒸日上。

张平：现在要做的是“预防AI助纣为虐”

人物小贴士：

张平教授是北大法学院教授，中国科技法学会常务副会长兼秘书长，中国法学会人工智能立法委员会发起人。

说到人工智能的研究者，大家的第一印象一般是工科生，可是张平教授的出场立即令每一位与会人员眼前一亮。作为一个法律专业的教授，张平别出心裁的观点和不同与技术界人才的专业眼光，从另一个角度让我们了解了法律与人工智能的密切联系。

“人工智能的‘恶’在我看来，分为大‘恶’和小‘恶’。大‘恶’即为上升到了反人类的顶级作恶。如果AI作大‘恶’，应用于武器领域，那极有可能导致第三次世界大战的爆发。”

张平教授向我们展示了身边很平常却很少引起我们注意的大数据作‘恶’。

我们去酒店入住登记时，坐火车过安检时，很多时候都要经过人脸识别，想必大家对此已经司空见惯，可是你们是否想过，这些被采集的数据到哪里去了？被用作什么用途了？是否会被滥用？是不是细思极恐？

作为知识产权法方面的专家，张平明确表示，“法律上有明确规定，无论你是从哪里搜集的数据亦或是采用的数据，除非原创，否则必须注明出处。即便是AI创作的书画等，都必须说明并非人类创作。可是很多人都没有这个意识，无论是原创者还是运用者。”

说到小“恶”，便是例如无人驾驶出事故，个人信息泄露，医疗事故，抄袭剽窃等等，当出现这些情况的时候，谁应当承担责任？该怎样解决？这些目前都还尚未有明确的法律规定，我们现在要做的，就是“预防AI助纣为虐”。

张平教授说：“我们应该积极运用防患于未然的价值观，即开发AI过程中必须对AI的基本价值观进行强制干预，秉承有益目的原则、安全性原则、价值归属原则等。”此外，如果立法的话，那机器人到底算不算人？到底该怎样定义机器人？这些都极有可能造成法律主体的改变，推动法律体系的一个大变革。又或许，机器人世界的规则比人类简单得多。

现场问答

Q1：如果AI遇到了“电车悖论”，即当无人驾驶汽车在行驶过程中，遇到了一边是一个孕妇，另一边是五个人，这个时候必须要选择一边，这个时候AI会怎么抉择，发生事故后责任在谁呢？

A：我觉得开发者在研发AI时，已经无形之中把自己的思想注入到了AI里面，常规思维的话，两者相权取其轻，那它很有可能向孕妇那边行驶，这个其实我也无法确定，还是要看开发者的设计理念。而对于事故责任，现在我们国家还没有具体的法律法规，所以目前这方面的法律还是有限的。

Q2：通常犯罪会走在立法前面，您认为立法时间什么时候比较合适？

A：我认为应该鼓励产业先自由发展一段时间，当“恶”的表现开始出现之后，再通过立法来约束，以防止问题进一步恶化。

倪冰冰：AI作恶是杞人忧天

人物小贴士：

倪冰冰教授是上海交通大学电子系特别研究员，博士生导师，新加坡国立大学博士。其长期从事视频内容理解特别是视频行为分析的研究，建立了国际上首个基于深度-彩色视频的日常行为识别基准数据库，研发了一系列基于深度-彩色视频的行为特征提取、视频上下境关系建模、多模态特征融合的行为识别算法等。同时，也因此获得了科学中国人2016年度人物杰出青年科学家奖提名。

“我主要搞的是人脸识别跟视觉方面的科研，所以对于我来说，AI技术大部分都是任务型驱动”，倪冰冰教授如是说道。

在他看来，作“恶”有两种情况，一种是有心而为之，另一种就是无心而为之，而对于AI研究者来说，绝大多数都是为了造福人类，方便人们的生活，这跟张平教授讲的大数据作“恶”是有本质区别的。“我们的目的很明确，是在推动人类的进步。”

此外，倪冰冰还表示，现在的人工智能技术还不能说是很成熟，“比如一个人的眉毛、眼睛、鼻子等，AI可以识别出来，而且基本上可以做到百分之九十点九九九准确，但是你把眉毛稍微画粗一点，它就开始出错了。”因此，从AI技术被设计出来造福人类的初心，以及发展至今的初步成果和同步出现的各种问题来看，AI技术暂时还没有表现出能导致世界末日的潜力。AI作恶更像是是杞人忧天。

邬向前：应建立相应的研究规范，防患于未然

人物小贴士：

邬向前教授是哈尔滨工业大学长聘教授/博士生导师，博士，CCF高级会员，IEEE高级会员，教育部新世纪优秀人才，曾入选教育部“新世纪优秀人才支持计划”，并获霍英东教育基金资助。

邬向前教授认为，我们应该建立相关的科学研究规范。因为AI门槛很低，所以要规范。

目前AI还没有发展到强人工智能的地步，再加上人类非常聪明，聪明到不会主动想要去让强人工智能动摇自己的地位。我们应该有一个研究范围，在使人类受益的同时为AI设置禁区。

“在当今的大势所趋之下，中国如果不研究人工智能，很可能会落入到被动挨打的局面，所以每个国家目前都不会制止。不过，美国科幻片中关于AI的想象，我们还是要防患于未然。”

自由思辨

东北分论坛教授：我认为不能让人工智能失去可控性，一旦超过了技术的可解释性，失去了可控性，后果将不堪设想。

谭晓生：对于一般的程序员来说，一个算法的结果无非就是三种情况：是、不是和不确定。但从网络维护的角度看，有五种情况：是、不是、不确定、崩溃和被控。所谓崩溃就是系统崩掉了，被控就是程序被别人控制了。举个例子，通过人脸识别去提款，如果你的程序被人家控制了，那你的财产安全就得不到保障。再者，现在一些AI合成技术已经很成熟了，合成的照片很逼真，不使用专业仪器很可能检测不出来，放在法庭上其实是可以伪造证据的，对人类也是一个很大的威胁。所以毫不夸张地说，一个黑客利用AI可以对付一个国家。

广东分论坛主席：第一，我们应该将人工智能分等级，即明确规定哪些应该研究，哪些应该谨慎研究，哪些绝对不能研究。第二，可以给AI犯罪定一个等级，例如：抢劫，定位level 1。第三，制定等级条约。一个很好的例子就是原子弹不扩散条约，如果大家都遵守这个条约，那么有些事是可以预防的。

桂林分论坛副主席：我觉得AI发展是让年轻人退化的。其实我们现在生活中就可以看出来，AI已经对年轻化一带产生了巨大的影响。例如：作业帮，拍照就能搜答案，让孩子们机械地完成作业，并没有学到知识。AI方便了人们的生活，无非就是使得人越来越懒，如果有一天突然没有了AI，很难想象人们的生活会变成什么样子，就像现在的手机依赖症一样。

南京分论坛教授：AI只是一种技术，本质上来说其实是人的一种意识，我认为机器的智能是不会超越人的意识和智能的。想要服务这个社会，通用人工智能必不可少。

肖亮教授：我觉得AI有了自己的意识之后，可能有一部分是好的，有一部分是坏的，这两个对立面就会产生对抗，对人类也不会造成灭亡的威胁。