编辑点评:用学术视角学习产业思维
北京可盐信息技术有限公司官方打造的一款科技为主的资讯阅读平台,可盐app是硬核科技研究领域的资讯类产品,包含了新能源,量子技术,互联网,人工智能,太空和生命科学等内容。
平台优势
学术视角
若心有疑,必求确义
产业思维
不炮思辨,不止践行
敬畏科学
积土而为山,积水而为海
支持的分类
新能源,最新新能源相关的科技资讯信息;
量子技术,学习和分享更多关于量子的知识;
互联网,人工智能,太空和生命科学等等。
功能介绍
尽量用通俗易懂的语言为您呈现科学研究的即时进展,与您一起探求科学的真相,探索人类未来可能的演进路径。
以审慎求真的视角观察科技变革背后的原动力,穿透实验的迷雾,梳理最新科研成果与技术传承脉络。
怀着真诚的热忱努力建立连接科学研究与产业应用的桥梁,为中国乃至全球的科技创新贡献绵薄之力。
敬畏科学真理,希冀产业革新,若心有疑,必求确义,不熄思辨,不止践行,积土而为山,积水而为海。
官方介绍
“可盐”是一款硬核科技研究领域的资讯类产品。
在这里,你将第一时间获得全球各大科学研究领域的实时突破性进展与产业应用动态,包括但不限于以下学科与产业:量子、新材料、人工智能、大数据与云计算、新能源、生命科学、空天科技、智慧农业、尖端通信、芯片半导体······。
深度学习模型
从管理库存到与客户接口。无论一家公司从事什么业务,软件都扮演着重要的角色。因此,软件开发人员的需求比以往任何时候都大,这促使人们便想自动化一些简单但耗时的工作。
像Eclipse和Visual Studio这样的工具,开发人员在编写代码时可以很容易地插入到工作中。自动化流程是由复杂的语言编写的,而语言模型是在吸收了数千个例子之后,学会阅读和编写计算机的代码。但是,就像其他建立在大数据集上的深度学习模型一样,为代码处理而设计的语言模型也存在漏洞。
麻省理工学院电子工程与计算机科学系的研究生Shashank Srikant说:“黑客可以操纵这些模型的输入,为他们所用。所以我们正在努力研究以预防这种情况。”
在一篇新论文中,Srikant 和麻省理工学院Watson人工智能实验室揭示了一种自动方法,可以发现代码处理模型中的问题,并对它们进行再训练,使它们更灵活地抵御攻击。麻省理工学院研究员Una-May O 'Reilly和IBM附属研究员Sijia Liu也参与了编写,他们利用人工智能使自动化工具更智能、更安全。该团队将在2021年5月的国际学习表征会议上展示其研究结果。
一台能够自己编程的机器听起来像是科幻小说。但计算能力的指数级增长,自然语言处理的进步,以及互联网上大量的免费代码,使软件设计的某些方面自动化成为可能。
在GitHub和其他程序共享网站上的代码编写的语言模型,就像一个智能助手,预测软件开发人员下一步将做什么,并提供帮助。他们可能会建议适合手头任务的程序,或者生成程序摘要来记录的工作方式。还可以训练代码处理模型来发现和修复bug。但是,尽管它们具有提高生产率和提高软件质量的潜力,但它们也带来不少风险。
Srikant和他的同事们发现,代码处理模型可以简单地通过重命名一个变量,插入一个伪造的打印语句,或者在模型试图处理的程序中引入其他修饰性操作来欺骗。这些经过细微修改的程序正常运行,但欺骗模型,使其无法正确处理,从而产生错误的决策。
这些错误可能会对所有类型的代码处理模型产生严重的后果。恶意软件检测模型可能会被欺骗,将恶意程序误认为是良性程序。代码完成模型可能会被欺骗,提供错误或恶意的建议。在这两种情况下,病毒都可能入侵程序。类似的问题也困扰着计算机视觉模型:编辑输入图像中的几个关键像素,模型就会把猪当成飞机,把乌龟当成步枪,麻省理工学院的其他研究也证实了这一点。
与最好的语言模型一样,代码处理模型也有一个关键缺陷:它们是单词和短语之间统计关系的专家,但只能模糊地理解它们的真正含义。例如,OpenAI的GPT-3语言模型可以写出美好或荒谬的散文,但只有人类读者才能分辨出两者的区别。
代码处理模型没有什么不同。Srikant说:“如果他们真的在学习程序的内在属性,那就很难愚弄他们。但他们不是。他们目前相对容易被欺骗。”
在这篇论文中,研究人员提出了一个自动改变程序的框架,以暴露处理程序的模型中的弱点。它解决了一个由两部分组成的优化问题;一个算法识别程序中添加或替换文本导致模型产生最大错误的站点。它还确定了什么样的编辑构成了最大的威胁。
研究人员说,这个框架揭示的是,一些模型有多么脆弱。他们报告说,他们的文本摘要模型有三分之一的时间在对程序进行一次编辑时失败;超过一半的时间在五次编辑时失败。另一方面,它们认为模型能够从错误中吸取教训,并在此过程中获得对编程的更深入理解。
“我们的模型框架,以及对这些特定漏洞的再训练,有可能帮助代码处理模型更好地理解程序的意图,”这项研究的资深合著者Sijia Liu表示,“这是一个值得探索的令人兴奋的方向。”
在此背景下,一个更大的问题仍然存在:这些黑盒深度学习模型到底在学习什么?“它们是否像人类一样思考代码?如果不是,我们又该如何制造它们?””麻省理工学院研究员Una-May O 'Reilly说,“这是我们面临的重大挑战。”
热门评论
最新评论