人工智能正在“产业化” ，需要更好的测试和指标
QueerinAI2020成员调查发现，大约有一半的受访者经历过骚扰或歧视，遇到过围绕包容性的问题。
学术研究人员在全球范围内发表的论文总数多。但在美国，企业研究排名第二，而政府研究在欧洲和中国排名第二。
从2004年到2019年，卡内基梅隆大学(16人)、佐治亚理工学院(14人)和华盛顿大学(12人)流失到工业界的教员人数最多。
报告中专门介绍技术挑战进展的部分突出了计算机视觉系统和语言模型的进展，以及用于药物发现或有效化学和分子合成等任务的人工智能。
人工智能指数报告显示了可用于监控的AI系统的进展，比如物体检测系统YOLO。VoxCeleb也取得了相当大的进展，它衡量了从包含6000人的数据集中识别声音的能力。AI指数图表显示，2017年平等错误率约为8%，到2020年下降到1%以下。
“这个指标告诉我们，人工智能系统的平等错误率已经从8%下降到了0.5%左右，这告诉你，这种能力将在全球范围内悄然部署。”Clark说。
一个技术进步专家小组将AlphaFold预测蛋白质如何折叠的能力和GPT-3作为2020年最受关注的两个AI系统。虽然AIIndex承认GPT-3取得的学习成果很少，但它引用了前EthicalAI团队联合负责人TimnitGebru等人的一篇论文，对大型语言模型及其延续偏见的能力进行了批判。它还提到了OpenAI和斯坦福大学上个月发表的一篇论文，认为需要在为时已晚之前解决大型语言模型的社会影响。在2019年接受VentureBeat采访时，AIIndex创始人YoavShoham对根据有限任务的表现来判断语言模型的价值表示怀疑。
VentureBeat对指数中提到的这两篇研究报告进行了广泛的报道。VentureBeat报道过的其他被引用的报告还包括麦肯锡的《人工智能现状》报告，该报告发现，在应对部署人工智能的相关风险方面，企业领导者进展甚微。另一份报告则对深度学习时代人工智能的去民主化提出了警告，共同作者表示，这可能会使不平等现象长期存在。
人工智能指数报告包括呼吁在计算机视觉、伦理学和NLP领域进行更多的基准和测试。正如GLUE和SuperGLUE等基准所证明的那样，Clark说：“我们正在用完测试，因为我们可以建立它们的速度。”创建新的基准和测试也是一个机会，使衡量标准能够反映人们的价值观，并衡量解决宏大挑战的进展，如砍伐森林。
“我认为在一个空间中获得整体问责制的方法之一是拥有相同的测试，你将所有的东西都与之相对应，或者是同一套测试。而在我们拥有这一点之前，谈论这些系统中的偏见和其他道德问题将是非常模糊的，我认为这只会阻碍我们作为一个社区，同时也让那些想要假装这些问题不存在的人更容易继续假装他们不存在或不提这些问题，”他说。
前几年，人工智能指数扩大了范围，纳入了arXiv监测器等工具，用于搜索预印本论文。AI指数的全球活力工具，提供国家AI计划之间的比较，现在适用于23个类别的26个国家。
今年，报告删除了与自动驾驶汽车进展相关的数据，而Clark表示，由于缺乏数据，报告中并没有包括完全自主武器的信息。
查看全文
作者最近更新
-
一周趣评：两大运营商发布三季度季报；亿纬锂能发布新储能电池智能制造网
2022-10-24
-
以标准化抢占产业高地 人工智能领域首批国标呼之欲出智能制造网2022-10-24
-
借风势，乘风起！用技术“数”写“数字中国”新篇章智能制造网2022-10-24
评论0条评论