研究人员表示，医院使用的一种人工智能转录工具发明了以前没人说过的东西

旧金山（美联社）——科技巨头OpenAI宣称其人工智能转录工具Whisper具有接近“人类水平的健壮性和准确性”。

但对十几名软件工程师、开发人员和学术研究人员的采访显示，Whisper有一个重大缺陷：它很容易编造大块文本，甚至是整个句子。这些专家说，一些虚构的文字——在业内被称为幻觉——可能包括种族评论、暴力言论，甚至是想象出来的医疗方法。

专家表示，这种捏造是有问题的，因为Whisper在世界各地的许多行业都被用于翻译和转录采访，为流行的消费技术生成文本，以及为视频创建字幕。

他们说，更令人担忧的是，利用基于whisper的工具来记录患者与医生的咨询，尽管有警告称该工具不应用于“高风险领域”。

这个问题的全面程度很难辨别，但研究人员和工程师说，他们在工作中经常遇到Whisper的幻觉。例如，一位研究公共会议的研究人员说，在他开始尝试改进该模型之前，他在检查的每10个音频转录中发现8个存在幻觉。

一位机器学习工程师说，在他分析的100多个小时的Whisper转录中，他最初发现了大约一半的幻觉。第三位开发人员说，他在用Whisper编写的2.6万份抄本中，几乎每一份都发现了幻觉。

即使在录制良好的短音频样本中，问题仍然存在。计算机科学家最近的一项研究发现，在他们检查的13000多个清晰音频片段中，有187种幻觉。

研究人员表示，这种趋势将导致数百万份录音中出现数万份错误转录。

他说，这样的错误可能会产生“非常严重的后果”，特别是在医院环境中。他在拜登政府的白宫科技政策办公室（Office of Science and Technology Policy）担任主任，直到去年。

“没有人希望误诊，”新泽西州普林斯顿高级研究所（Institute for Advanced Study）的教授尼尔森说。“应该有一个更高的标准。”

Whisper还被用于为聋哑人和重听人制作封闭字幕，这是一个特别容易出现错误转录的人群。这是因为聋人和重听人没有办法识别“隐藏在所有其他文本中”的捏造，他是加劳德特大学技术获取项目的负责人。

OpenAI迫切需要解决这个问题

这种幻觉的普遍存在导致专家、倡导者和OpenAI前员工呼吁联邦政府考虑制定人工智能法规。他们说，OpenAI至少需要解决这个缺陷。

“如果公司愿意优先考虑这个问题，这个问题似乎是可以解决的，”总部位于旧金山的研究工程师威廉·桑德斯（William Saunders）说。今年2月，由于担心OpenAI的发展方向，他退出了OpenAI。“如果你把它放在那里，人们对它的功能过于自信，并将它集成到所有其他系统中，这是有问题的。”

一位发言人表示，该公司一直在研究如何减少幻觉，并对研究人员的发现表示赞赏，并补充说，OpenAI在模型更新中纳入了反馈。

虽然大多数开发人员认为转录工具会拼错单词或犯其他错误，但工程师和研究人员表示，他们从未见过另一种人工智能转录工具像Whisper一样产生如此多的幻觉。

耳语的幻觉

该工具被集成到OpenAI的旗舰聊天机器人ChatGPT的某些版本中，并且是甲骨文和微软云计算平台的内置产品，这些平台为全球数千家公司提供服务。它也被用来转录和翻译文本成多种语言。

仅上个月，一个最新版本的Whisper就在开源人工智能平台HuggingFace上被下载了420多万次。该公司的机器学习工程师桑吉特·甘地（Sanchit Gandhi）说，Whisper是最受欢迎的开源语音识别模型，从呼叫中心到语音助理，它都被内置在其中。

康奈尔大学（Cornell University）和弗吉尼亚大学（University of Virginia）的教授们检查了他们从卡内基梅隆大学（Carnegie Mellon University）托管的研究库TalkBank中获得的数千个简短片段。他们确定，近40%的幻觉是有害的或令人担忧的，因为说话者可能被误解或歪曲。

在他们发现的一个例子中，一个说话的人说，“他，那个男孩，我不确定，要拿伞。”

但转录软件补充说：“他取了一个十字架的一大块，一小块……我敢肯定他没有恐怖刀，所以他杀了很多人。”

在另一段录音中，一名说话者描述了“另外两个女孩和一位女士”。Whisper发明了额外的种族评论，加上“另外两个女孩和一个女士，嗯，是黑人。”

在第三次转录中，Whisper发明了一种不存在的药物，叫做“过度激活抗生素”。

研究人员不确定为什么Whisper和类似的工具会产生幻觉，但软件开发人员表示，这种幻觉往往发生在停顿、背景声音或音乐播放中。

OpenAI在其在线披露中建议，不要在“决策环境中使用Whisper，因为准确性的缺陷可能导致结果出现明显缺陷”。

记录医生预约

这一警告并没有阻止医院或医疗中心使用包括Whisper在内的语音转文本模型来转录医生在就诊期间所说的话，从而使医疗服务提供者减少记笔记或写报告的时间。

超过3万名临床医生和40个卫生系统，包括明尼苏达州的曼卡托诊所和洛杉矶儿童医院，已经开始使用由在法国和美国设有办事处的公司开发的基于whisper的工具

Nabla的首席技术官马丁·雷森（Martin Raison）说，该工具对医学语言进行了微调，可以转录和总结患者的互动。

公司官员表示，他们已经意识到Whisper会产生幻觉，并正在缓解这个问题。

雷森说，无法将Nabla的人工智能生成的文本与原始录音进行比较，因为Nabla的工具出于“数据安全原因”会删除原始音频。

Nabla表示，该工具已被用于记录约700万次医疗访问。

前OpenAI工程师桑德斯表示，如果文本没有经过双重检查，或者临床医生无法访问录音以验证其正确性，那么删除原始音频可能会令人担忧。

他说：“如果你把基本事实拿走，你就抓不到错误。”

Nabla说，没有一个模型是完美的，目前他们的模型要求医疗提供者快速编辑和批准转录的笔记，但这可能会改变。

隐私问题

由于患者与医生的会面是保密的，因此很难知道人工智能生成的记录对他们有何影响。

加利福尼亚州的一名议员说，今年早些时候，她带着一个孩子去看医生，并拒绝签署医疗网络提供的一份表格，该表格要求她允许她与供应商分享咨询音频，其中包括OpenAI最大投资者运营的云计算系统微软Azure。鲍尔-卡汉说，她不希望这种亲密的医疗谈话与科技公司分享。

鲍尔-卡汉是一名民主党人，他在州议会中代表旧金山郊区的部分地区，他说：“公告非常明确地规定，营利性公司有权使用这项技术。”“我说‘绝对不行’。”

约翰·缪尔健康中心发言人本·德鲁说，医疗系统遵守州和联邦隐私法。

＿_＿

谢尔曼在纽约报道。

＿_＿

这个故事是与普利策中心的人工智能问责网络合作制作的，该网络也部分支持学术研究Whisper。

＿_＿

美联社从奥米迪亚网络获得财政援助，以支持对人工智能及其对社会的影响的报道。美联社对所有内容全权负责。查找美联社与慈善机构合作的名单，支持者名单和资助的报道领域。

＿_＿

美联社和OpenAI允许OpenAI访问美联社的部分文本档案。