当前位置: 首页 > Linux学院 > 程序设计 > 软件工程 > Watson一种功能强大的技术,适用于涉及自然语言的解决方案

Watson一种功能强大的技术,适用于涉及自然语言的解决方案

2014-08-08 15:48 来源:IBM 作者:Jim Sharpe 人气指数: 我要评论
Watson 的诸多特性帮助它在 Jeopardy!节目中赢得了胜利,同时也使它特别适用于涉及大量自然语言的普通任务。许多因素 让自然语言的理解和推理变得很困难。Watson 解决了这些问题,因此它提供了一种全新的方法,使计算机在我们的生活中能够发挥更大的作用。本文介绍了一种使得 Watson 能够自动感知相关的非文本上下文的方法。您可以将这些改进看作是为 Watson 赋予了 “眼睛和耳朵”。
 
Watson 的成就在于:
 
    有效地处理非结构化内容,尤其是文本:尽管许多系统都能够让计算机处理自然语言数据,但是大部分系统都止步于各种单词和短语的索引。这种能力固然重要且很有用,但还不足以提供必要的认知能力来解析复杂的、随意的人类语言。在过去,同义词、双关语、嘲讽和其他各种形式的文字游戏都是计算机处理的难点。Watson 攻克了这类语言和其他语言。Watson 可以吸收并有效地处理类型丰富的语言,从技术文档、研究论文,到博客文章和 Wikipedia 条目。仅仅征服所有书面内容并不能解决问题;该系统必须能够有效地访问和使用其中所包含的知识。在 Watson 的早期发展阶段,它就证明了自己在这方面的优越性。
    有效地处理海量参考资料 :计算机解决问题的一个优势是其处理速度和处理容量。搜索包含数百万条记录的数据库只需一眨眼的功夫。然而,可用信息正在以我们难以企及的速度增长,而且不断涌现的新趋势(比如 物联网)更是加剧了这种情形。计算机已经帮助我们处理了许多与数量有关的问题,而且可以在某些领域做得更好。例如,医生每天需要记录大量新的诊疗操作和药物,根本不可能阅读和记住所有具有潜在关联的内容。与处理自然语言内容类似,有效利用海量数据并不仅仅是将数据放入大型存储池并进行索引。系统必须通过一些方法来确定数亿条信息中的哪些内容与特定上下文有关联。Watson 提供了有助于实现这一点的技术。
    学习能力:世界并非一成不变。环境在变化,我们的理解在增强,知识体也在不断累积增长。面对不断变化的问题和日益增长的知识库,解决方案需要通过动态地调整和学习来维护相关性。在这一过程中,可以通过与系统的简单交互来自动解决某些方面的问题,但其他部分则需要专家进行人工指导和做出判断。Watson 通过简单用户交互进行学习 和变化的能力(与此相对的是程序员需要修改其实现)使技术始终保持相关并不断改进。
    人机交互— 纵观计算机历史,人类用户必须使用计算机语言与系统进行交互。虽然这种方式对于那些愿意学习并且有能力学习各种新解决方案知识的人很有效,但目前而言,这已经不是惟一的选择。随着 Watson 的问世,人机交互获得了长足的发展,如今,计算机可以采用人类的语言通过一种常见的方式与人类用户 进行对话。对于计算机科学来说,以相同的方式向某人提出一个问题并获得响应一直是一项挑战。这种更加人性化的交流正在变成现实。当与某个人聊天时,您有时需要阐明自己的想法。虽然科幻电影里经常出现提出问题并从某个人那里获得解答的场景,但这并不总是计算机的专长。请求获得解答的能力提供了一种直观、有效的方式来解决多种形式的歧义。人类凭直觉就可以知道如何使用这种方法,但是,通常计算机无法通过编程实现这种方法。计算机要么会向您提供一个答案,要么不提供答案(或提供一个错误的答案)。在自然语言中,自动地拟定问题并提出后续问题是一种强大的用户交互方式。 
 
Watson 在 Jeopardy! 节目中获得了引人注目的胜利,之后,它继续实现了一些 改进。内存占用量和功率显著减少,与此同时,功能得到持续增强。然而,尽管 Watson 专门针对自然语言、内容、上下文和交互进行了优化,它仍然不能直接处理感觉输入数据。没有感觉界面可以充当 Watson 的眼和耳朵。它只能响应以文本描述形式呈现的上下文。例如,您不能向 Watson 展示图像,也不能让它解析来自水下麦克风的声音,或向它提供来自心脏监视器的 EKG 波形。 
 
“有意义的”任务
 
要与 Watson 进行交互,需要将感觉数据转换为 Watson 可以理解的形式,比如文本。例如,相关的图片可能是一张医用 X 光照片。放射科医生通过下面的上下文描述解释这张照片:
 
“右上叶呈现几处离散的、不均匀的气腔不透明区,从表象上看,与肺浸润一致。肺部其余软组织显示清楚。无气胸或渗漏情况。心脏大小和肺血管正常。腋下、肺门、纵隔不存在淋巴结肿大。”
 
计算机很早就能够生成这类描述。然而,对于其他形式的感觉处理(比如识别某个声音来自具体哪一种海豚,或者心跳波形表示心跳过速的特定形式)使得我们可以 自动将可用信息转换为文本形式的描述上下文。
 
从事 GCS 研究的 Alex Philp 博士 将这种转换过程描述为将感觉数据转化为有意义的提问。由于 Watson 并不了解声音,所以它不能直接收听心律失常的声音,不能识别它,也无法告诉您这是什么,或者这声音对患者意味着什么。然而,如果声音经过处理并转换为描述性的短语,然后放到问题中或用作问题的上下文,那么 Watson 就能够给出相应地响应。这种转换过程就创建了有意义的提问。 
 
解决问题前的预处理
 
Watson 能够处理自然语言,这意味着它可以使用庞大的自然语言形式的知识体,并与人类用户进行交互。对 Watson 的增强就是基于这种能力并进行了充实,使它可以接收更多的相关数据形式。
 
要实现更多形式的用户交互,并将数据转换到基于 Watson 解决方案的应用程序层,我们要做的第一步就是对非文本形式的数据进行预处理,将其转换为自然语言描述。
 
许多工具和技术都可以实现这个预处理步骤,一些特别有用的特性包括能够处理各种非结构化数据,执行复杂分析,并完成低延迟的端到端转换。 
 
InfoSphere Streams
 
InfoSphere Streams 是一种成熟的企业级内存流处理平台,是将感觉数据转换为有意义提问的理想选择。InfoSphere Streams 可以处理动态数据。与比较传统的批处理方法不同,移动数据在达到时就立即获得处理,而不是被存储起来,以后再进行操作。InfoSphere Streams 的两大优点是具备超高的性能和资源效率。根据所执行的操作和可用的处理硬件,从接收到新数据元素到将处理结果进行更新,整体延迟通常都在亚毫秒级别上完成的。
 
InfoSphere Streams 支持几乎所有类型的电子表格数据。它附带了丰富的分析工具,而且很容易通过自定义操作符进行扩展。它具有极好的可扩展性和高效的计算能力。执行相同任务所需的硬件也要比同类技术少很多。
 
最后,它还提供了一个综合性的基于 Eclipse 的开发环境,可以通过 Quick Start 版本 免费用于非生产用途。
 
通过使用 InfoSphere Streams,您可以执行前面描述的预处理,净化几乎任何形式的感觉数据,并将其转换为可被 Watson 使用的形式。实质上,流处理可以使用来自新的或现有的传感器的数据,为 Watson 提供眼睛和耳朵。 
 
人类所扮演的角色不可或缺
 
尽管计算机一直在演变,功能越来越多,也越来越智能,但是人类在应用程序开发和部署过程中仍然扮演重要的角色。与许多后台或机器对机器应用程序不同,大部分基于 Watson 的解决方案都是专门针对人机交互而设计的。
 
在开发过程中,人类专家为 Watson 定义了哪些数据应当包含在其信息仓库中,并对信息的使用方式进行了调整。Watson 仍然十分依赖拓展训练阶段。在这个过程中,人类专家将反复与它交互,增强理想的推理路径,去掉不想要的东西,并识别出需要加入到信息仓库的信息源。
 
当解决方案完成部署并投入使用后,用户将通过应用程序提供的界面与之交互。Watson 的一个强项就是能够与用户进行开放的、持续的对话。Watson 能够记住对话进行到哪个位置,并跟踪所有相关的上下文。这种行为使它能够避免不断重新输入相同信息,从而提高了响应的准确性。在本文描述的场景中,可用的感觉信息构成了对话的一部分。例如,如果一名医生针对特定患者与 Watson 交互,感觉系统会自动提供上下文、与患者病历有关的元素和当前健康状况。相关的医用遥测技术包括直接感知的数据,比如心率、血压、提问、血氧饱和度、脑电波模式等等。此外,通过检测潜在的细微趋势和相关性,流处理系统的实时分析功能可以实现综合遥测。
 
经过增强后的 Watson 可以接受来自电子病历系统的直接感觉输入和信息。具备这种能力后,医生就不用明确地描述病患的详细状况,因此他们可以将精力集中到其他无法利用当前技术实现自动化的工作上。在理想情况下,临床医生可能通过这种方式描述问题:“43 床患者呼吸缓慢的原因是什么?”,所有额外的上下文信息将由系统自动提供。Watson 随后将提供一些可能的原因以及与这些原因对应的置信度。
 
目前,医生可以向 Watson 提出包含完整上下文的复杂问题。然而,这种方式有点不切实际,因为,医生提供的描述包含所有与患者状况有关的细节,可能长达几页纸,比如:“42 岁男性,不吸烟,心脏条件 […],此前 […] 小时曾服用过 […] 毫克的 [drug_name],目前显示的心搏率 […],RR […],HRV […],BP[…],SpO2 […],体温 […],那么造成其呼吸缓慢的原因是什么” 等等。这种描述不仅繁琐、费时,而且描述过程也容易出错。医生会不小心遗漏一些内容,或者引述了一个错误的值。此外,一些相关值不能直接从监视器获得,需要由医生进行计算。
 
在未来,计算机系统也许可以制定比人类更好的决策。一些人认为,到那时,计算机可能比我们更像人类。在此期间,最好的方式是让计算机去做它最擅长的事,比如在海量的信息中检索,给出客观的结果,然后由人对结果做出判断。这种方法之所以有意义,原因有两个:系统还没有准确到能够让用户盲目信任,做出重要的建议;我们的生活经验以及大脑联系事物的方式形成了一种不同的解释和推理。人类与机器的推理过程不同但可以互为补充,两者将结为强大的组合。将更多信息加入到共享上下文将为 Watson 增加感觉输入,从而进一步增强了这种组合。
 
观察结果并从中学习
 
在 Jeopardy! 节目中,每个 查询和响应 都是自包含的,和参加 Jeopardy! 节目不同,如今大部分针对 Watson 开发的解决方案都会有一个后续操作,比如诊疗建议,或有关购买产品的建议。将这种操作产生的结果反馈给 Watson 为其提供了另一种学习方式。在某些情况下,向 Watson 添加感觉输入可以使它直接观察所给出建议的结果并从中学习。 
 
在某些情况下,与 Watson 对话的上下文仅限于与用户的文本交互。然而,在 Watson 能够直接观察到证据时,对话质量将得到改善。例如,两名医生在急诊室里讨论某个患者。一个医生的脸没有面朝患者,只能靠另一个医生的描述来了解患者的情况。虽然有第二个在场医生可以提供一些帮助,但是也不能像两个医生同时观察患者那样给出相同的治疗。将 Watson 看作是第二个医生。对于第一个医生来说,能够向 Watson 征求文献中有关异常情形的建议是非常宝贵的,但是如果 Watson 可以更直接地与上下文建立联系,那么第一个医生将获益更多。
 
通过使用流处理感觉界面,在同时直接了解了病患情况后,医生和 Watson 可以讨论潜在的致病原因和治疗方法。医生选择一种特定的治疗手段后(比如,提供一定数量的某种药物),医生和 Watson 都可以立即观察到治疗效果。感觉输入始终进行连续的处理,因此意料中的效果和意料以外的效果都会立即获得,可用作进一步的诊疗,或包含到知识库中以作后用。 
 
示例用例
 
让 Watson 能够使用各种形式的感觉信息将会在许多情形下受益。要使 Watson 具备这种能力,可以采用一些机制(如流处理)来获取和处理数据,并将具体情形转换为文字。简单地说,它包含并解释感知到的特征,并向检测到的内容分配一些描述性词汇。
 
过去几年,由 Excel-Medical 赞助的用户组致力于将流分析法应用到 医疗监控 领域。该用户组利用 InfoSphere Streams 平台的独有特性,持续监视和分析重症病房和急诊室中监视器生成的遥测记录。这一过程使用户组能够每秒连续监视生成的所有电子数据,对数据进行复杂分析,找到复杂的关联关系、细微的趋势和严重病情的其他许多早期征兆。
 
这种方法为临床医生提供了切实可行的信息。在解决方案中包含 Watson 将提高提供给医生的信息的质量。在这种场景中,InfoSphere Streams 将对患者进行持续监视,为医生提供每个患者的详细信息。当检测到某个重要事件,医生可以与 Watson 商讨,同时结合 Watson 提供的大量信息,以及患者病历提供的信息和当前状态。在适当的地方进行持续监视,然后,通过自动记录医生针对特定情况而做出的治疗步骤的结果,系统可以再次从这次治疗中学习。
 
在某些情况下,基于 Watson 的解决方案的应用程序层使用了 InfoSphere Streams 持续监视感觉数据,从中找到感兴趣的事件或模式。当检测到值得注意的内容,或接收到来自某个人类用户的请求,就会发起与 Watson 的对话。在上下文中,会自动将感觉数据解释为文本。根据场景的性质,可能会执行某个操作,操作结果也会包含到已学习到的知识中,用于分析未来事件。这种及时的反馈增强了(而不是取代)研究人员进行实验,并在同行论文中发布结果的需求。两种方法都有用,但各有特点。
 
为了展示这种模式的应用广度,考虑一下美国海军会利用这种系统做些什么。经典影片 “猎杀红色十月” 中的一个关键角色 Jonesy 就是一名声纳专家。在影片中,他检测到一种不寻常的声音,计算机将其解释为 “地震异常”。他想起一篇有关俄罗斯潜艇的新闻,其中提到潜艇在特定路径上高速行驶。通过结合这些数据以及异常驱动配置下某种潜艇原型的知识,这名主人公准确地判断出了当前的实际情况。整个故事都围绕感觉数据与丰富的知识库进行的。在影片中,由人在感觉数据与知识库之间搭起桥梁。然而,如果 Jonesy 碰巧没有读过相关报道怎么办?如果当时是另一个操作员在值班又会怎样?如果读过相关资料的人并没有处在可以听到异常信号并建立逻辑联系的位置,又会怎样?
 
不难想象,在不久的将来,在相同的场景下,具有感觉能力的 Watson 完全可以自动执行 Jonesy 在电影里面的操作,关键不同在于它可以访问数百万份文档,准确地调取数据,并执行复杂的、实时的、详细的声信号分析。Jonesy 仍然在那个位置,但是扮演着更高级别的角色,他与 Watson 进行交互,做出判断并对 Watson 提供的解释进行调整,这些目前只有人类才能做到。 
 
结束语
 
处理感觉数据是 InfoSphere Streams 的一个常见用途。通常,这包括获取、净化、过滤数据,生成的数据用于分析和检测。最后生成的信息被发送给系统以进行演示,然后发给用户,或保留起来。要将 InfoSphere Streams 的能力与 Watson 集成在一起,需要向已经检测到的条件分配单词和短语。目前所受的限制是支持 Watson 的应用程序尚不可用,这些应用程序用于集成额外的上下文。考虑到开发人员和商业社区对 Watson 的欢迎程度,相信这一限制很快就会得到解除。随着新应用程序的创建,利用感觉输入进行增强的机会也会相应增加。
 
更具挑战性的是完成反馈循环,这样感觉处理子系统观察到的内容都可以返回到 Watson 库。在当前的 Watson 实现中,将数据摄取到库的过程是一个定期的批处理过程。未来将支持渐增式更新。当前的解决方法是格式化已生成的信息,并将它们临时存储到暂存区,直到开始下一个批处理输入周期。这种方式可以在一个稍微慢一点的周期内完成反馈循环。 
为您推荐: 解决方案 Watson 自然语言
大家感兴趣的内容
小伙伴最爱的新闻
小伙伴还关注了以下信息
小伙伴关注的焦点

小伙伴都在关注的热门词

新服 缤纷活动 航海世纪 芈月传 暗黑道具 萌乐网 苹果发布会 最新谍照 三国令 剑雨江湖 怎样修炼战骑 页游 怎样修炼伙伴 木甲世界 仙侠道2 推黑科技 页游模式 武圣试炼场 街机玩法 蓝月传奇 个人BOSS玩法 哥们网 九阴绝学 仗剑出鞘 全新模式 范伟打天下 全新元神玩法 七大神兵简介 新手攻略 跑腿任务 门派五行 城战礼包 页游界 泥石流 傅园慧 经典网页游戏 耐玩 盘点 玉石攻略 提升角色 大黑 实装属性 神兵攻略 问鼎莽荒 莽荒纪 手持神兵 土豪梦 万世 开学清单 财富赚不停 天书世界 大黑游戏 资源战场 ppwan 天问 激战 全国大战 雄霸一方 新增宠物技能 绝对小能手 花千骨 三尾章鱼 风色轨迹 双枪手 弑之神 缤纷好礼 惊喜六重连 帮会 中秋福利 自制月饼 九阴真经 玩家 五周年纪念 纪念银币 名动三界 新服资料片 画江山 勇战妖魔 邪恶势力 上古降魔 老司机玩法 坐骑揭秘 黑科技 竞技场攻略 铁血皇城 披风玩法 书剑恩仇录 装备强化攻略 野外BOSS玩法 全网曝光 赤壁传说 半回合制国 ACT 奇珍商城 热血战歌 传奇宝藏抽奖 打开方式 门徒 门徒获取玩法 三大萌宠简介