谈话要点 金融企业在分析海量数据中面临的挑战 在分析爆发式增长的数据时,金融企业面临 着四大挑战:分析工具门槛过高、分析模版 更新缓慢、分析方式挖掘不深、分析工作依 赖人工。 认知商业智能可创造新一代的分析体验 认知商业智能可以为金融企业化解海量数据 分析挑战,创造新一代的分析体验:交互更 简单、使用更灵活、分析更流畅、推荐更懂你。 金融企业构建认知商业智能之五层架构 金融企业可以从五层功能架构着手,构建认 知商业智能:平台基础、知识管理、智能查询、 可视化交互、增强分析。 金融企业在分析海量数据中面临 的挑战 随着认知智能和云计算技术的日益普及,金融企业能以更 快、更低成本的计算能力获取海量数据,包括大量风控、 信用评估等结构化客户数据,以及从年报获取的股东、对 外投资和控股信息等非结构化数据。但是,金融企业在分 析这些海量数据时,面临着以下四大挑战: 1. 分析工具门槛过高 分析工具使用的技术门槛过高,将大多数业务人员拒之门 外。同时,工具入口分散,处理一项业务工作需要在不同 的分析系统中获取信息,降低了工作效率。 2. 分析模板更新缓慢 以技术为主导的商业智能(BI, Business Intelligence) 已经无法跟上快速发展的业务变化,部分分析系统支持的 预置分析模板有限,无法满足业务扩展可能性,需要有一 种支持数据实时计算、业务灵活可配、由业务驱动的分析 方式。 3. 分析方式挖掘不深 金融数据爆发式增长,数据多样、复杂,孤岛化,且单一 数据价值不高,所以处理金融业务时需要串联大量多源异 构数据。当前的分析方式缺少对数据关系的深度探寻,数 据深层价值挖掘不足。 4. 分析工作依赖人工 信息格式不统一,结构碎片化,存放位置分散。而业务经 理在业务操作处理过程中仍依赖于人工信息检索。 为 此,IBM 提出认知商业智能 (Cognitive Business Intelligence, 简称 Cognitive BI) 方案,该方案能够无缝 接入企业核心业务系统中,通过快速直接的对话,帮助业 务人员完成高效的信息检索和数据分析工作。这种创新的 分析体验即将成为“认知型企业”的常态。 第一阶段:传统商业智能 线上化|可视化|多渠道 第二阶段:敏捷商业智能 第三阶段:认知商业智能 自助式分析|指标可扩展 智能交互|嵌入分析|广泛洞察 2 认知商业智能为金融企业创造新 一代的分析体验 从传统商业智能到敏捷商业智能,再到认知商业智能的破 茧而出,金融行业的商业智能呈现易用性越来越增强,并 逐步贴近业务用户的发展趋势(见图 1)。 早期的传统商业智能工具以构建固定式报表为主,由数据 部门开发,可以为业务人员快速了解日常运营情况。 而以 Tableau 为代表的敏捷式商业智能,提供了自助式分 析工具,辅助企业快速完成数据准备、查询和探索,能够 基本满足业务突发性的分析需求,实现数据分析对业务决 策的“准实时”响应和支持。 进入到认知商业智能阶段,基于自然语言理解的理念彻底 改变了商业智能的交互方式。分析工具不再停留于事后的 分析和反思,而是能无缝集成于前端业务中,帮助业务人 员通过简单的对话与数据建立连接,快速且直接地完成数 据探索。认知商业智能同时能够进行知识管理和持续学习, 分析业务关键问题。 图 1 商业智能发展阶段 新一代分析体验的认知商业智能,具备以下四大特征: • 交互更简单:基于自然语言的自助查询、交互式互动体 验可以降低数据分析门槛。使用者不再局限于专业的数 据分析人员,而是开放给所有前端业务人员,真正实现 数据驱动业务、释放企业生产力的目标。数据分析的场 景不再以个数来计,而是以群来处理的多维分析如同将 千百个字符组合成各种华丽哲思的文章。未来的工作中, 业务人员可以方便地使用自然语言来进行数据探查、业 务分析,无需掌握各种数据库脚本语言和系统平台操作 流程。 • 使用更灵活:用户无需依赖于分析模板,认知商业智能 内部的动态查询机制已经准备好接受用户各种各样的分 析提问,通过解析用户的自然语义,完美匹配到底层变 化的数据。灵活动态的查询方式更加适应市场的突发性 和多样性,分析工具不再落后于市场变化,从而能够帮 助企业及时洞察商业机遇。例如,系统在支持信贷分析 场景后需要补充租赁业务场景,无需重新再建设一套系 统,可以在原系统基础上补充数据标签和映射关系,语 义分析模型一键训练即可使用。 • 分析更流畅:商业市场各类信息繁杂,分析工具各有特点, 在分析过程中嵌入多种工具已是司空见惯。认知商业智 能可以将各类分析工具嵌入一体,用户在整个分析过程 中不会中断。更加流畅的分析提升了工作效率,带来更 多商业灵感,避免多系统信息查找的繁琐。 • 推荐更懂你:基于自然语言交互的方式,认知商业智能 可以更加自然地识别出用户的信息关注点,结合用户群 体和市场突发事件的关联性,为用户提供更加准确的推 荐服务。认知商业智能还可以对用户关注的信息进行主 动预警,生成逻辑描述清晰、信息展示丰富的报告,并 自动向用户推送。例如,当系统发现业务员比较关注某 个客户时,会将该客户的重要信息进行主动推送。 来源:IBM 商业价值研究院分析 3 金融企业构建认知商业智能之五 层架构 IBM在过去几年,帮助很多金融企业构建了认知商业智能。 总结这些成功实践,IBM 认为可以从五层功能结构着手, 全方位释放企业数据价值 ( 见图 2)。 第一层:平台功能 采用云部署方式,提供方便快捷的管理和安全性保证,构 建认知商业智能的平台基础。 云上部署:认知商业智能基于容器化技术的云部署,采用 云上 构建、部署、管理分析应用程序,并结合 IBM 的混合 云技术,可以大大提高运维效率,减少运维错误,避免兼 容性问题,从而节约企业成本,并弥补云数据与企业内部 数据之间的沟通鸿沟。 安全管理:认知商业智能平台要保证安全性,建立用户认 证与用户访问审查机制。同时,管理要具备易操作性, 不但要支持知识的增删改查操作,还要保留各种修改记录、 使用记录,便于后续追查、行为研究以及影响评估。 系统报告:认知商业智能平台可以提供丰富的报表功能, 对各种记录数据进行展示。 第二层:知识管理 提供多数据源支持,建立统一的知识模型,提升数据可靠 性和可用性。 知识建模:根据企业业务活动的各类主体和事物,抽象出 主体描述的特点、标识和数据,并对多数据源进行数据整 合、口径统一,并按照分组和层次结构进行组织,映射到 具体的业务场景,便于对各式各样业的务问题进行回答(见 边栏案例:保险知识建模,开启认知商业智能之路)。 数据源连接:数据既可以在云上,也可以为企业私有。可 以是结构化数据,比如关系型数据库、知识图谱等,也可 以是非结构化数据,比如政府文件、公司政策、邮件报告等。 可以平台直接访问,也可以通过 API 间接获取。 数据存储加载:准备好的数据可以存储于关系型数据库、 数据仓库、知识图谱等,能够被系统直接访问。 图 2 认知商业智能的五层功能结构 增强分析 高级分析 自动洞察 数据故事 可视化交互 多轮对话 数据可视化 嵌入式分析 智能查询 动态查询机制 自然语言处理 自然语言生成 知识管理 知识建模 数据源连接 数据存储加载 平台功能 云上部署 安全管理 系统报告 来源:IBM 商业价值研究院分析 4 保险知识建模,开启认知商业智能 国内某头部保险集团旗下有众多保险产品,理赔要求复杂 且相近,销售经理需要花费大量时间来为客户进行介绍, 大大降低了产品销售效率,影响对客户的友好度。 IBM 为该集团提出人机对话系统的解决方案。首先,使用 图数据库来构建专业领域知识库。基于保险产品、投保要求、 理赔条款、操作方式等知识的关联结构,分析产品的不同 属性、轻重疾的理赔差异等复杂关系。在分析梳理工作过 程中,借助 IBM 知识图谱加速工具 IKE(IBM Knowledge Enabler) ,识别各类数据并进行串连组织,融合汇总到人、 事、物、组织等实体、属性、时空、语义、特征串联为边 的关系网中,形成行业知识图谱库。通过丰富的可视化形式, 为用户再现真实世界对象之间的错综复杂的关系,让数据 更加容易被人和机器理解与处理。其次,使用自然语言理解、 深度学习模型等人工智能技术,识别保险客户提问的实体、 关系、意图,给出客户满意的回复。 IBM 的解决方案让保险客户通过对话方式快速理解产品信 息,同时降低集团在这方面持续投入的成本。该方案实施后, 系统可以支持的业务场景数量超过 4000 个,并支持系统 嵌入到多个入口,方便各种场景下的用户使用。 第三层:智能查询 认知商业智能提速分析的关键在于借力人工智能,建立动 态查询机制,支持业务的千面需求。 动态查询:数据分析的需求纷繁复杂,来自于多种业务线 的数据需求对数据维度、指标、分析粒度提出千变万化的 需求。动态查询机制需要满足各种数据组合分析的要求, 辅助业务,抓住瞬时变化的商业机会。 自然语言查询与自然语言生成技术:用户可以使用语音或 者文字输入,后台通过自然语言理解技术,精准识别用户 的分析意图,定位分析指标和维度,自动进行数据表关联、 过滤条件添加、计算逻辑执行、数据源判断,组装成完整 查询语句,进行数据库查询。整个过程基本控制在 1 秒钟 内完成,实现对业务需求的实时响应。 第四层:可视化交互 以人机对话为主要交互方式,分析结果以文本、可视化图表、 知识图谱等形式展现,提供一站式分析体验。 多轮对话:认知商业智能提供智能而流畅的可视化交互体 验。用户口语化提问分析需求时,自然语言理解并正确解 析出查询的实体、属性和约束条件,并由此判断查询方式。 同一说法有多种含义时,需根据上下文准确判断用户真实 意图。用户采用省略性说法时,能够自动补充省略要素。 用户意图不明确时,需要采用多轮问答进行澄清或推荐(见 边栏案例:智能问答平台,构建智慧大脑)。 数据可视化:形成正确分析意图,并通过动态查询机制, 反馈呈现多样化的展示效果。针对信息查询和判断类意图, 直接回答文本。针对数据分析类意图,展现可视化图表并 支持多轮对话进行数据的逐层下钻分析。针对关联关系分 析类意图,则反馈知识图谱,简单直观地帮助用户寻找信 息洞察。 嵌入式分析:认知商业智能支持内嵌多种分析工具,通过 特定分析意图触发,为用户提供完美的一站式分析体验。 知识建模构建分析知识库,自然 语言处理提升用户体验 5 智能问答平台,构建智慧大脑 国内某头部多元化金融集团面临的业务挑战是:采购和自 建了多种分析工具,数据来源分散且结构复杂,子公司系 统化能力参差不齐,数据提取过程繁琐、手工工作量大、 时效性低。 为了实现对复杂业务进行多维分析、实时计算、动态查询, 该集团与IBM合作,共建多元金融业务的“智慧大脑”方案。 如何梳理复杂业务并对底层数据关系进行知识建模?怎样 通过提问分析出目标,并识别出用户提问的意图?是否可 以进行数据表关联、自动添加过滤条件、判断分类和排序 操作,解决意图的混淆歧义?这些都是要面对的挑战。 在经过充分的业务分析后,IBM 为其梳理出清晰的业务关 系脉络,构建出基本的知识结构。借助 IBM 的 AI 资产智 能问答平台 CAA (IBM Cognitive Agent Assistant),它 不但具备智能问答的能力,更具备与后台流程自动化和工 业自动化相整合的能力。系统通过自然语言理解、动态搜 索引擎分析,将用户目的从自然语言转为数据库查询语句, 将实时计算结果形成可视化结果展现给用户。 经过 IBM 与该金融集团团队 6 个月的不懈努力,共同实现 了 200 多个业务场景的数据分析,准确率达到 90% 以上, 实时计算的响应速度基本在 1 秒钟左右,服务于旗下银行、 证券不动产等多种金融业务,让基层客户经理也能高效地 利用数据以获得洞察。 第五层:增强分析 1 预设多种高级分析模型,解决复杂的分析需求。 增强分析包括多种分析预测的高级模型、猜测用户意图的 自动化洞察和分析数据结果的数据故事讲述等。 高级分析:如果分析场景过于复杂,生成查询语句并展示 结果会比较困难。这时可以在判断出意图以后,直接引用 预先制作的展示丰富的分析报告。 自动洞察:用户询问一个问题以后,通过历史数据统计分析、 舆情热点关联、人工预先配置等多种方式,结合用户画像, 自动给出和此问题相关联的其它问题,方便用户点击获取。 数据故事:为用户展示一个结果之后,对比同条件历史数据、 同时期同业或同级别对标公司数据、行业或地区平均数据 等,并结合各种指标数据、公司重大事件以及内置业务知 识逻辑,给出此数据的合理解释。 6 行动指南 为了帮助金融企业开启认知商业智能之路,IBM 结合实践 经验,提出以下行动指南: 1. 明确业务目标,避免偏离真实的业务需求。 团队需要进行充分的内部沟通,形成清晰的业务目标。 是否一定要通过 AI+BI 的方式来解决?对产品和方案进 行深度思考后,再予以行动。 2. 梳理金融业务场景,持续沉淀,找准痛点,集中发力。 真实而准确的业务需求是认知商业智能成功的基石。考虑 企业内部是否有业务场景的积累,寻找真实的业务痛点。 如果企业已建设了客服系统或者 BI 分析类系统,可以将 积累的需求问题进行需求分析、语义分类。如果没有相 关问题积累,则需先进行少量收集来尝试启动。 在梳理业务场景过程中,可以借助 IBM AI 资产知识图 谱加速工具 IKE (IBM Knowledge Enabler) 来加速业 务知识图谱构建。简单方便的托拉拽操作,可以在短时 间内完成业务图谱搭建。同时内置图算法,将复杂的业 务关系转换为直观的可视化呈现,挖掘业务价值点。 3. 考虑如何实现灵活查询、实时计算、智能分析。 一方面,认知商业智能对底层数据有更高要求:数据标 准统一、数据准确性高、数据模型设计合理、存储符合 数据关系、数据更新频率满足应用层使用要求等。 另一方面,认知商业智能对问答计算性能、查询灵活度 的要求远超一般对话系统。IBM 的资产智能问答平台 CAA (IBM Cognitive Agent Assistant) 处于业界领先 地位,可以助力企业完成转型。 4. 采用 IBM 车库方法 TM,快速开启认知商业智能转型之路。 邀请用户和团队一起参加设计思维工作坊 (Design Thinking Workshop),用同理心找到客户需求,用头 脑风暴重新定义问题,用思维碰撞捕获更多灵感,最终 形成解决问题的方法和原则。