声誉风险:提高业务能力和培养快乐的客户建立一个风险分析引擎

声誉风险为何重要?

“风险管理”一词时,金融服务机构(FSI)见过指导和框架从巴塞尔资本要求的标准。但是,这些指南提到声誉风险和多年来组织缺乏一个明确的方法来管理和测量非金融声誉风险等风险。鉴于最近谈话已经对环境的重要性,社会和治理(ESG),公司必须桥reputation-reality差距,确保流程来适应不断变化的信念和期望从利益相关者和客户。

FSI,声誉无疑是其最重要的资产。

对金融机构、信誉无疑是其最重要的资产。例如,高盛(Goldman Sachs)的著名商业原则指出:“我们的资产是我们的人民、资本和声誉。如果任何这些都减少,最后是最难恢复”。以商业银行为例,品牌在消费者投诉和反馈能够管理法律、商业和声誉风险比他们的竞争对手。美国银行家发表这篇文章这re-iterates非金融风险、声誉风险等关键因素对FSIs地址在一个快速变化的景观。

赢得客户的信任的过程通常需要利用大量的数据通过多个不同的渠道我与问题相关的见解可能造成负面影响一个品牌的声誉。尽管培养快乐的客户数据的重要性,大多数组织难以师一个平台,解决了基本的数据隐私相关的挑战,规模和模型管理通常出现在金融服务行业。bob体育客户端下载

在这篇文章中,我们将展示如何利用砖的力量的统一数据分析平台,解决这些挑战,解锁的见解,并启动补救行动。bob体育客户端下载我们将会看到三角洲湖这是一个开源的数据存储层bob下载地址,可靠性和性能湖泊周围,很容易就让合规GDPR和CCPA法规是否结构化数据和非结构化数据。机器学习运行时和管理MLflow也是砖统一分析平台的一部分,我们在这篇博客,使科学家和业务bob体育亚洲版分析师利用流行的开源bob体育客户端下载数据机器学习和治理框架来构建和部署先进的机器学习模型。bob下载地址声誉风险的这种方法使FSIs衡量品牌认知和汇集了多个利益相关者协同工作来推动更高水平的客户满意度和信任。

砖统一架构风险评估声誉风险。

这篇文章引用笔记本涵盖多个数据工程和数据科学的挑战,必须有效地解决现代化声誉风险管理实践:

• 使用三角洲湖实时摄取匿名客户投诉
• 探索大规模客户反馈使用考拉
• 利用人工智能和开放源码,使积极的bob下载地址风险管理
• 民主化AI风险和宣传团队使用SQL和商业智能(BI) /机器学习(ML)报告

利用云存储

对象存储是一个恩赐给组织寻求公园海量数据更便宜的成本相比传统的数据仓库。但是,这带有操作开销。当数据到达快速卷,管理这些数据成为一个巨大的挑战往往腐败和不可靠的数据点导致不一致,很难正确在稍后的时间点。

这是许多FSIs的主要难点已经开始在一个人工智能开发解决方案,使之旅更快的见解和获得更多的数据被收集。声誉风险管理要求主要努力组织测量客户满意度和品牌认知。采用数据+人工智能方法保护消费者的信任需要基础设施,能够支持大量的客户数据存储在一个安全的方式,确保任何个人身份信息(PII)是利用,和完全符合pci dss的监管。而获取和存储数据仅仅是开始,对数以百万计的投诉进行大规模勘探和建筑模型,提供规定性的见解是成功实现的关键。

作为一个统一的数据分析平台,砖不仅允许摄入和处理大量的数bob体育客户端下载据,也允许用户AI -大规模应用于揭示关于声誉和客户的见解看法。在这篇文章中,我们将摄取的数据消费金融保护局(CFPB)和构建数据管道,以更好地探索产品反馈消费者使用三角洲湖和考拉API。开源库将用于构建和部署毫升模型以分类和测量客户投诉严重程度在不同的产品和服务。通过统一的批处理和流媒体投诉,可以实时分类和路由到适当的宣传团队,导致更好的管理的投诉和更大的客户满意度。

建立黄金数据标准

砖已经利用所有的云供应商所提供的安全工具,Apache SparkTM和三角洲湖提供额外的改进,如数据隔离和模式执行维护和保护数据及时的质量。我们将使用火花阅读投诉数据通过使用模式和持续三角洲湖。在这个过程中,我们还提供一条不良记录由于模式不匹配,造成数据损坏或语法错误到一个单独的位置,然后可以调查后的一致性。

df = spark.read.option (“头”,“真正的”).option (“分隔符”,”、“).option (“引用”,”“”).option(“逃离”、“”“).option (“badRecordsPath”,“/ tmp / complaints_invalid”). schema(模式). csv (“/ tmp / complaints.csv”)

众所周知,敏感数据如PII是一个主要的威胁,增加了企业的攻击表面。Pseudonymization以及酸事务执行基于功能和数据保留时间,帮助我们维护数据的合规使用三角洲湖时基于特定列的操作。然而,这就变成了一个真正的挑战与非结构化数据,每个投诉可能是一个记录从一个音频电话,网络聊天,电子邮件和包含个人信息,如客户的姓和名,更不用说对消费者被遗忘(比如GDPR合规)。在下面的示例中,我们演示了如何组织可以利用自然语言处理(NLP)技术匿名化高度结构化的记录而保留其语义价值(即取代提及名称应该保护消费者投诉的潜在意义)。

像宽大的使用开源库,组织可以提取特定的实体(如客户和代理的名字,社会安全号码(SSN),帐号和其他PII(如名称在下面的例子中)。

的例子砖的声誉风险的框架使用宽大的强调实体。

在下面的代码中,我们展示了一个简单的匿名化策略基于自然语言处理技术可以作为启用用户定义函数(UDF)。

defanonymize_record(原来,nlp):医生= nlp(原始)为X在doc.ents:如果(X。label_ = =“人”):原始= original.replace (X.text,“John Doe”)返回原始@pandas_udf (“字符串”)def匿名化(csi:迭代器(pd.Series))- >迭代器(pd.Series):#仅加载一次宽大的模型spacy.cli.download (“en_core_web_sm”)nlp = spacy.load (“en_core_web_sm”)#提取组织一批内容为cs在csi:收益率cs。地图(λx: anonymize_record (x, nlp))

通过理解每个词的语义价值通过NLP(例如,一个名字),组织很容易混淆敏感信息从非结构化数据按照下面的例子。

砖的声誉风险评估方法,更先进的实体识别模型可以应用于混淆敏感信息的非结构化数据集。

这种方法可以扩展很好处理多个数据流,在实时批处理,不断更新和保持最新的状态信息在目标三角洲表来使用数据科学家和业务分析师进行进一步分析。

砖提高数据的实时控制和质量,使数据工程师,数据科学家,和业务分析师在一个统一的数据分析平台合作。bob体育客户端下载

这样一个实际数据科学方法证明了组织需要打破传统数据之间的筒仓存在的科学活动和日常数据操作,将所有角色在相同的数据和分析平台。bob体育客户端下载

衡量品牌感知和客户情绪

有更好的声誉管理系统,FSIs可以构建卓越的客户体验通过追踪和隔离客户反馈某些机构提供的产品和服务。这不仅可以帮助发现问题,而且也帮助内部团队更有前瞻性和接触客户的痛苦。为了更好地理解数据,数据科学家传统大型数据集产生较小的样本集,他们可以深入地挖掘(有时在他们的笔记本电脑上)使用他们熟悉的工具,如熊猫dataframe和Matplotlib可视化。为了减少数据移动跨平台(因此减少相关的风险与移动数据)和探索性数据分析的效率和效益最bob体育客户端下载大化,考拉可以用来探索你的所有数据和一个语法数据科学家们最熟悉的(类似于大熊猫)。

在以下的示例中,我们探索的J。P Morgan Chase的抱怨使用简单Pandas-like语法,同时利用分布式火花引擎罩下。

进口databricks.koalas作为kskdf = spark.read.table (“complaints.complaints_anonymized”).to_koalas ()jp_kdf = kdf [kdf [“公司”)= =摩根大通(jpm . n:行情)。]jp_kdf [“产品”].value_counts () .plot (“酒吧”)

示例图可视化的投诉数量在多个产品使用考拉API

采取进一步的分析,我们可以运行一个术语频率分析客户投诉识别问题,顶部为客户所有产品为特定的投资策略基金会。乍一看,我们可以很容易地识别相关问题受害者身份盗窃和不公平的债。

示例术语频率分析图表可视化最描述性语法中提到消费者投诉、生产通过砖声誉风险分析方法。

我们可以在进一步挖掘个人消费贷款和信用卡等产品使用一个词云来更好地了解客户抱怨。

理解消费者投诉通过词云可视化,通过砖声誉风险分析方法的产生。

虽然探索性数据分析非常适合商业智能(BI)和活性分析,重要的是要理解,预测和分类直接客户反馈,公众评论,和其他社交媒体实时交互建立信任,使有效的客户服务和个别产品性能测量。虽然许多解决方案使我们能够收集并存储数据,能够无缝地分析和处理数据,使关键的见解在一个统一的平台是一个必须在构建声誉管理系统。bob体育客户端下载

为了验证预测潜在的消费者数据,因此确认我们的数据集是一个很好的适合ML,我们可以识别投诉通过使用之间的相似性t-Distributed随机邻居嵌入(t-SNE)按照下面的例子。虽然有些消费者投诉可能重叠的类别(包括安全、无担保贷款表现出类似的关键词),我们可以观察到不同的集群,指示性的模式,可以很容易地学会了一台机器。

验证通过t-SNE可视化预测潜在的消费者投诉。

上面的情节再次证明一个模式,使我们对投诉进行分类。潜在的重叠也表明一些投诉由最终用户或代理商,分类错误很容易导致次优的投诉管理系统和客户体验不佳。

毫升和增强智能

砖的ML运行时包提供可靠和高性能开源框架包括scikit-learn XGboost, Tensorflow,乔恩·雪实验室NLP,帮助科学家更好地专注于交付价值通过数据管理基础设施,而不是花时间和努力包,和依赖关系。

在本例中,我们创建一个简单的scikit-learn管道对投诉进行分类分为四个主要类别的产品我们看到t-SNE情节和预测由培训之前投诉的严重性有争议的主张。同时三角洲湖提供可靠性和性能数据,MLFlow提供效率和透明度,你的见解。每毫升实验将自动跟踪和hyperparameters登录一个共同的地方,导致工件高质量的一个可以信任和行动。

进口mlflow进口mlflow.sklearn与mlflow.start_run (run_name =“complaint_classifier”):#火车管道,自动记录所有参数管道。fit (X_train y_train)y_pred = pipeline.predict (X_test)精度= accuracy_score (y_pred y_test)#日志mlflow管道和指标mlflow.sklearn.log_model(管道,“管道”)mlflow.log_metric (“准确性”、准确性

所有实验记录在一个地方,数据科学家可以很容易地找到最好的适合模型,使操作团队获取批准模型(作为他们的一部分风险管理模型流程)和表面那些见解最终用户或下游流程,缩短模型生命周期过程从月周。

#负荷模型作为火花UDFmodel_udf = mlflow.pyfunc.spark_udf(火花,“模型:/投诉/生产”)#负荷模型作为一个SQL函数火花。udf。注册(“分类”,model_udf)#分类投诉在真正的时间火花。readStream。表(“complaints_fsi.complaints_anonymized”)。withColumn(“产品”model_udf (“投诉”)

虽然我们现在可以应用毫升实时自动分类和re-reroute新的投诉,随着他们展开,可能利用UDF在SQL代码使业务分析人员能够直接与我们的模型,同时为可视化查询数据。

选择received_date,分类(投诉)作为产品,数(1)作为总从complaints.complaints_anonymized集团通过received_date

砖声誉风险评估方法与人工智能更增加BI描述性分析投诉和纠纷的声誉风险管理方法。

这可以使我们产生进一步使用砖的笔记本可视化或可行的见解SQL分析这是一个易于使用的基于网络的可视化和仪表盘在砖允许用户探索的工具,查询、可视化和共享数据。使用简单的SQL语法,我们可以很容易地查看投诉归因于不同的产品经过一段时间在一个给定的位置。如果上实现一个流这可以提供快速的见解对于倡导团队采取行动和应对客户。例如,典型的客户投诉我们看到包括身份盗窃和数据安全产生了巨大影响品牌声誉和携带大监管机构的罚款。这些类型的事件可以很容易地管理通过建立管道中概述这篇博客有助于企业管理声誉风险为快乐的客户作为公司战略的一部分,改变数字景观。

建立声誉风险成为公司治理策略

在这个博客中,我们展示了企业可以利用砖的统一分析平台构建风险引擎,可以分析客户反馈,安全地和实时,为了让声誉风险的早期评估。bob体育亚洲版bob体育客户端下载虽然博客强调数据来自CFPB,这种方法可以应用于其他来源的数据,比如社会媒体,直接客户的反馈,和其他非结构化的来源。这使得数据团队协作和快速迭代建立声誉风险的平台可以规模随着数据量的增长,同时利用开源AI工具在市场上最好的品种。bob体育客户端下载

试试以下笔记本砖利用人工智能的力量降低声誉风险和联系我们了解更多关于我们如何协助FSIs类似的用例。BOB低频彩

1. 使用三角洲湖实时摄取匿名客户投诉
2. 探索使用考拉投诉数据规模
3. 利用人工智能来更好的经营客户投诉
4. 你和增强智能BI报告