新闻资讯

脏数据需要数字消毒器

发布日期:2021-04-22 14:28:28浏览量:38

一个好的企业喜欢以其卓越的产品和服务方法,其市场盈利记录以及创造客户体验满意度的能力进行交易。用来评估这些标准的常见标准是利润,业务扩展以及也许稍微不那么实际的客户商誉衡量标准。

但这是所谓数字转换的时代,以防万一您听不到。因此,从理论上讲,一家具有前瞻性的前瞻性企业也应该考虑以某种形式衡量其数据质量和信息渠道的吞吐量,以此作为企业价值,财富和健康的一种形式。

如果一家企业遭受了高调的安全漏洞,那么即使在短期内,其数据资产(在其他企业眼中)也被弄脏,弄脏和污损。如果由于运行劣质的IT体系结构而导致另一家企业因一系列客户满意度不足或不匹配而被召集,那么市场最终将注意到问题-这些天是短期的,而不是长期的。

随着一些公司现在使用新时代的数据交换来购买数据模板,数据参考体系结构以及选择获取匿名数据映射和结构的选项,良好的数据健康状况正成为企业明智的标志。

该领域的行业评论员和供应商热衷于使用脏数据的概念,以向客户展示何时需要将其“衣服”(在这种情况下,是他们的应用程序,他们的数据库和相应的数字服务)放入其中。洗。他们指出了应用程序数据孤岛,具有繁重或繁琐的手动工作流的IT功能以及“脱离上下文”存在的数据,仅是导致现代企业中存在脏数据的几个示例。

我们知道,任何企业都可以收集整个组织中的所有数据,但是除非将其与工作应用程序和IT可交付成果相关联,将其置于更广阔的环境中,否则我们通常会面临很多“噪音”,尤其是在当今时代。指数级增长的连接设备。组织需要考虑他们试图解决的问题,并从可以帮助解决当前问题的资源中更有选择地,更智能地收集数据。总的来说,嘈杂的数据是脏数据。

展望行业的未来,我们正竞相添加其他应用程序和数据库日志源,并获得任何给定组织中手边的IT环境的整体视图。这是鉴于帕洛阿尔托网络的Josh Zelonis的。他认为,数据的挑战将通过工具与供应商无关的环境的互操作性来解决。

肮脏的数据清洗类比在这里可以扩展一点吗?毕竟,从理论上讲,我们可以在任何洗衣机中使用任何洗衣粉,因此,毫无疑问,我们应该能够以与供应商无关的方式将数据清理工具应用于任何用例,而不必担心公司品牌塑造。好的,您可以采用化学上先进的超级配方处理方法来处理顽固的污渍(不良数据扇区和令人讨厌的漏洞),但总的来说,您还是第一次可以很好地进行第一次清洗。

“数据在许多方面经历了许多循环-可以说是洗涤循环以继续进行类比。首先,就像污点一样,通常更容易在源附近或创建后处理脏数据。在涉及物联网和远程数据收集的场景中,我们开始更多地看到这一点。有人会等到脏数据传回到组织中吗?还是在生成脏数据之后,然后再将其传送到下游存储系统或应用程序之前,对其进行“清理”(预处理)?边缘分析,边缘的AI / ML甚至简单的数据转换/过滤都是可以用于在数据被其他任何组件看到之前清除甚至丰富数据的技术。”

Tibco首席技术官建议,我们需要从技术和业务角度考虑数据的特征。因此,我们需要考虑任何单个(或联合)数据集的实际效果如何。我们可能会考虑使用谁的数据进行业务决策的其他人员,以及这些操作的结果。

他进一步提醒我们,数据可能源自原始数据源,可以与其他数据源进行丰富或合并,也可以与其他数据集合并,以尝试为企业创造附加价值。显然,将不良数据放在另一个不良层之上是无济于事的,并且试图将这一层分解成其各个来源可能是具有挑战性的(例如,试图分解导致衣服上造成污点的元素)。

“让我们还记得,就数据产生的速度而言,数据也具有'速度'。一个人可以在网络级别上处理脏数据(例如,逐个数据包),但这显然需要能够高速处理数据。数据可以是流式传输的,例如来自IoT设备的数据,也可以是批量的,例如存储在数据湖中的数据以进行分析。数据的速度通常会确定确保其质量所需采取的方法,以及这些方法的应用位置(例如洗衣机的速度)。以错误的速度或位置应用方法,您可能无法提高其质量,否则其他方面(例如性能)将受到影响。将洗衣机放在一堆穿上跑鞋的“高处”上,看看会发生什么。” Petracek说。

那么,在现实世界中如何处理脏数据呢?有人说EDR(端点检测和响应)技术将从端点收集数据,从而解决远程工作人员的可见性。但是EDR并非万能药,分析来自各处的数据并不能解决我们所有的问题。组织需要从典型的用例中进行反击,例如恶意的内部人用例或网络钓鱼用例。这样,他们将集中精力进行数据收集和处理,以应对特定类型的威胁。

保险科技公司Concirrus Andrew Yeoman的首席执行官进一步回应了Petracek的“其他人还使用了这些数据吗?”。观点。他着重介绍了2021年3月无偿货运船在苏伊士运河上搁浅时,世界如何唤醒“互联供应链”概念的方式。

Yeoman说:“就像您可以使用其GPS跟踪电话一样,您也可以使用代表自动识别系统的AIS技术来跟踪船舶。” “最初是作为船舶安全和避免碰撞的解决方案而开发的,如今,该全球网络已用于跟踪每艘船舶。但是,就像技术一样,一旦将其升级到其他地方使用,裂缝就会开始显现出来。在这种情况下,我们看到AIS位置在整个位置上跳跃,来回移动,并且在某些情况下同时处于两个(或多个)位置。数据确实很脏……但是为什么呢?”

Yeoman解释说,某些原因是由于使用基于地面的回程来收集数据的方式所致,该方式会在接收数据时对记录进行时间戳记。当接收器过载时,它们运行缓慢或丢失数据。

“还有其他更邪恶的原因,即出于其他目的'欺骗'船舶的身份证件。渔民可能将一艘油轮的ID放在应答器上,以使他们的网能够警告其他船只。破坏制裁的船只可能假装是其他人……所以这种情况一直持续下去。留给自己的设备,数据将是不可靠和不可用的。” Concirrus首席执行官补充说。

好消息是AI可以解决这个问题,Yeoman指出,通过详细检查移动记录,系统可以学习正确的位置顺序,可以检测到“欺骗”并向AIS劫持发出警报。这是AI的另一种用途,用于清理数据,但当它推动着数十亿美元的保险业发展时,则有100%的必要性。

开始进行自动服务清洗
总体而言,我们可以说,尽管任何公司的数据安全功能的自动化都有许多好处,例如忙于将工作从分析员手中夺走,但总会有人为决策和干预的需求。

网络钓鱼是一个很好的例子。大量可疑电子邮件的初始分类是自动进行的,但最终,它将被移交给分析人员,该分析人员需要确定威胁是否真实以及威胁的严重程度。

我们看到虚拟网络安全助手的增长,其中一些进入了安全编排,自动化和响应(SOAR)工具领域,以运行可实现响应自动化的剧本,并在分析师开始之初就将分析员从繁琐的手工工作中解脱出来。事件。这是一种数据清洗方法,实际上会使我们的白人比白人更白。

标签:, ,

相关推荐