Home 播客 肆无忌惮的爬虫程序攻击:我们如何缓解其不受欢迎的上升趋势
Applications

肆无忌惮的爬虫程序攻击:我们如何缓解其不受欢迎的上升趋势

About The Author

Outline

Edgeio’s Beyond the Edge播客简介第1集:肆无忌惮的爬虫程序攻击:我们如何缓解其不受欢迎的上升趋势,由Edgio产品和解决方案营销副总裁Nathan Barling主持。

Nathan Barling: 大家好,欢迎观看《超越边缘》的第一集,这是一个专门探讨现代数字企业所面临的动态挑战的播客。 我们将要讨论的是真实世界的例子和历史趋势。 我们将介绍臭名昭著的中断或臭名昭著的数据泄露,市场营销失误以及一般的零日攻击的不同示例,以更好地帮助企业预测和准备技术的未来,尤其是在技术的未来出现在Web上时。 我们将一起探索企业提出的各种创新解决方案,以简化工作流程,采用尖端技术增强数字体验,以及企业可以采取的强大战略,帮助抵御这些不断发展的威胁。

我是你们的副驾驶,Nathan Barling,今天我们有两位行业专家。 首先,我要欢迎Brian Pillsbury。 他是Edgio的解决方案工程总监。 您好,Brian。 我们也欢迎高级产品营销经理Andrew Johnson来到Edgio。

好的,先生们,今天我们来这里讨论为什么我们看到恶意爬虫程序如此猖獗。 什么是爬虫程序? 它对企业有何影响? IT对行业的影响如何?企业通常可以采取哪些措施来帮助抵御这种不断发展的新威胁?

让我们超越边缘!

当今的快速数字化转型和数据泄露带来的日益增加的成本

全球组织正在进行数字化转型。 有各种各样不同类型的数字化转型。 麦肯锡最近的一项研究表明,十年的数字化转型在冠状病毒病开始的六个月内加速和压缩。

所有这些快速的,不受约束的数字转型,我们所看到的是这种大规模的扩张,每个人都在努力以最快的速度进入市场。

  • 那么如何获取我的应用程序?
  • 如何开始补充这些不同类型的商业转换中的一些?
  • 我如何开始专注于提供客户所需的体验?

说完,他就站起来,走出了餐厅。 他们的在线展示速度非常快,数字安全也不是最重要的。 根据IBM去年的一项研究,83%的美国公司遭遇了数据泄露,这在美国造成了超过940万美元的损失,是全球平均值的两倍多。 那么,企业可以做些什么,这些爬虫程序如何开始在这方面发挥作用,对吧? 爬虫程序如何为企业打开这些类型的攻击?

Okta是全球最大的单点登录身份业务之一,最近发布了一份报告,表明全球34%的登录尝试都是由爬虫程序进行的。 爬虫程序只是试图进入网络。

Kount的另一项研究表明,每四个组织中就有一个因一次爬虫程序攻击而损失了50万美元。 这对企业来说是一个巨大的问题,对企业造成了巨大的经济损失。

我们今天要谈论的是,我们如何开始认识到,不仅是损失的钱,而且是用户信任的削弱,而且常常是企业内部无法弥补的。 因此,我们如何开始更好地定位您的企业,以便能够作出反应,提供保护,积极主动,并采取一切可能的措施来保护自己免受此类威胁。

让我们来谈谈这些不同类型的示例。 安德鲁,我先跟你走。 那么,您可以想到的与爬虫程序相关的臭名昭著的例子是什么?

臭名昭著的爬虫程序攻击(Taylor Swift Eas Tour/Ticketmaster)

Andrew Johnson: 是的,我想我们很多听众最近听到的一个可能是整个泰勒斯威夫特惨败。 我认为这发生在去年秋天,2022年秋季。 泰勒·斯威夫特在5年后重返巡演,Ticketmaster正在分发门票。 当然,他们甚至预测了访问该网站的高需求和高爬虫程序需求,但实际上是他们实际预测的三倍。

您访问的页面不存在。 很多的票被抢头的人捡了起来,转售超过20,000美元。 甚至连他们的母公司Ticketmaster的母公司的总裁也被拖至参议院司法委员会面前。 不幸的是,许多品牌损害都是由爬虫程序造成的。

这是近代历史上的一个很好的例子,但我认为爬虫程序多年来一直受到关注。 我们听到,特别是当埃隆买推特时,他强调了爬虫程序问题,当他试图摆脱这笔交易。 还有其他爬虫程序用于选举信息和虚假宣传活动。 所以我认为有很多例子,我认为在过去的几年里,这确实是在一般民众的意识中出现的。

臭名昭著的爬虫程序攻击(鞋子掉落)

布莱恩·皮尔斯伯里: 是的,我想每当你库存短缺的时候,你可能会遇到机票销售,或者像在英国,家庭健身房,或者实际上到处都是,家庭健身房,家庭健身器材。 实际上,在库存有限且需求巨大的任何地方,您能够大规模获取这些东西的方式就是使用爬虫程序。 我认为最近最有趣的一件事是运动鞋复制,或者它们被称为鞋子滴,基本上。 所以你可以想到限量版鞋,也许是新款LeBron James’ Nikes。 爬虫程序可以挖空这些库存,以六倍的价格出售。 这些企业的运营方式,例如,您可以查看nikeshoebot.com或爬虫程序代理之类的内容。 这些是非常精致的业务,允许人们租用他们正在寻找的爬虫程序,以获得他们想要的库存。 定价将根据其有效性发生波动。 他们实际上是作为完全合法的端到端业务运营的,他们说:”嘿,我们可以打败爬虫程序解决方案。 我们是Shopify或类似产品的最佳选择。” 利润率往往很高,即使在98/99%的时间内爬虫程序被阻止,计算成本如此低的情况下也有足够的利润率, 有很多激励因素可以坚持下去,继续部署僵尸网络以购买您所需的产品。

臭名昭著的爬虫程序攻击(任天堂开关)

Nathan Barling: 这很有趣,因为正如你所说,任何东西都很稀缺。 所以这是任何有需求的东西。 如果它是任天堂开关,同样的问题。 他们抢了任天堂开关比任何人都能把他们放在他们的网站更快. 甚至在去年,它也是显卡。 在Crypto热潮中,每个人都在购买显卡,并将其标记为MSRP值的6到7倍。 他们所做的事情是,由于爬虫程序的发展速度比部署任何安全措施来规避它的速度更快,因此整个网站都关闭了他们的电子商务操作。 而他们只是尽可能地攫取了他们的库存。

我认为这也是非常重要的。 我们讨论了数据泄露时的信誉损失。 如果发生数据泄露,83%的客户将停止与某个品牌开展业务。 因此,恶意爬虫程序突破并获取信息会给品牌带来大量信誉损失。 但是,当机器人占据了所有的库存,以及想要获得泰勒斯威夫特票或任天堂交换机或想要购买任何东西的人,新乔丹,新的空气下降,这也是伤害, 当他们知道该品牌做得不够,让产品在球迷和他们的顽固品牌支持者的手中,这也造成了大量的商业损害和信誉损害,并最终声誉损害.

所以我们已经建立了一些有趣的方式,这些方式不一定是攻击。 它们只是在网站上自动化购买的方式。 只是我要编写一个脚本,它将会完成,并且能够自动完成签出。 所以经常有合法的购买。 他们只是在这么大的量,它只是在不到一半的时间内抢了所有的库存泰勒斯威夫特售罄或类似的东西.

布莱恩·皮尔斯伯里: 是的-比任何人都可能要求检查卡,并把他们的信用卡。

为什么我们看到更多,更大规模的攻击?

Nathan Barling: 另一个方面更恶意。 这些攻击的规模在不断扩大,而且它们的频率,季度和季度都在逐年增长,基本上每一个指标都可以让她摆脱困境。 那么,你们中的一位能否详细解释一下,为什么我们现在看到更多的攻击发生了? 我们所看到的是什么? 我们也开始看到哪些类型的攻击?

Andrew Johnson: 我认为我们看到爬虫程序攻击激增的原因有几个。 我想你都知道了。” 首先,必须有激励。 所以,当涉及到抢帽子和拿起鞋子PS5s的激励,翻转这些是相当大的. 其次,抵御这些攻击要容易得多。 甚至还有恶意爬虫程序即服务。 所以你不必是超级技术人员。 您只需购买一些套件并运行爬虫程序攻击即可。 因此,它更容易,进入门槛更低。 我认为总体而言,就像您在CO期间所说的那样,人们在线的程度更高。 现在购买,稍后付款的趋势有所上升。 在大流行病期间和大流行病之后,电子商务有所增长。 我认为这些都是很多因素。

我想你问题的第二部分是关于他们在做什么。 这真的取决于行业。 我认为,各行各业面临的最重要或最大挑战之一是防止帐户接管,凭据填充。 机器人程序基本上是自动化程序。 他们可以测试很多用户名和密码。 这影响到所有行业。

对于剥皮和拒绝库存和价格抓取,这影响零售相当糟糕. 有扫描爬虫程序在寻找软件和Web应用程序中的漏洞,这是数据泄露和类似情况的大门。 取决于行业,有很多挑战. 但我们无法阻止所有爬虫程序。 有些爬虫程序是好的。 SEO爬虫程序对人们的网站也至关重要。 所以,这是一个挑战,肯定的。

区分好爬虫程序和坏爬虫程序

Brian Pillsbury: 我认为这确实是重点所在,它决定将好的爬虫程序与坏爬虫程序和未知的爬虫程序进行分类。 有新的用户代理,也有新的爬虫程序。 因此,了解他们在做什么,区分恶意行为和良性行为,正是像我们这样的许多提供商在努力做到的。 更高级的爬虫程序–他们可以使用修改后的Web浏览器,他们可以模仿人喜欢鼠标移动和点击。 因此,收集遥测数据非常重要,因为它们可以更快地更改IP地址。 这是一个持续的游戏的猫和鼠标,以确定什么是好的从坏。 我认为在另一类良性爬虫程序中,可以是语音或聊天机器人。 有一些真正有用的爬虫程序真的帮助公司增加收入并推动其业务战略向前发展。 但它是关于试图找出哪些是坏的。

Nathan Barling: 现在,您如何开始确定这一点? 因为正如Andrew所说,SEO爬虫程序是一件大事。 很多这些网站,这些好爬虫程序,是品牌被发现的方式。 这就是Google如何理解您的内容。 他们将进入并抓取您的内容,以便对其进行索引和理解。 这听起来很容易说,我想阻止所有爬虫程序。 我只是将阻止爬虫程序流量作为一个整体,100%阻止。 但是,您现在所做的是放弃您的大部分业务,大部分合作伙伴,以及互联网工作方式的很大一部分–互联网总流量的40%是爬虫程序。 考虑到这一点,我们可以通过哪些方式开始思考如何开始为它做好更充分的准备? 品牌可以使用哪些系统或方法,或者他们可以开始考虑哪些策略,流程或系统来防范这些类型的活动?

有效的安全解决方案和实践

Brian Pillsbury: 我认为第一个问题是您需要一个结合了一些基于签名的防御的解决方案。 那么,看看爬虫程序是什么? 它的DNA是什么? 它的一些数字DNA。 这可以是像JA3哈希那样的东西。 这可能是这样的,这种爬虫程序来自哪里? 很多时候,我们的客户会受到欺骗爬虫程序的攻击。 因此,机器人说,”我是Google机器人”,但基于使用各种方法来查看它们的来源,我们可以说,”好吧,实际上,不, 您并非来自Google。” 所以这将是恶意的。

因此将一些基于签名的防御与基于行为的防御相结合。 那么,看看会话意图,看看爬虫程序点击了哪些页面,以及爬虫程序的速度有多快。 能够将这两种检测技术结合起来是非常重要的。 然后从那里开始,我们不仅能够缓解爬虫程序, 但要能够管理它们,因为有时您可能希望能够在您的应用程序的特定部分上拨号安全,例如您的购物车或您的结帐或密码重置页面。 在其他情况下,您不需要对应用程序或网站的某个其他部分采取如此严格或非常严格的安全策略。 因此,拥有一个解决方案,让您能够灵活地拨号和拨号不同的配置策略,并能够使用安全解决方案的不同层来应对自动化威胁,这一点非常重要。

从那里,让它成为边缘的原生. 因此,如果它是攻击或具有内容交付网络,例如,我们更靠近攻击者,您正在扩展该外围防御。 这对于防止攻击者进入基础设施和破坏基础设施系统非常关键。 这是一个非常重要的因素。 这也提供了更好的性能,因为如果您使用的是更全面的解决方案,则不会将流量发送到其他提供商。 这可能会影响特定应用程序的性能,导致延迟等问题。 然后是一个大型平台,为您提供一种渐进的现代化方法。 因此,使用一个众所周知的平台使公司能够使用一个平台实现技术堆栈现代化,而您无需担心部署这样的整体解决方案可能会破坏您的应用程序。

Andrew Johnson: 我认为这些都很棒,布莱恩。 我真的很喜欢您提到的关于爬虫程序管理的一点。 有好爬虫程序,也有坏爬虫程序。 因此,我认为在该解决方案中,我一定会寻找一种能够对访问您站点的爬虫程序提供高水平的可观察性和可见性的解决方案。 我认为,您希望选择API优先的解决方案,并真正与DevSecOps集成,以便快速响应爬虫程序。 假设您是一家开展黑色星期五销售活动的零售商,实时掌握可观察性信息至关重要,同时能够实时更新允许列表和阻止列表等规则对于关闭恶意爬虫程序窗口绝对非常重要, 尤其是在黑色星期五等高音量时段。

Brian Pillsbury: 是的。 我认为客户,他们想要控制。 他们希望能够非常快速地部署某些内容。 当发生攻击时,您可能每分钟都在损失金钱。 因此,能够部署新的策略或规则并在全球范围内快速实施,这一点非常重要。

Nathan Barling: 我认为这将成为你作为一个企业必须做的平衡行为。 我认为,在边缘技术真正成为现实之前,我更希望”我是想加强安全性还是希望拥有最快的网站?” 因为它是一个分布式体系结构,在这种体系结构中,一方是安全供应商,另一方是应用程序,但通常没有连接。 现在,借助边缘,您无需修改任何有关应用程序的内容,即可获得所有这些安全性。 它可以成为IT的一部分,使其自然适合解决方案本身。 正如您之前所说,它实际上可以加速您的应用程序,因为现在所有的需求和所有的处理以及通常会在您的应用服务器上的所有负载都在边缘停止,甚至在它进入之前。 这是一个有趣的变化,因为我们能够在所有这些攻击发生之前将其阻止。 现在,攻击变得越来越聪明,不断发展,不断变化,他们越来越善于隐藏自己正在做的事情,欺骗和像其他人一样行事。

我认为这就是为什么它如此重要的原因,因为攻击者现在不仅仅是攻击世界上最大的公司。 有政府泄露,有通用汽车。 我可以去下列表的一切从投注网站获得汽车购买信息几乎任何人有客户数据有效,人们试图进入.

但现在的大趋势似乎是几乎一半的尝试现在是针对那些中小型企业,因为安德鲁的观点,他们现在上网. 通过第三方媒体提供商,他们只需购买开箱即用的产品。 我的整个企业现在都是在线的。 现在,他们在安全性方面的投资通常不会像以前那样大。 因此,这些攻击中有近一半现在都发生在中小型企业中,因为攻击量是它所处的位置,而不一定只是进入其中,而只是走出世界。

我想我们已经讨论了许多威胁和一些问题,以及客户现在如何充分了解他们的凭据链接到暗网所带来的个人痛苦,以及无法获得Taylor Swift门票。

Edgio客户示例和成功案例

Nathan Barling: 如果可以,我们会在最后讨论几个客户示例,介绍客户如何在部署安全性方面取得成功,以及他们如何在不牺牲安全性的情况下真正帮助提供更好的客户体验。

Brian Pillsbury: 我们的一位客户是一家大型鞋履零售商Shoe Carnival,他们能够在一个月内阻止超过800,900万个恶意请求,我们的一些ML/AI爬虫程序保护措施让他们的业务真正受益。 而且确实减少了安全漏洞的缓解和解决问题的时间,我们大幅减少了这一时间,当事情发生变化时,我们能够迅速部署规则。 我认为,能够很快地做到这一点对他们来说是一个真正的改变因素。 同样的事情与床垫硬.

爬虫程序总是在变化。 我不认为有任何爬虫程序供应商会告诉您,我们将保证您不会出现误报,我们将捕获一切。 这是一个猫和鼠标游戏,其中有来自攻击者的创新。 但能够,例如,创建白名单例外,如果可能有一个误报,能够豁免,并能够真正快速迭代,我认为,一个真正的改变企业在那里. 然后是我们的一家大型客户,他们是全球最大的航运公司之一,能够使用我们的整个安全堆栈将爬虫程序管理部分整合到安全堆栈的其他层中, 这是一种非常明智的方式来微调并真正了解他们如何实施其安全性,我认为他们通过我们的平台获得了很多显著的积极成果。

总结

Nathan Barling: 这很棒。 我当然感谢你们两位今天加入我们的行列并分享你们的观点。 我知道我学到了很多东西,所以我希望每个人都能听得懂。 我想在结束发言时,通过谈话,只是知道它正在发生。 爬虫程序试图登录网站,即使您是否关注安全。 我认为,虽然你不能总是阻止100%的尝试,你至少可以有系统到位,以了解他们. 您之前谈到的这种可观察性变得非常重要,因为随着攻击者在攻击时变得更加聪明, 因此,您的防御系统是否需要随着它的发展而发展,是否需要使用相同类型的技术的系统来提前做好准备,防止这些事情,并像每天一样创造零日。 我们的系统只需采取相应的行动并做出相应的响应,就能对攻击者造成尽可能令人沮丧的障碍。

我当然很欣赏你今天的时间,并期待着在未来的一集再次与你交谈。 感谢大家的倾听。 请继续关注下一个!