Edgio Beyond the Edge播客简介第1集：不受约束的爬虫程序攻击：如何缓解其不受欢迎的上升，由Edgio产品和解决方案营销副总裁Nathan Barling主持。
Nathan Barling：大家好，欢迎收看Beyond the Edge的第一集，这是一个旨在探索现代数字企业所面临的动态挑战的播客。 所以我们要谈论的是真实世界的例子和历史趋势。 我们将讨论臭名昭著的中断或臭名昭著的数据泄露，营销失误以及一般的零日漏洞攻击等不同示例，以更好地帮助企业预测和准备迎接技术的未来，尤其是当技术的未来出现在Web上时。 我们将共同探讨企业为简化工作流程而提出的不同创新解决方案，用于增强数字体验的尖端技术技术，以及企业可以采取的有助于抵御这些不断演变的威胁的稳健策略。
我是你们的同事，Nathan Barling，今天我们有两位行业专家。 首先，我要欢迎Brian Pillsbury。 他是Edgio的解决方案工程总监。 你好，Brian。 同时，我们也热烈欢迎Edgio的高级产品营销经理Andrew Johnson。
好吧，先生们，今天我们来这里讨论为什么我们看到恶意爬虫程序数量如此之多。 什么是爬虫程序？ 它对企业有何影响？ 它对行业有何影响？一般而言，企业可以做些什么来帮助对抗这种不断演变的新威胁？
让我们超越边缘！
当今的快速数字化转型和不断增长的数据泄露成本
全球性组织正在参与数字化转型。 有各种各样的不同类型的数字化转型。 麦肯锡最近的一项研究表明,十年的数字化转型在COVID开始之初的六个月内得到加速和压缩。
所有这些快速的，不受约束的数字化转型，我们看到的是这种大规模的扩张，每个人都在赛车，并试图以尽可能快的速度进入市场。
- 那么,如何获取我的应用程序?
- 如何开始补充这些不同类型的商务转化？
- 如何开始专注于提供客户所需的体验？
有了这一点,他们就加速了。 他们很快就实现了他们的在线形象，而数字安全也不是首要的问题。 根据IBM去年的一项研究，83%的美国公司经历过数据泄露，这使他们在美国的损失超过940万美元，是全球平均水平的两倍多。 那么，企业可以做什么，这些爬虫程序如何开始在这方面发挥作用，对吗？ 爬虫程序如何为企业打开这些类型的攻击？
因此，Okta是全球最大的身份业务单一标志之一，最近发布了一份报告，指出全球所有登录尝试中有34%是爬虫程序造成的。 爬虫程序只是试图进入网络。
因此，Kount的另一项研究表明，四分之一的组织仅因一次爬虫程序攻击而损失了50万美元。 这对企业来说是巨大的问题，对企业来说也是巨大的经济损失。
我们今天要谈论的是，我们如何开始理解，不仅损失了金钱，而且还损失了用户信任度，而且在企业内部常常是无法弥补的。 那么，我们如何才能开始更好地定位您的企业，以便能够做出反应，提供保护，积极主动，并竭尽全力保护自己免受此类威胁的侵害。
让我们来谈谈这些不同类型的示例。 安德鲁,我先跟你走。 那么，当与爬虫程序相关时，您会想到一个臭名昭著的例子？
臭名昭著的爬虫程序攻击(Taylor Swift Eras Tour/Ticketmaster)
安德鲁·约翰逊：是的，我想我们很多听众最近听说过的可能是整个泰勒·斯威夫特的失败。 我认为这发生在去年秋天，2022年秋天。 泰勒·斯威夫特在五年后重返巡回赛,特玛捷票务公司正在分发门票。 当然，他们甚至预见到访问该网站的高需求和高爬虫程序需求，但实际上是他们实际预测的三倍。
您访问的页面不存在。 很多门票被铁匠拿走,转售价格超过2万美元。 甚至他们的母公司,即特马捷的母公司的总裁,也被拖到参议院司法委员会面前。 不幸的是，许多品牌损坏都是由爬虫程序造成的。
这是近期历史中的一个很好的例子，但我认为爬虫程序多年来一直是焦点。 我们听说过，尤其是当Elon购买Twitter时，他强调了爬虫程序问题，当时他试图摆脱这笔交易。 还有其他爬虫程序用于选举信息和虚假宣传活动。 所以我想有很多例子，我想过去几年大众的意识是这样的。
臭名昭著的爬虫程序攻击(擦鞋)
布莱恩·皮尔斯伯里:是的,我想只要你有库存短缺,你可能打机票销售,或许这是在英国,家庭健身房,实际上到处都是,家庭健身房,家庭健身器材大流行病期间。 实际上，无论在库存有限且需求量很大的地方，大规模获取这些东西的方法都是使用爬虫程序。 我认为这些天其中一个更有趣的是运动鞋复制或他们被称为鞋滴,基本上. 您可以想到限量版鞋款，也许是全新的勒布朗·詹姆斯Nike。 爬虫程序可以搜寻库存，以六倍的价格出售。 例如，这些企业的运营方式，您可以查看类似nikeshoebot.com或爬虫程序经纪人的内容。 这些都是非常精致的企业,允许人们租用他们正在寻找的爬虫程序,以获得他们想要的库存。 定价将根据其有效性而波动。 他们真正作为完全合法的端到端业务运营，他们说：”嘿，我们可以击败爬虫程序解决方案。我们最适合Shopify或类似的解决方案。” 即使爬虫程序在98/99%的时间内被拦截，利润率也很高，在计算成本如此低的情况下，有足够的利润率，以至于有很大的动机来保持利润率并不断部署僵尸网络来购买您需要的东西。
臭名昭著的爬虫程序攻击(任天堂交换机)
Nathan Barling：这很有趣，因为正如你所说的，任何东西都是稀缺的。 这是任何有需求的东西。 如果是任天堂交换机,同样的问题。 他们抓住任天堂交换机的速度比任何人都能把它们放在他们的网站上的速度快。 甚至在去年，它也是显卡。 在加密热潮期间，每个人都在购买显卡，并将其标记为MSRP价值的6到7倍。 他们所做的事情是，整个网站都关闭了电子商务操作，因为爬虫程序的发展速度比部署任何安全措施来绕过爬虫程序的速度更快。 他们只是在抢夺尽可能多的库存。
我认为这也是令人难以置信的重要之处。 我们谈到了当您发生数据泄露时的可信度损害。 当出现数据泄露时，83%的客户将停止与品牌开展业务。 因此，恶意爬虫程序突破并获取信息会给品牌带来大量的可信度损失。 但当爬虫程序抢夺所有库存和想要获得泰勒Swift车票或任天堂交换机或想要购买任何东西的人,新的约旦,新的空气下降,当他们知道品牌没有做足够的事情来让产品在粉丝和他们的顽固品牌支持者手中,这也造成了大量的业务损害和信誉损害,最终的声誉损害。
所以我们已经建立了一些有趣的方法，这些方法不一定是攻击。 它们只是在网站上自动购买的方法。 我只想写一个脚本，它将会经过，并且能够自动结账。 因此,经常有合法的购买。 它们的销量太大了，以至于它只能在不到半秒的时间内抢走所有库存，而不是泰勒·斯威夫特售出的库存，或者像这样奇怪的东西。
布赖恩·皮尔斯伯里:是的——比任何人都可能要求检查信用卡,并把他们的信用卡放进来。
为什么我们会看到更多，更大规模的攻击？
Nathan Barling：它的另一面更具恶意。 这些攻击的规模在不断扩大，而且它们的频率，季度和季度逐年增加，基本上，您可以将其赶出。 那么，你们中的一个人能否详细说明为什么我们现在看到更多的攻击发生？ 我们看到的是什么？ 我们也开始看到哪些类型的攻击？
Andrew Johnson：我认为我们看到爬虫程序攻击激增的原因有几个。 我想你们两个人早些时候都谈到了它们。 首先，必须有激励措施。 所以,当谈到剥头皮和拿起鞋子和PS5s时,翻转这些是相当大的激励. 其次，消除这些攻击要容易得多。 甚至还有坏的爬虫程序即服务。 所以你不必是超级技术性的。 您只需出去购买一些套件并运行爬虫程序攻击。 因此，进入门槛更低，更容易。 我认为总的来说,就像你在COVID期间谈到的,人们更多的在线。 现在买了很多钱，稍后再付。 在大流行病期间和大流行病后，电子商务发展壮大。 我认为这些都是很多因素。
我想你的问题的第二部分是关于他们在做什么。 这确实取决于行业。 我认为各个行业面临的最重要或最大的挑战之一是防止账户接管，凭证填充。 爬虫程序基本上是自动化程序。 他们可以测试大量的用户名和密码。 这影响到所有行业。
对于抢帽子和拒绝库存和价格报价,这对零售的影响相当糟糕。 扫描爬虫程序会寻找软件和Web应用程序中的漏洞，这是数据泄露等问题的一扇门。 取决于行业，存在很多挑战。 但我们无法阻止所有爬虫程序。 有些爬虫程序很好。 SEO机器人对人们的网站也至关重要。 所以这是一个挑战,当然。
区分良好爬虫程序和恶意爬虫程序
Brian Pillsbury：我认为这就是重点所在，即确定好爬虫程序是从坏爬虫程序和未知爬虫程序中分类的。 有新的用户代理，还有新的爬虫程序。 因此，了解他们在做什么并区分恶意行为和良性行为正是像我们这样的许多提供商尝试做的事情。 更先进的爬虫程序–他们可以使用修改过的Web浏览器,他们可以模仿人类像鼠标移动和点击。 因此，收集遥测数据非常重要，因为它们可以更快地更改IP地址。 它是猫和老鼠的一个不断的游戏,以确定什么是好从坏。 我认为，在其他类别的好爬虫程序中，这可以是语音或聊天爬虫程序。 有一些非常有用的爬虫程序可以帮助公司推动更多收入并推动业务战略向前发展。 但这是关于试图找出哪些是坏的。
Nathan Barling：现在，你如何开始确定这一点？ 因为正如Andrew所说,SEO机器人是一件大事。 很多这些网站，这些很好的爬虫程序，都是如何发现品牌的。 这就是Google如何理解您的内容。 他们会进入并抓取您的内容，以便对其进行索引和理解。 听起来很简单，我想阻止所有爬虫程序。 我将从整体上阻止爬虫程序流量，阻止100%。 但是，您正在做的就是放弃您的大部分业务，合作伙伴的很大一部分，以及互联网工作方式的很大一部分—互联网总流量的40%是爬虫程序。 考虑到这一点，我们可以通过哪些方式开始思考如何开始为之做好更充分的准备？ 品牌可以使用哪些系统或方法，政策，流程或系统来防范这些类型的活动？
有效的安全解决方案和实践
Brian Pillsbury：我认为第一个问题是您需要一个结合一些基于签名的防御的解决方案。 那么看什么是爬虫程序？ 它的DNA是什么？ 它的一些数字DNA。 这可以是JA3哈希。 这可以是这样的，这个爬虫程序来自哪里？ 很多时候，我们的客户会受到欺骗爬虫程序的攻击。 机器人说，”我是Google机器人”，但基于使用各种方法来查看机器人的来源，我们可以说，”嗯，实际上，不，你不是来自Google的。” 这将是恶意的。
因此，将一些基于签名的防御与基于行为的防御相结合。 因此，请看会话意图，看看爬虫程序攻击的页面，以及爬虫程序执行的速度。 能够结合这两种检测技术是非常关键的。 然后从那里开始，不仅可以缓解爬虫程序，还可以管理爬虫程序，因为有时您可能希望能够在应用程序的特定部分(例如，您的购物车或结帐页面或密码重置页面)上查找安全性。 有时,您不需要对应用程序或网站的某些其他部分制定如此严格或非常严格的安全策略。 因此，拥有一个解决方案，使您能够灵活地拨号和拨号不同的配置策略，并且能够使用不同的安全解决方案层来应对自动化威胁，这一点非常重要。
从那里,它是原生的边缘。 例如，如果是攻击或拥有内容交付网络，我们就更靠近攻击者，您正在扩展该外围防御。 这对于阻止攻击者进入基础设施和破坏基础设施系统至关重要。 这是一个很大的因素。 这也提供了更好的性能，因为如果您使用的是更全面的解决方案，则不会将流量增加到其他提供商。 这会影响特定应用程序的性能，引入延迟等。 然后是一个大型平台，为您提供一种渐进的现代化方法。 因此，使用一个知名平台，公司可以使用一个平台实现其技术堆栈的现代化，您不必担心部署类似的整体解决方案可能会破坏应用程序。
安德鲁·约翰逊：我认为这些都很棒，Brian。 我真的很喜欢你提到的一点之一，那就是爬虫程序管理。 有好的爬虫程序和坏的爬虫程序。 因此，我认为在解决方案中，我一定会寻找一种能够为访问您的网站的爬虫程序提供高水平的可观察性和可见性的解决方案。 同时，我认为您希望选择API为先并真正与DevSecOps集成的解决方案，以便快速响应爬虫程序。 假设您是从事黑色星期五销售活动的零售商，实时掌握该可观察性信息是关键，以及能够实时更新允许列表和阻止列表等规则对于关闭恶意爬虫程序窗口而言绝对是非常重要的，尤其是在黑色星期五等高容量时段。
布赖恩·皮尔斯伯里：对。 我认为客户需要掌控。 他们希望能够非常快速地部署某些内容。 当发生攻击时，您可能每分钟都在损失金钱。 因此，能够部署新的策略或规则并在全球范围内迅速推行，这一点非常重要。
Nathan Barling：我认为这已经成为你作为一个企业必须做的平衡行为。 我认为，在边缘成为今天的现实之前，更重要的是”我希望加强安全性还是希望拥有最快的网站？” 因为它是一个分布式体系结构，您的安全供应商在一侧，而应用程序在另一侧，而且通常没有连接。 现在，借助边缘技术，您无需修改任何有关应用程序的内容即可获得所有安全性。 它可以成为它的一部分,它成为它自然适合于解决方案本身的地方。 正如您前面所说,它实际上可以加快您的应用程序,因为现在所有的需求，所有的处理以及通常会在您的应用程序服务器上的所有负载都在边缘停止,甚至在应用程序进入之前就停止了。 这是一个有趣的变化，因为我们能够在所有这些攻击发生之前阻止它们。 现在，攻击变得越来越聪明，它们在不断演变，它们在不断变化，并且它们在更好地隐藏自己正在做的事情，欺骗和像其他人一样行事。
我认为这就是为什么它如此重要的原因，因为攻击者现在不仅仅攻击世界上最大的公司。 有政府泄漏,有通用汽车。 我可以下去的一切从投注网站得到汽车购买信息的列表几乎任何人,有客户数据有效,人们试图进入.
但现在似乎是大趋势是几乎一半的尝试现在都针对那些中小型企业,因为在Andrew的观点,他们现在在线. 通过第三方媒体提供商，他们只需购买开箱即用的产品。 我的整个业务现在在线。 现在，他们通常不会在安全方面投入太多资金。 因此，这些攻击中将近一半现在发生在中小型企业中，因为攻击量就位于攻击的位置，而不一定只是进入攻击的范围，而只是在全球范围内发动攻击。
我想我们已经谈论了很多威胁和一些问题，以及现在客户如何充分了解他们的凭证被链接到暗网中的个人痛苦，但也只是无法获得泰勒斯威夫特门票。
Edgio客户端示例和成功案例
Nathan Barling：我们的结尾是大家通过几个客户示例(如果可以)讲述客户如何在部署安全性方面取得成功，以及他们如何在不牺牲安全性的前提下实际帮助推动更好的客户体验。
Brian Pillsbury： 我们的一位客户是一家大型鞋类零售商Shoe Carnival，他们能够在一个月内拦截超过八百九十万个恶意请求，我们的一些ML/AI爬虫程序保护确实给他们的业务带来了好处，并真正缩短了安全漏洞缓解和解决问题的时间，我们大大减少了这一点，然后能够在事情发生变化时迅速部署规则。 我认为，能够很快地做到这一点对他们来说是一个真正的差异。 同样的事情与床垫坚固。
爬虫程序总是在不断变化。 我不认为有任何爬虫程序供应商会告诉您，我们将保证您不会有误报，我们会捕获所有信息。 这是一个猫和老鼠游戏,那里有来自攻击者的创新。 但是，举例来说，能够创建白名单例外，如果可能有假阳性，能够免除这种情况，并且能够真正快速地迭代，我认为，对于企业来说，这确实是一个真正的差异因素。 然后，我们的一位大型客户是全球最大的航运公司之一，能够使用我们的整个安全堆栈将爬虫程序管理部分整合到安全堆栈的其他层中，并以真正智能的方式进行微调，并对如何实施其安全采取真正的外科手术，我认为他们通过我们的平台获得了许多显著的积极成果。
总结
Nathan Barling：这太棒了。 我当然感谢你们今天加入我们，并分享你们的观点。 我知道我学到了东西,所以我希望每一个听力的人也能这样做。 我想在结束发言时，只需知道这件事正在发生。 即使您不关注安全性，爬虫程序也会尝试登录网站。 我认为，虽然您不能始终阻止100%的尝试，但您至少可以建立系统来了解这些尝试。 Andrew，您之前谈到的观察性变得非常重要，因为随着攻击者在攻击中变得更加聪明，您的防御也需要与其同时发展，并拥有使用相同类型技术的系统来超越它，防止这些情况，并像每天一样实现零日制。 我们的系统可以采取相应的行动并做出相应的响应，并尽可能让人沮丧地成为攻击者的砖墙。
我当然感谢你今天的时间,并期待着在未来的一集与你再次谈话。 谢谢大家的聆听。 期待下一个项目！
