Edgio的超越邊緣播客簡介第1集：無約束的爬蟲程序攻擊：如何緩解其不受歡迎的上升，由Edgio產品和解決方案市場行銷副總裁Nathan Barling主持。
Nathan Barling：大家好，歡迎觀看第一集Beyond the Edge，這是一集專門探討現代數字業務所面臨的動態挑戰的播客。 所以我們要討論的是現實世界的例子和歷史趨勢。 我們將介紹臭名昭著的中斷或臭名昭著的數據洩露，行銷失誤和一般零日攻擊的不同示例，以更好地幫助企業預測和準備未來的技術，尤其是當技術的未來在Web上時。 我們將一起探討企業為簡化工作流程而設計的不同創新解決方案，增強數位體驗的尖端技術技術，以及企業可以採取的強健策略，以協助對抗其中一些不斷演變的威脅。
我是你們的同事Nathan Barling，今天我們有兩位行業專家。 首先，我要歡迎Brian Pillsbury。 他是Edgio的解決方案工程總監。 嗨，Brian。 我們還要歡迎Edgio的高級產品行銷經理Andrew Johnson。
好的，先生們，今天我們來這裡談談為什麼我們看到惡意爬蟲程序數量如此之多。 什麼是爬蟲程序？ IT對企業有何影響？ IT對行業有何影響？企業通常可以做些什麼來幫助抵禦這種不斷演變的新型威脅？
讓我們超越極限！
當今的快速數字轉型和不斷增加的數據洩露成本
全球組織都在參與數位化轉型。 數字轉型有各種各樣的不同類型。 McKinsey最近進行了一項研究，結果顯示，在COVID開始時，十年的數字轉型已經加速並壓縮了大約六個月。
所有這些快速的，毫無節制的數字轉型，我們看到的是這種大規模的擴張，每個人都在競速並試圖盡可能快地進入市場。
- 那麼如何獲取我的應用程式？
- 如何開始補充這些不同類型的商務轉換？
- 我如何開始專注於提供客戶所需的體驗？
於是，他們就迅速地通過了。 他們很快就能上網，而數位安全性並不是最重要的考量。 根據IBM去年的一項研究，83％的美國公司曾遭受過數據洩露，這在美國造成了超過9.4億美元的損失，這是全球平均水平的兩倍多。 企業可以做些什麼，這些爬蟲程序如何開始在這方面發揮作用，對吧？ 爬蟲程序如何為企業打開這些類型的攻擊？
Okta是全球最大的單一登入身分識別企業之一，最近發表一份報告，指出全球所有登入嘗試中有34 %是由機器人程式所造成。 爬蟲程序只是試圖進入網路。
Kount的另一項研究顯示，每四個組織中就有一個組織因一次爬蟲程序攻擊而損失了500,000美元。 因此，這是企業面臨的大量問題和企業面臨的大量財務損失。
今天我們要談論的是，我們如何才能開始理解，不僅是損失的資金，而且是用戶信任如何降低，而且在企業內部往往是無法挽回的。 那麼，我們如何能夠開始更好地定位您的企業，以便能夠作出反應，保護，主動，並盡其所能地保護自己免受此類威脅。
我們來談談其中一些不同類型的示例。 安德魯，我先跟你一起去。 那麼，您可以想到的與爬蟲程序相關的一個臭名昭著的例子是什麼？
臭名昭著的爬蟲程序攻擊(Taylor Swift Eras Tour/Ticketmaster)
安德魯·約翰遜：是的，我想我們很多聽眾最近聽說過的一個可能是整個泰勒·斯威夫特失事。 我想這是去年秋天，2022年秋天。 Taylor Swift在五年後重返巡迴賽，Ticketmaster正在分發門票。 當然，他們甚至預料到訪問網站的需求和機器人程序需求很高，但實際上是他們實際預測的三倍。
網站不可用。 很多門票被Scrpers取走，轉售超過20,000美元。 甚至他們的母公司Ticketmaster的母公司的總裁也被拖到參議院司法委員會面前。 不幸的是，許多品牌損害都是由爬蟲程序造成的。
這是近代歷史的一個好例子，但我認為爬蟲程序多年來一直是焦點。 我們聽說，尤其是Elon購買Twitter時，他強調了爬蟲程序問題，當時他試圖擺脫這筆交易。 還有其他爬蟲程序用於選舉資訊和虛假資訊活動。 所以我認為有很多例子，我認為過去幾年中，這確實是一般民眾的意識。
臭名昭著的爬蟲程序攻擊(鞋滴)
Brian Pillsbury：是的，我想每當您遇到庫存短缺的情況時，您可能會打機票銷售，或者可能是在英國，家庭健身房或在流行病期間的任何地方，家庭健身房，家庭健身房設備。 無論您在庫存有限且需求量大的地方，您能夠大規模獲取這些東西的方式就是使用爬蟲程序。 我認為最近更有趣的是鞋類的仿製，或者說它們基本上被稱為鞋滴。 所以你可以想到限量版鞋，也許是新的LeBron James’Nikes。 機器人程式可以搶購庫存，以六倍的價格出售。 舉例來說，這些企業的營運方式，您可以看看nikeshoebot.com或機器人程式代理程式。 這些是非常精緻的企業，允許人們租用他們尋找的機器人程序，以獲得他們想要的庫存。 定價將根據其有效性而波動。 他們真正以完全合法的端對端企業運作，他們說：“嘿，我們可以擊敗機器人程序解決方案。我們是Shopify或類似產品的最佳選擇。” 即使機器人程序99在98％的時間內被攔截，利潤率也會很高，在計算成本如此低的情況下，利潤率仍有足夠的利潤率，因此有很多誘因來保持這一點，並不斷部署殭屍網路來購買您所需的。
臭名昭著的爬蟲程序攻擊(任天堂交換機)
Nathan Barling：這很有趣，因為正如你所說，這幾乎是任何稀少的東西。 因此，它是有需求的一切。 如果是任天堂交換器，同樣的問題。 他們搶奪任天堂交換器的速度比任何人都快。 甚至在去年，圖形卡也是如此。 在Crypto繁榮期間，每個人都在購買顯卡，並將其標記為MSRP價值的6到7倍。 他們所做的事情是，整個網站都關閉了電子商務營運，因為爬蟲程序的發展速度比他們部署任何安全措施的速度都快。 他們只是盡可能多地搶走了他們的庫存。
我認為這也是它不可思議的重要。 我們討論了數據洩露時的可信度損失。 當發生數據洩露時，83％的客戶將停止與品牌開展業務。 因此，惡意爬蟲程序突破並獲取資訊給品牌帶來了大量可信度損失。 但是，如果爬蟲程序搶占了所有庫存，想要買Taylor Swift門票或任天堂換車或想買任何東西的人，新Jordan，新的空氣下降，當他們知道品牌沒有做出足夠的努力來將產品交給粉絲和他們頑固的品牌支援者手中時，也會造成大量的商業損失和信譽損失，最終損害。
因此，我們建立了一些有趣的方法，這些方法不一定是攻擊。 它們只是在網站上自動購買的方法。 只是我要編寫一個腳本，該腳本將完成，並且只能自動結帳。 因此，經常有合法的購買。 它們的數量如此之大，以至於只是以不到半秒的時間就能搶走所有庫存，或者像這樣奇怪的事情。
Brian Pillsbury：沒錯–比任何人要求檢查信用卡並將其信用卡放入的要求都要多。
為什麼我們會看到更多，更大的攻擊？
Nathan Barling：還有另一面惡意得多。 這些攻擊的規模在不斷擴大，而且它們的頻率，季度和季度逐年增加，基本上每個指標都可以讓她擺脫。 那麼，你們中的一位能否詳細說明為什麼我們現在看到更多的攻擊發生？ 我們看到的是什麼類型的東西？ 我們還開始看到哪些類型的攻擊？
Andrew Johnson：我認為我們看到機器人程式攻擊激增的原因有幾個。 我想你們都在前面提到過。 首先，必須有激勵機制。 所以，當談到剝皮和摘下鞋子和PS5s時，反轉鞋子的動機是相當不錯的。 其次，擺脫這些攻擊要容易得多。 甚至還有壞爬蟲程序即服務。 因此，您不必具備超級技術。 您只需外出購買一些套件，然後執行爬蟲程序攻擊。 因此，進入的障礙較低，因此要簡單得多。 總的來說，就像您在COVID期間所說的，人們上網的時間更多。 現在購買，以後付款的數量也在上升。 在大流行病期間和大流行病後，電子商務增長。 我認為這些是很多因素。
我想你問題的第二部分是關於他們在做什麼。 這真的取決於行業。 我認為，跨行業最重要或最大的挑戰之一是防止賬戶接管和憑據填充。 機器人程式基本上是自動化程式。 他們可以測試許多用戶名和密碼。 這影響到所有行業。
對於敲詐和拒絕庫存以及價格抓取，這對零售的影響非常嚴重。 有掃描爬蟲程序在尋找軟體和Web應用程式中的漏洞，這是數據洩露和類似情況的大門。 視行業而定，存在許多挑戰。 但我們不能阻止所有爬蟲程序。 有些爬蟲程序很好。 SEO機器人對人們的網站也至關重要。 所以，這是一項挑戰，當然。
區分好爬蟲程序和壞爬蟲程序
Brian Pillsbury：我認為這正是重點所在，它確定了將好的爬蟲程序與壞爬蟲程序和未知爬蟲程序進行分類。 有了新的用戶代理，還有新的爬蟲程序。 因此，像我們這樣的許多提供商都想要了解他們在做什麼，並區分惡意行為和良性行為。 更高級的爬蟲程序–他們可以使用修改後的Web瀏攬器，像滑鼠移動和點擊一樣模仿人類。 因此，收集遙測數據非常重要，因爲它們可以更快地更改IP地址。 這是一種持續的貓鼠遊戲，用來判斷好壞。 我認為在其他類別的好爬蟲程序中，可以是語音爬蟲程序或聊天爬蟲程序。 有一些實用的機器人程式，能真正協助公司創造更多收益，並推動企業策略向前邁進。 但它的目的在於找出哪些是壞的。
Nathan Barling：現在，你如何開始確定這一點？ 因為正如Andrew所說，SEO爬蟲程序是一大問題。 這些網站中的許多網站，這些優秀的機器人程式，這些都是品牌的發現方式。 Google是如何理解您的內容的。 他們會進來抓取您的內容，以便索引和理解。 聽起來很簡單，我想要封鎖所有機器人程式。 我只是從整體上阻止爬蟲程序流量，阻止100％的爬蟲程序流量。 但您現在所做的是放棄大部分業務，大部分合作夥伴，以及大部分網際網路運作方式–網際網路總流量的40 %是爬蟲程序。 有鑒於此，我們可以通過哪些方式開始思考如何開始為之做好更多準備？ 品牌可以使用哪些系統或方法，或者他們可以開始考慮採取哪些策略，流程或系統來防範這些類型的活動？
有效的安全解決方案和實踐
Brian Pillsbury：我認為第一項是您需要一種結合了一些基於簽名的防禦的解決方案。 那麼，看看爬蟲程序是什麼？ 它的DNA是什麼？ 它的一些數字DNA。 這可以是JA3哈希之類的內容。 這可能是這樣的事情，這個機器人程式來自哪裡？ 很多時候，我們的客戶都會受到欺騙爬蟲程序的攻擊。 因此，爬蟲程序說：“我是Google爬蟲程序”，但根據使用各種方法來查看它們的來源，我們可以說：“嗯，實際上，不，您不是來自Google。” 這將是惡意的。
因此，將一些基於簽名的防禦與基於行為的防禦相結合。 看看會話意圖，看看爬蟲程序擊中哪些頁面以及爬蟲程序的速度。 能夠將這兩種檢測技術結合在一起是非常關鍵的。 然後從那裡開始，您可以完全地不僅緩解爬蟲程序，而且能夠管理爬蟲程序，因為有時您可能希望能夠在應用程式的特定部分(例如購物車，結帳或密碼重置頁面)上進行安全撥號。 在其他情況下，您不需要在應用程式或網站的某些其他部分上採用如此嚴格或非常嚴格的安全策略。 因此，真正有一個解決方案，讓您能夠靈活地撥號和撥號不同的配置策略，並能夠使用不同的安全解決方案層來處理自動化威脅，這一點非常關鍵。
從那裏，它是邊緣的原生產品。 例如，如果是攻擊或有內容傳遞網路，我們會更接近攻擊者，而您正在擴展外圍防禦。 這對於阻止攻擊者進入基礎架構和破壞基礎架構系統至關重要。 這是一個非常重要的因素。 而且這也能提供更好的效能，因為如果您使用的是更全面的解決方案，就不會將流量延伸到其他供應商。 這會影響特定應用程式的性能，引入延遲等。 然後是一個大型平臺，為您提供一種漸進式現代化方法。 因此，使用知名平臺使公司能夠通過一個平臺實現技術堆棧的現代化，您無需擔心部署這樣的整體解決方案會破壞應用程式。
安德魯·約翰遜：我覺得這些都很棒，布賴恩。 我真的很喜歡你們提到的其中一點，那就是爬蟲程序管理。 有好的爬蟲程序和壞的爬蟲程序。 因此，我認為在解決方案中，我一定會尋找能夠提供高水平觀察性和可見性的工具來訪問您網站的爬蟲程序。 我認為，您還想選擇以API為先並真正與DevSecOps集成的解決方案，以便快速響應爬蟲程序。 假設您是一家正在進行黑色星期五銷售活動的零售商，實時掌握觀察資訊是關鍵，同時能夠實時更新允許列表和阻止列表等規則對於關閉惡意爬蟲程序窗口來說無疑是非常重要的，尤其是在黑色星期五等高流量時段。
Brian Pillsbury：沒錯。 我認為客戶想要控制。 他們希望能夠非常快速地部署某個項目。 當發生攻擊時，您可能每分鐘都會損失金錢。 因此，能夠部署新策略或規則並在全球範圍內快速推廣是非常重要的。
Nathan Barling：我認為這將成為您作為企業必須做的平衡行動。 我認為，在邊緣真正成為今天的優勢之前，更多的是“我是想加強安全性還是想擁有最快的網站？” 因為它是分布式體系結構，您的安全供應商在一邊，而應用程式在另一邊，但通常沒有連接。 現在，借助邊緣，您可以獲得所有的安全性，而無需修改任何應用程式。 它可以成為它的一部分，它自然適合解決方案本身。 正如您之前所說，它實際上可以加快您的應用程式速度，因為現在，所有這些需求和所有處理以及通常應用程式伺服器上的所有負載都會在邊緣停止，甚至在它進入之前。 現在，我們能夠在所有這些攻擊發生之前阻止這些攻擊，這是一個有趣的變化。 現在，攻擊變得越來越聰明，攻擊也在不斷演進，而且也在不斷變化，而且他們越來越擅長隱藏自己正在做的事情，欺騙和像其他人一樣行事。
我認為，這就是為什麼它如此重要的原因，因為攻擊者現在不僅僅是攻擊世界上最大的公司。 有政府洩漏，有通用汽車公司。 我可以逐一列出所有內容，從投注網站到獲取汽車購買資訊，幾乎所有人都能有效地擁有客戶數據，人們都在試圖進入。
但現在看來最大的趨勢是，幾乎有一半的嘗試都是針對那些中小型企業，因為Andrew認為，他們現在已經上網了。 通過第三方媒體提供商，他們只是購買開箱即用的產品。 我的整個業務現在都在線上。 現在，他們在安全性方面的投資往往不那麼多。 因此，這些攻擊中有近一半是在中小型企業中，因爲它們的攻擊量就在它們所處的位置，而不一定只是攻擊它們，而只是在世界上出現。
我認為我們已經討論過許多威脅和一些問題，現在客戶如何充分了解他們的憑證被鍊接到黑暗Web，但也無法獲得Taylor Swift門票，這是他們的個人痛苦。
Edgio客戶示例和成功案例
Nathan Barling：我們的結尾是如何讓大家討論幾個客戶示例(如果可以的話)，討論客戶如何成功部署安全性，以及他們如何在不犧牲安全性的情況下真正幫助提高客戶體驗。
Brian Pillsbury： 我們的其中一位客戶是大型鞋類零售商Shoe Carnival，他們能夠在一個月內阻止超過8,900萬個惡意請求，而我們的一些ML/AI爬蟲程序保護確實使他們的業務受益，並真正減少了安全漏洞緩解和解決問題的時間，我們大幅削減了這一點，然後能夠在事物發生變化時快速部署規則。 我認為，能夠快速完成這一任務，對他們來說是一個真正的改變。 床墊硬的情況也是一樣。
爬蟲程序不斷變化。 我認為沒有任何爬蟲程序供應商會告訴您，我們將保證您不會有誤報，我們將捕獲所有資訊。 這是一種貓鼠遊戲，攻擊者在這種遊戲中進行了創新。 但是，舉例來說，如果可能存在誤報，能夠創建白名單例外，能夠免除這種例外，並且能夠非常迅速地重複，我認為，這對企業來說是一個真正的差異化因素。 我們的一位較大的客戶是全球最大的運輸公司之一，能夠使用我們的整個安全堆棧將爬蟲程序管理部分整合到安全堆棧的其他層中，並以一種真正，非常智能的方式對他們如何實施安全進行微調，並對他們如何實施安全進行外科操作，我認為他們通過我們的平臺獲得了很多顯著的積極成果。
總結
Nathan Barling：這很棒。 我當然感謝你們今天參加我們的會議並分享你們的觀點。 我知道我學到了一些東西，所以我希望每個正在傾聽的人也能這樣做。 最後，我想說的是，只要知道事情正在發生，就可以說清楚了。 爬蟲程序正在嘗試登入站點，即使您關注的是安全性或非安全性。 我認為，儘管您不能始終阻止100％的嘗試，但您至少可以準備好系統來識別它們。 您之前提到的這種觀察能力變得非常重要，因為隨著攻擊者在攻擊中變得更聰明，您的防禦也需要隨之演進，並且要讓系統使用相同類型的技術來領先，防止這些事情，並像每天一樣實現零日。 我們的系統可以採取相應的行動並作出相應的響應，並盡可能地成為攻擊者的一堵磚牆。
我非常感謝您今天的發言，並期待在未來的一集中再次與您交談。 感謝大家的傾聽。 敬請關注下一項！
