什麼是機器學習中的嵌入?
了解ML嵌入
探索機器學習中嵌入的概念,它們的作用,以及它們如何增強AI應用中的數據表示和分析。
歡迎來到我們的學習中心,在這裡我們將介紹機器學習中的”嵌入式”。 探索多維矢量,神經網路,更好地了解嵌入如何塑造人工智慧的未來。
機器學習模型不斷突破可能的界限。 推動這些進步的基本要素之一是嵌入式。 這些值或對象的表示形式(無論是文本,圖像還是音訊)是機器學習模型和語義搜尋算法的基礎。 在本次全面探討中,我們將深入探討嵌入的世界,瞭解嵌入的重要性,運作方式,以及它們在塑造AI未來(包括集成到Edgio的邊緣平臺)中的關鍵作用。
核心概念:機器學習中的矢量
要真正把握嵌入概念,首先必須瞭解構建這些嵌入概念的基本概念:矢量。 在數學中,向量是定義多維空間中點的數字數組。 在機器學習領域,矢量充當指導我們瀏攬這一多維空間的指南針,使我們能夠導航和了解復雜數據。
在更實用的術語中,矢量是數字值的列表,如{1989,22,9,180}。 此列表中的每個數字代表對象沿指定維度的位置。 當我們尋求發現對象之間的相似點或關係時,這一概念就變得非常寶貴,類似於我們利用預測性AI預測未來趨勢和行為的方式。
如何在ML中使用引導程序的示例
請考慮緯度和經度坐標的示例。 南北(緯度)和東西(經度)這兩個維度簡明扼要地指出地球上的任何位置。 例如,加拿大不列顛哥倫比亞省溫哥華市可以表示為緯度和經度坐標{49°15 ‘ 40 “北,123°06 ‘ 50 “西}。 這兩個值的簡明列表構成了一個簡單的矢量,定義了溫哥華的地理位置。
現在,想象一下在溫哥華附近找到一個城市的任務。 人類觀察者可以參考地圖,而機器學習模型可以檢查緯度和經度矢量。 通過標識具有類似坐標的位置,例如位於{49°16’N,122°58’W}的本拿比,該模型推斷本拿比靠近溫哥華。 此示例說明向量如何使機器了解空間關係。
將尺寸添加到矢量
為了進一步說明向量的力量,我們來擴大我們的地理範例。 想像一下,我們想要確定一個與溫哥華相似的城市,不僅是在距離上,而且在人口規模上。 在這裡,我們將第三個維度介紹給我們的矢量,代表人口的規模。
溫哥華的矢量現在變為{49°15 ‘ 40 ‘ N,123°06 ‘ 50 ‘ W,662,248 *}。 在這個三維空間中,本拿比的矢量{49°16’N,122°58’W,249,125 *}不再特別靠近溫哥華。 相反,機器學習模型可能會將美國華盛頓州西雅圖識別為與{47°36 ‘” N,122°19 ‘ 59 ” W,749,256 35}矢量更合適的匹配。
在這種情況下,我們向矢量添加了第三維,類似於將Z軸引入到緯度和經度座標。 這使我們可以在尋找類似地點時,同時考慮到地理上的接近程度和人口的規模。
*截至2021年的人口數據。
**截至2022年的人口數據。
Beyond Three Dimension:復雜多維矢量
在機器學習的世界中,向量不僅僅局限於三個維度。 它們可以包含多個維度,每個維度都能捕捉對象的獨特方面。 考慮確定兩個電視節目之間相似性的挑戰。 有許多因素會起作用,例如片段長度,流派,觀眾人口統計等。
在這個復雜的多維空間中,每個電視節目都可以用多維度的點表示,類似於緯度,經度和人口規模。 下麵是一個示例,說明瞭這種方法的工作方式:
- Seinfeld (喜劇片)-矢量:{[喜劇片],1989,每集22-24分鐘,9個季節,180集}
- 星期三(恐怖)-矢量:{[恐怖],2022,46-57分鐘每集,1個季節,8集}
在這種表述中,賽因菲爾德和星期三在電視節目的多維空間中佔據了截然不同的位置。 他們不僅在流派和第一年方面有所不同,而且在集時長和季節數和集數方面也有所不同。 這種多維方法使機器學習模型能夠識別定義對象之間相似性或不同性的復雜細微差別。
儘管我們上面的示例僅包含少數維度,但實際上,機器學習模型通常在更高的空間中執行,有時跨越數百甚至數千維度。 這些復雜的多維向量是高級AI應用程式的基礎。
揭開魔法:嵌入工作原理
嵌入是深度學習模型的產物,尤其是神經網路。 它們是通過使用深度學習技術將對象轉換為矢量的過程創建的。 “嵌入”實質上代表了此過程的輸出,這是一個由深度學習模型精心設計的矢量,其明確目的是促進相似性搜尋。
工作原理如下:
神經網路和隱藏層
神經網路受到人類大腦結構的啟發,構成嵌入創造的基礎。 這些網路由多個層組成,包括輸入層,輸出層,最重要的是隱藏層。 嵌入在這些隱藏的層中實現,類似於無伺服器計算如何利用雲資源高效部署應用程式。
神經網路中的隱藏層具有卓越的能力,能夠根據模型的架構和設計,以各種方式轉換輸入數據。 嵌入的創建通常發生在這些隱藏的圖層內,然後隨後的圖層進一步處理輸入。
想象一下您想要為電視節目創建嵌入式。 神經網路的隱藏層不需要手動指定每個電視節目在多個維度上的位置,而是要承擔這項任務。 它會自動生成嵌入,以捕獲每個電視節目的基本屬性,並利用饋入網路的豐富數據。
最初,程式設計師可以通過提供如何創建嵌入的示例,要考慮的維度以及其他相關資訊來指導網路。 但是,隨著神經網路的發展,嵌入層逐漸擅長獨立操作,從而提高了生成嵌入的能力,從而捕捉每個對象的精髓。
嵌入大型語言模型(LLM)
嵌入概念在應用於大型語言模型(LLM)時會發生引人入勝的轉變,例如支援ChatGPT等AI工具的模型。 在這些高級模型中,嵌入範圍超出了單個對象,以涵蓋整個上下文。
從本質上講,句子,段落或文章中的每個詞或標記都成為嵌入,不僅體現了單個詞的含義,還體現了文本中復雜的關係和語義細微差別。 此級別的分析類似於DevOps最佳實踐中的復雜數據處理,其中考慮多個變量以獲得最佳結果。