Home 技術記事 ネットワーク容量が不十分な理由:ストリーミングを向上させるためのキャッシング戦略
Applications

ネットワーク容量が不十分な理由:ストリーミングを向上させるためのキャッシング戦略

About The Author

Outline

増加するメディアコンテンツに対応するため、 Verizon Media(現Edgio Media、Platform)は 、グローバルキャッシュフットプリントの拡大に投資しました。 2019年だけでも、25 Tbps以上の容量、7つのグローバルPoP、900ラストマイル接続に近い接続が追加されました。 パフォーマンスの向上には効果的ですが、未フォーマット容量だけでは不十分であり、ストリーミングコンテンツに対する世界的な需要の高まりに対応するための持続可能なビジネスモデルでもありません。

ネットワークキャパシティの可用性を最大化するために、運用コストとインフラストラクチャコストを抑制するテクノロジー、プロセス、ツールに均等に投資しています。 当社の研究チームは、キャッシング技術の境界を常に押し広げ、プロセスを適用し、改良して、コンテンツをキャッシュする方法、タイミング、場所をネットワークオペレータにきめ細かく制御できるようにしています。

最新のキャッシング戦略

キャッシュ戦略の目標は、人気の低いコンテンツをすばやく効率的に削除しながら、最も人気のあるコンテンツをキャッシュに保持することです。 長年にわたり、研究者やソフトウェア開発者は、キャッシングの課題を解決するための無数の戦略を考案してきました。 これらは比較的単純なものから非常に複雑なものまであります。 一般的な戦略には、次のようなものがあります。

  • 最も最近使用されたもの(LRU)
  • 最も頻繁に使用されていない(LFU)
  • 先入れ先出し(FIFO)

すべての状況を管理するための単一のキャッシュ戦略がある場合は便利です。 しかし、このようなソリューションはまだ開発されておらず、特定の戦略の有効性は、サーバやディスクのサイズ、トラフィックパターンなどの要因によって大きく異なる可能性があります。 広範なテストに基づいて、LRUはヒット率とディスクI/Oの間で最高の妥協点を提供し、高いヒット率を維持しながらFIFOよりも書き込みが60%少なくなることがわかりました。 さらに、CDNで使用されているディスクサイズについては、LRUはS4LRU (Quadruply-Segmented LRU)のようなより複雑なポリシーと同等のパフォーマンスを発揮します。 詳細は、昨年チリのプエルトバラスで開催されたPassive and Active Measurement Conference (PAM)で発表した論文をご覧ください。

ハイブリッドLRUによるキャッシング戦略の進化

LRUは私たちの環境に非常にうまく機能しますが、私たちは常にイノベーションを推進し、顧客のパフォーマンスを向上させる方法を探しています。 これにより、当社のプラットフォームにハイブリッドLRUと呼ばれる新しい機能が最近追加されました。 LRUの上に抽象レイヤーを追加するため、ハイブリッドと呼ばれています。 ハイブリッド機能を使用しない場合、システムは正常に動作し続けるため、理解しやすく、アクティブ化または非アクティブ化が非常に簡単です。

私たちがハイブリッドアプローチで行っているのは、特定のコンテンツをより細かく制御できるようにLRUシステムを調整することです。 制御とは、事前定義された設定に基づいて、特定のコンテンツをより長い期間または短い期間明示的に保存できることを意味します。

これは、ビデオストリーミングの状況、特にライブストリーミングの急速な成長に伴う変化のために重要です。 当社のネットワークだけでも、何十万ものライブイベントを開催しており、その多くは何百万人もの同時視聴者に配信されています。 このようなイベントは非常に人気がありますが、ライブイベントストリームが完了すると、大きな量で再ストリーミングされる可能性はほとんどありません。 Hybrid LRUを使用すると、キャッシュ期間を短縮して、貴重なキャッシュリソースを他のメディアやコンテンツ用に解放できます。

私たちは、特定のコンテンツをロックダウンし、キャッシュに残るように最善の努力を払って保証することを試みています。 これは、保存期間が限られているライブビデオストリームに特に役立ちますが、ライブイベントの後数時間は需要が高く、通常のビデオオンデマンドコンテンツになる可能性があります。 この機能は、コンテンツプロバイダーが特定の期間コンテンツを明示的にロックして、オリジンサーバーにヒットしないようにする場合にも使用できます。

ハイブリッドLRUでは、一部のコンテンツを長期間保存することもできます。 これは、オリジンが世界の遠隔地にある場合などに便利です。たとえば、CDNがキャッシュにコンテンツを要求していない場合にQoEが低下する可能性があります 。 このような場合、新しいクライアント要求によってキャッシュミスがトリガーされ、オリジンが満たす必要があり、結果として再バッファリングが発生する可能性があります。 このコンテンツのエージングが遅くなると、キャッシュ内に長く留まり、そのようなオリジンの約定数が減少します。

ハイブリッドLRU使用パラメータ

ハイブリッドLRUは、キャッシュからの特定のコンテンツの削除または削除を遅延または高速化する機能を提供する2つの調整可能なパラメーターで構成されています。

  • エージングレート
  • 存続可能時間(TTL)
エージングレートは、立ち退きスコアの時間的増加率を定義します。 これは、オペレータがコンテンツの経過時間を短縮または遅くするために使用できるスケーリング機能です。 エージングレートのデフォルト値は10であるため、たとえばこの値を200に変更すると、ビデオファイルのエージングが20時間(200/10=20)だけ加速されます。 値を5に変更して、デフォルトの半分の速度でコンテンツをエージングすることもできます。

Time to Live(TTL)パラメータは、指定した時間だけアイテムの経過時間を短縮します。 この変数で設定された期間、アイテムに非常に低い立ち退きスコアを与えることで機能します。 これにより、アイテムが最後にアクセスされてから指定された期間、アイテムがキャッシュに保持されます。 デフォルトは0 secondsです。これは、特別な設定がないことを意味します。

以下のチャートは、これらの調整可能なパラメータがどのように機能して、コンテンツがキャッシュに保持される時間を調整するかを示しています。 これらのパラメータを、コンテンツの需要に合わせて正確に調整できるノブまたはダイヤルとして考えると便利です。 グラフには、アクセス待機中にサーバーキャッシュ上のオブジェクトが経時的にどのように経時的に経時的に経時的に経時

まず、老化率を見てみましょう。 従来のLRUオブジェクトは、時間の経過とともに同じ速度でエージングされます。 しかし、経年変化率のダイヤルを上げると、時間の経過とともにアイテムの経年変化が速くなります。 同様に、ダイヤルを反対方向に回すと、アイテムはLRUよりも経年劣化が遅くなります。 ダイヤルを十分に回すと、図1に示すように、低速のアイテムは「立ち退きしきい値」を超えません。 このコントロールを使用すると、アイテムをより早く削除してスペースを解放するか、オリジンプルを減らすために必要に応じてディスク上のアイテムをより長く保持することができます。

エージングレートとは対照的に、TTLでは特定のアイテムのキャッシュ機能を変更できます。 TTL関数を使用して設定された期間は、アイテムがディスク上にある間はエージングされないため、削除される可能性は低くなります(ほとんどありません)。 TTLが期限切れになると、アイテムは従来のLRU方式でエージングを開始することも、(オペレータの設定に応じて)ファストエージングまたはスローエージングを開始することもできます。 次の図では、TTLのエージングが遅いと、キャッシュエビクションのしきい値を超えない位置までディスク上のアイテムが保持されています。 反対側では、TTLはライブビデオストリームが少なくともイベントの期間キャッシュされることを保証しましたが、その後は高速エージングを使用してディスクからすばやく削除されました。

ほとんどの場合、エージングレートの値を変更することは、ディスク上のトラフィック量に容易に適応できるため、コンテンツがキャッシュから除外されるタイミングを調整するための推奨方法です。 一方、TTLはより攻撃的で、コンテンツが解放されるまでディスクの一部を効果的にロックアウトできます。 ただし、これらの例が示すように、2つのコントロールを一緒に使用して、目的の効果を確実に実現できます。

将来を見据えたキャッシング戦略

LRUなどの広範なキャッシング戦略は、タイプやファイルサイズに関係なく、すべてのコンテンツを平等に処理する大きなハンマーのようなものです。 ファイルが一定時間以内にヒットしない場合、キャッシュから削除されます。 一方、今後ヒットする可能性が低い他のファイル(1回限りのライブビデオストリーム/イベントなど)はキャッシュに格納され、スペースを占有します。 ハイブリッドLRUは、不要なキャッシュフットプリントを削減し、キャッシュヒット率を向上させるための洗練されたレベルを追加します。 これは、小さなハンマーやドライバーを使用して、キャッシュに保存するファイルと削除するファイルをより正確に制御するようなものです。

現在、Hybrid LRUは実験的であり、コンテンツの立ち退き時間枠を調整する必要があります。 今後は、リクエストプロファイルなどの要素を活用して自動的に調整できるかどうかを調査しています。 たとえば、ライブイベントにはさまざまなプロファイルがあります。同じファイルセグメントに対する数千ものリクエストが同時に送信され、ビデオオンデマンドファイルが送信されます。 また、ファイルサイズに基づいて調整することも検討しています。ネットワークトラフィックを最小限に抑えるために大きなファイルをディスクに保存するか、キャッシュヒット率を最適化するために小さなファイルを手元に残しておきますか?

キャッシングシステムと戦略のパフォーマンスと成熟度には自信がありますが、有限のリソースを最適化する必要性は引き続き重要で継続的な取り組みです。