カーネルネットワークスタックがボトルネックになる理由
パケットがLinuxシステムに到着するたびに、カーネルのネットワークスタックを通過します——割り込み処理、ソケットバッファ、netfilterフック、ルーティングテーブルの検索。1 Gbps程度なら問題ありません。しかし10 Gbpsや100 Gbpsになると、どれだけカーネルをチューニングしてもCPUの飽和、パケットドロップ、レイテンシスパイクが発生し始めます。
ソフトウェアルータープロジェクトで4つのアプローチをベンチマークしました:純粋なカーネルフォワーディング、Open vSwitch、カスタムコードによるDPDK、そしてFD.io VPP。スループットはコアあたり1〜3 Mppsから最大40〜80 Mppsまで——40倍の差があり、必要なサーバー台数が1台か20台かを左右します。
高速パケットフォワーディングの4つのアプローチ
Linuxカーネルフォワーディング(iptables + ip route)
デフォルトの手法です。どこでも動き、追加設定不要。ホームラボや軽負荷のゲートウェイなら十分です。ただしカーネルはnetfilter、conntrack、ルーティングなど複数のレイヤーを通じて1パケットずつ処理し、各パケットに割り込みオーバーヘッドが発生します。最新サーバーでも1コアあたり1〜3 Mpps程度が限界です。
Open vSwitch(OVS)
OVSはカーネルデータパスによる高速フォワーディングとuserspaceデーモンによる複雑なルール処理を組み合わせ、OpenFlowプログラマビリティを提供します。OpenFlowによるトラフィックステアリングが必要なSDN環境に適しています。ただしファストパスはパーパケットのカーネルオーバーヘッドに縛られ、userspace経路は遅い。10GbE NICを搭載した最新サーバーで3〜5 Mpps程度が上限です。
DPDKによるカスタムアプリケーション
DPDKはuserspace から直接NICをポーリングすることでカーネルを完全にバイパスします。10GbE NICでコアあたり20〜40 Mppsに達するフォワーディングループを実装できます。ただしDPDKはフレームワークではなくライブラリです。NICの制御は担いますが、ルーティングロジック、ARP、VLAN処理などはすべて自分で実装する必要があります。DPDKプリミティブからフルルーターを構築するには数ヶ月の作業が必要です。
FD.io VPP(Vector Packet Processing)
VPPはCiscoのエンジニアが高速パスフォワーディングコードをオープンソース化したものです。DPDK上で動作し、パケットをベクター——1つずつではなく最大256パケットのバッチ——として処理します。L2ブリッジング、L3ルーティング、NAT、VLAN、MPLS、GRE、VXLANなど豊富な機能を標準搭載しています。コモディティx86ハードウェアを使って2CPUコアで単一10GbEポートあたり40〜80 Mppsを安定して記録しています。
VPPのメリットとデメリット:実態を正直に語る
うまく機能する点
- ベクター処理モデル——1サイクルで256パケットをバッチ処理することで、関数呼び出しオーバーヘッド、キャッシュミス、分岐予測ミスを償却します。これがVPPが速い根本的な理由です。
- グラフノードアーキテクチャ——パケット処理はノード(ip4-lookup、ip4-rewriteなど)のDAGとして構成されます。各ノードはパケットベクターに対するタイトなCループです。プロファイリングも拡張も容易です。
- 本番グレードの機能セット——L2/L3/MPLS、NAT44/NAT64、ACL、VXLAN/GREトンネル、セグメントルーティングがすべて標準搭載で高速です。サードパーティプラグイン不要。
- プログラマティック制御——
vppctlCLIまたはPythonバインディング付きのバイナリAPIで完全な自動化が可能です。
面倒な点
- 急峻な学習曲線——VPPは独自のメンタルモデルを持ちます。「interface punt」「feature arc」「FIB」などの概念はLinuxネットワーキングとは異なる挙動をします。
- DPDKバインディングの必要性——NICはカーネルドライバからアンバインドしてDPDKに渡す必要があります。VPP動作中はNICがOSから見えなくなるため、管理が複雑になります。
- 共有ホストには不向き——VPPと通常のLinuxネットワーキングを同一マシンで共存させるには、慎重なCPUピニングとインターフェース設計が必要です。
- ドキュメントの不備——公式ドキュメントは基本的な内容はカバーしていますが、カスタムノード開発などの高度なトピックはソースコードを読むかコミュニティのSlackに頼る必要があります。
推奨構成
専用ソフトウェアルーター向けに組み合わせるハードウェアを紹介します:
- CPU:4コア以上の最新Intel/AMD。VPPメインスレッド用に1〜2コア、フォワーディングワーカー用にNICキューごと1コアを予約します。
- NIC:Intel X520(ixgbe)、X710(i40e)、またはMellanox ConnectX-4/5。DPDKドライバのサポート有無が決め手です——購入前にDPDK互換性リストを確認してください。
- メモリ:最低4GB。VPPはDPDKバッファ用にhugeページを確保します。
- OS:Ubuntu 22.04 LTSまたはRocky Linux 9。fd.ioパッケージリポジトリから両方向けのVPPパッケージが提供されています。
実装ガイド:ゼロからパケットフォワーディングまで
ステップ1:Hugeページを有効化する
# /etc/default/grub に追加:
GRUB_CMDLINE_LINUX="default_hugepagesz=2M hugepagesz=2M hugepages=1024"
sudo update-grub && sudo reboot
# 再起動後に確認
grep HugePages /proc/meminfo
ステップ2:VPPをインストールする
# Ubuntu 22.04
curl -s https://packagecloud.io/install/repositories/fdio/release/script.deb.sh | sudo bash
sudo apt-get install vpp vpp-plugin-core vpp-plugin-dpdk vpp-dev
# インストール確認
vppctl show version
ステップ3:NICをDPDKにバインドする
# PCIアドレスを確認
dpdk-devbind.py --status
# 出力例:
# 0000:01:00.0 'Ethernet Controller X710' if=ens3 drv=i40e unused=vfio-pci
# 0000:01:00.1 'Ethernet Controller X710' if=ens4 drv=i40e unused=vfio-pci
# vfio-pci にバインド
sudo modprobe vfio-pci
sudo dpdk-devbind.py -b vfio-pci 0000:01:00.0 0000:01:00.1
ステップ4:VPP起動設定を構成する
unix {
nodaemon
log /var/log/vpp/vpp.log
cli-listen /run/vpp/cli.sock
exec /etc/vpp/init.conf
}
cpu {
main-core 0
corelist-workers 2-3
}
dpdk {
dev 0000:01:00.0 {
name eth0
num-rx-queues 2
}
dev 0000:01:00.1 {
name eth1
num-rx-queues 2
}
}
buffers {
buffers-per-numa 128000
}
ステップ5:L3ルーティングを設定する
インターフェースとルーティングコマンドを/etc/vpp/init.confに記述します——VPPは起動時にこれらを自動的に実行します:
set interface ip address eth0 192.168.1.1/24
set interface ip address eth1 10.0.0.1/24
set interface state eth0 up
set interface state eth1 up
ip route add 10.10.0.0/16 via 10.0.0.254
# ルーティングテーブルを確認
sudo vppctl show ip fib
# グラフノードごとのリアルタイムパケットレート
sudo vppctl show runtime
# インターフェース統計情報
sudo vppctl show interface statistics
ステップ6:Python APIで自動化する
from vpp_papi import VPPApiClient
from ipaddress import IPv4Address
vpp = VPPApiClient()
vpp.connect("my-controller")
# 全インターフェースを一覧表示
for iface in vpp.api.sw_interface_dump():
print(f"{iface.interface_name}: {iface.flags}")
# プログラムでルートを追加
vpp.api.ip_route_add_del(
is_add=1,
route={
'prefix': {
'address': {'un': {'ip4': bytes(IPv4Address('10.20.0.0'))}, 'af': 0},
'len': 16
},
'n_paths': 1,
'paths': [{
'nh': {'address': {'un': {'ip4': bytes(IPv4Address('10.0.0.254'))}, 'af': 0}},
'sw_if_index': 2,
'proto': 0
}]
}
)
vpp.disconnect()
本番環境で本当に役立つTips
現在の構成は4コアXeonとデュアルX710 NICの組み合わせで、混在トラフィック12〜15 Gbpsを余裕で維持しています。そこに至るまでにいくつかのことを痛い目に遭いながら学びました:
- 起動時にCPUを分離する——VPPワーカーコアに合わせてGRUBの行に
isolcpus=2-3を追加します。これがないとOSスケジューラがフォワーディングスレッドに割り込み、負荷時にレイテンシスパイクが発生します。 - NUMAアライメントは必須——サーバーに2つのNUMAノードがある場合、VPPワーカーコアとNICは同じNUMAノード上になければなりません。クロスNUMAメモリアクセスはスループットを30〜40%低下させます。
- rx-queuesをワーカー数に合わせる——
num-rx-queuesをワーカースレッド数と一致させます。一致していないと一部のキューが処理されず、負荷分散が偏ります。 show runtimeでボトルネックを見つける——このコマンドはグラフノードごとのパーパケットサイクルを表示します。ip4-rewriteが大半のサイクルを消費している場合、ARPキャッシュが冷えてスローパス解決が発生している可能性があります。- ベンチマークにはiperf3ではなくT-Rexを使う——iperf3はTCPスループットを測定するものであり、生のフォワーディングレートではありません。T-Rexはラインレートのトラフィックを生成し、レイテンシヒストグラム付きの正確なMpps計測が可能です。
VPPがあらゆるユースケースに適しているわけではありません。数百Mbpsのルーティングならカーネルスタックで十分です。しかし専用ASICを買わずにコモディティハードウェアでマルチ10Gまたは100Gフォワーディングが必要な場合、VPPの右に出るものはありません。VPPは生の速度で専用ハードウェアに匹敵するフォワーディングプレーンを提供します——プログラマブルで、拡張可能で、完全オープンソース。最初の1週間は急勾配ですが、それを超えれば、単なるスタックのツールの1つになります。
