Written with AI assistance from the source video. The video is the authority.
Log in to leave a comment
No posts yet
Di lingkungan perusahaan, ketika beberapa tim memanggil model AI generatif secara bersamaan, struktur proxy terpusat dengan mudah menyebabkan kehabisan thread karena ribuan input/output token dan sesi yang panjang. Untuk menghilangkan latensi jaringan antar-VPC yang mencapai 15 hingga 40 milidetik dan masalah noisy neighbor antar-tenant, jalur traffic runtime dan control plane kebijakan terpusat harus diisolasi secara fisik.
Single central gateway menjadi sumber utama bottleneck dalam lingkungan traffic berskala besar. Dengan memperkenalkan topologi two-tier, pengiriman traffic diisolasi ke data plane berbasis domain sementara control plane tetap dipertahankan di pusat.
Dalam lingkungan Kubernetes, spesifikasi Envoy AI Gateway 1.0 diterapkan secara deklaratif. Buat sumber daya Gateway di namespace setiap domain bisnis untuk mengakhiri traffic HTTPS dan hubungkan BackendSecurityPolicy untuk menyinkronkan kunci autentikasi API dari vault keamanan pusat. Definisikan sumber daya AIServiceBackend dan AIGatewayRoute untuk membaca parameter model dari body request dan melakukan percabangan routing.
Bahkan jika terjadi kegagalan pada server kebijakan pusat atau backbone jaringan perusahaan, setiap domain memproses traffic inferensi secara tanpa henti menggunakan kebijakan cache yang disinkronkan sebelumnya. Perbesar pengaturan ukuran pesan controller menjadi 25 megabyte atau lebih dan stabilkan siklus polling untuk menekan CPU spike akibat reload yang sering.
Jika total waktu turnaround dikumpulkan sebagai satu metrik tunggal, waktu inferensi model besar dan model kecil akan tercampur sehingga penurunan performa tersembunyi. Ketika metrik P99 melonjak, untuk membedakan apakah itu disebabkan oleh kelebihan beban pada antrean prefill GPU vendor eksternal atau waktu tunggu lock di dalam gateway, siklus hidup harus diukur secara terpisah di lapisan middleware.
Tulis middleware secara langsung untuk mengumpulkan metrik histogram Prometheus di pipeline gateway. Tangkap waktu masuk klien dengan middleware ASGI dan simpan ID tenant serta header domain route ke dalam nilai status. Catat waktu tundaan antrean middleware internal ke dalam objek Histogram dan kumpulkan dalam bucket antara 0,001 detik hingga 2,5 detik. Dalam proses mem-piping upstream client stream, deteksi waktu saat byte token pertama diterima dan amati latensi TTFT murni penyedia sebagai histogram independen.
Menurut kasus governansi infrastruktur Uber, ketika latensi P99 antrean middleware internal dan latensi TTFT murni per penyedia backend ditempatkan berdampingan di dasbor Grafana seperti ini, waktu pemrosesan respons dari pipeline pembuatan ringkasan konsultasi pelanggan berhasil dipangkas selama 6 detik.
Sebagian besar server inferensi LLM langsung melakukan flush pada status kode 200 OK, lalu menghentikan pengiriman payload selama beberapa detik hingga cache KV dimuat. Agar pengguna tidak melihat layar yang berhenti, mesin runtime harus dioperasikan untuk mendeteksi secara real-time keterlambatan penerimaan byte token pertama dan melakukan switchover ke model cadangan.
Implementasikan routing fallback runtime dengan menggabungkan event loop asinkron dan logika kontrol stream. Definisikan kamus konfigurasi yang mencakup endpoint dan header autentikasi dari penyedia primer dan sekunder, serta atur ambang batas timeout ke 2,0 detik. Panggil stream penyedia primer dengan iterator asinkron dan gunakan fungsi asyncio.wait_for untuk memverifikasi apakah token pertama tiba dalam ambang batas yang ditentukan. Jika terjadi timeout, batalkan stream primer secara instan untuk mengambil kembali socket dan sumber daya, serta segera alihkan traffic ke stream penyedia sekunder dalam keadaan tanpa kehilangan (lossless) di mana bahkan 1 byte token pun belum dikirimkan ke klien downstream.
Menurut data benchmark adaptive hedging, ketika mengoperasikan lapisan transmisi yang memicu permintaan cadangan saat terjadi keterlambatan, latensi tail P99 menurun dari 64,3 milidetik menjadi 17,0 milidetik, menunjukkan efek pengurangan latensi sebesar 73,6 persen. Ini melindungi waktu henti (downtime) yang dirasakan pengguna secara sempurna bahkan dalam situasi gangguan sebagian pada penyedia primer.
