Written with AI assistance from the source video. The video is the authority.
Log in to leave a comment
No posts yet
Em ambientes corporativos, quando várias equipes chamam modelos de IA generativa simultaneamente, uma estrutura de proxy centralizada causa facilmente exaustão de threads devido a milhares de entradas e saídas de tokens e sessões longas. Para eliminar a latência de rede cruzada de VPC, que varia de 15 a 40 milissegundos, e o problema de vizinhos barulhentos entre locatários, o caminho de tráfego de tempo de execução e o plano de controle de políticas centralizado devem ser fisicamente isolados.
Um único gateway central se torna o epicentro de gargalos em um ambiente de tráfego em grande escala. A introdução de uma topologia de dois níveis isola a transmissão de tráfego para planos de dados específicos de domínio, enquanto o plano de controle permanece centralizado.
Em um ambiente Kubernetes, as especificações do Envoy AI Gateway 1.0 são aplicadas de forma declarativa. Crie recursos de Gateway no namespace de cada domínio de negócios para encerrar o tráfego HTTPS e vincular o BackendSecurityPolicy para sincronizar as chaves de API a partir de um cofre de segurança central. Defina os recursos AIServiceBackend e AIGatewayRoute para ler os parâmetros do modelo no corpo da requisição e ramificar o roteamento.
Mesmo se ocorrer uma falha no servidor de políticas central ou no backbone de rede corporativa, cada domínio processa o tráfego de inferência sem interrupções usando a política de cache sincronizada imediatamente antes. Expanda a configuração de tamanho de mensagem do controlador para 25 megabytes ou mais e estabilize o intervalo de polling para suprimir picos de CPU causados por recargas frequentes.
Coletar o tempo de turnaround total como uma única métrica mistura os tempos de inferência de modelos grandes e pequenos, mascarando a degradação de desempenho. Quando o indicador P99 apresenta picos, para distinguir se é uma sobrecarga na fila de prefill de GPU de um fornecedor externo ou um tempo de espera de bloqueio interno no gateway, o ciclo de vida deve ser medido separadamente na camada de middleware.
Escreva diretamente um middleware para coletar métricas de histograma do Prometheus no pipeline do gateway. Capture o horário de entrada do cliente com um middleware ASGI e armazene o ID do locatário e o cabeçalho do domínio de rota nos valores de estado. Registre o tempo de atraso de enfileiramento do middleware interno em um objeto Histogram, coletando em buckets de 0,001 segundos a 2,5 segundos. No processo de encadeamento do fluxo do cliente upstream, detecte o momento em que o primeiro byte de token é recebido e observe a latência TTFT pura do provedor como um histograma independente.
De acordo com casos de governança de infraestrutura da Uber, quando a latência P99 de enfileiramento do middleware interno e a latência TTFT pura por provedor de backend foram posicionadas lado a lado em um painel do Grafana dessa forma, o tempo de processamento de resposta do pipeline de geração de resumo de atendimento ao cliente foi reduzido em 6 segundos.
A maioria dos servidores de inferência de LLM libera imediatamente o código de status 200 OK e para a transmissão de payload por vários segundos até carregar o cache KV. Para evitar que os usuários vejam uma tela travada, é necessário operar um mecanismo de motor de tempo de execução que detecte em tempo real o atraso no recebimento do primeiro byte do token e faça o failover para um modelo alternativo.
Implemente o roteamento de fallback em tempo de execução combinando um loop de eventos assíncrono e lógica de controle de stream. Defina um dicionário de configuração contendo os endpoints e cabeçalhos de autenticação do provedor primário e do provedor secundário, e defina o limite de tempo limite (timeout) para 2,0 segundos. Chame o stream do provedor primário como um iterador assíncrono e use a função asyncio.wait_for para verificar se o primeiro token chega dentro do limite especificado. Se ocorrer um tempo limite, cancele imediatamente o stream primário para recuperar o socket e os recursos, e alterne o tráfego instantaneamente para o stream do provedor secundário em um estado sem perdas, onde nenhum byte de token foi entregue ao cliente downstream.
De acordo com dados de benchmark de hedging adaptativo, a operação de uma camada de transporte que gera solicitações de backup quando ocorre atraso reduziu a latência de cauda P99 de 64,3 milissegundos para 17,0 milissegundos, demonstrando um efeito de redução de latência de 73,6 por cento. Mesmo em situações de falha parcial do provedor primário, o tempo de inatividade percebido pelo usuário é perfeitamente mitigado.
