원본 영상을 바탕으로 AI의 도움을 받아 작성했습니다. 원본 영상이 기준입니다.
Log in to leave a comment
아직 작성된 글이 없습니다
Você provavelmente já teve uma surpresa desagradável ao carregar um modelo de alta precisão baseando-se apenas em pontuações de benchmark. No momento em que a capacidade de VRAM é excedida, parte dos pesos é deslocada para a RAM do sistema e, com a ocorrência de troca (swapping) no barramento PCIe, a velocidade de geração de tokens despenca para menos de 1 por segundo. Com base em um ambiente RTX 4090, o uso do formato GGUF Q4_K_M consome 18,3 GB de memória de pesos e um total de 22,1 GB de VRAM com um contexto de 8K, funcionando de forma estável por pouco.
O total de memória só pode ser calculado somando a memória de pesos, o cache KV e a sobrecarga (overhead) do framework. Os pesos são calculados multiplicando o número de parâmetros pelos bits efetivos de quantização e dividindo por 8, enquanto o formato EXL2 4.0 bpw consome 0,50 bytes por parâmetro. Somando a isso o cache KV que cresce de acordo com o comprimento do contexto e mais de 1,5 GB de sobrecarga do framework, é necessário ter pelo menos 2 GB de espaço livre para evitar erros de OOM.
No 1º passo, verifique a capacidade de VRAM da sua GPU e calcule as taxas de ocupação dos pesos e do cache KV. No 2º passo, baixe o arquivo de modelo no formato GGUF Q4_K_M ou EXL2 4.0 bpw e conecte-o ao seu ambiente local. No 3º passo, verifique diretamente em até 30 minutos se a velocidade de geração de tokens permanece em 30 ou mais por segundo ao inserir um prompt com 8K ou mais. Passando por esse processo, você consegue escolher um modelo que realmente roda no seu hardware, sem se deixar levar por números de benchmark.
Modelos open-source com menos de 30B cometem o erro de esquecer colchetes ou inserir tags Markdown quando solicitados a criar estruturas JSON complexas. Se todo o pipeline de backend parar simplesmente porque o modelo deu uma resposta sem sentido, você não conseguirá dormir à procura de paz à noite. É necessário impor sintaxe diretamente na etapa de geração de tokens e criar códigos de defesa no nível da aplicação para capturar erros de parsing.
No ambiente llama.cpp, você deve aplicar a gramática GBNF e, no vLLM, usar o Guided Decoding para impedir que tokens incompatíveis com o esquema sejam gerados. Vincule a saída do modelo a um modelo de dados usando a biblioteca Pydantic e, se ocorrer um JSONDecodeError, insira o conteúdo do erro no histórico da conversa para criar um loop de feedback que o induza a se corrigir. Para evitar loops infinitos, interrompa o número de tentativas em 3 e adote uma arquitetura Fallback que retorne um objeto de modo de segurança estático caso ainda assim falhe.
No 1º passo, use o Pydantic para criar uma classe de esquema de validação contendo os campos obrigatórios e os tipos de dados. No 2º passo, combine expressões regulares e blocos de tratamento de exceção para extrair apenas a string JSON real da resposta original do modelo e capturar erros de parsing em tempo real. No 3º passo, adicione lógica de repetição com a biblioteca tenacity e, se falhar até o final, retorne dados de Fallback estáticos para evitar a interrupção do serviço. Incorporando essa estrutura, é possível elevar a taxa de conformidade do esquema de chamada de ferramentas para mais de 95%.
Ao extrair automaticamente códigos de interface web ou coletar dados de arquivos de transcrição gigantescos, os modelos menores que 30B revelam a limitação de omitir o conteúdo intermediário. Você precisa impor restrições no system prompt para impedir que o modelo fique balbuciando desculpas inúteis ou comentários em Markdown, fazendo com que ele entregue os resultados exatamente na estrutura desejada.
É necessário inserir esquemas de saída e restrições no system prompt para fazê-lo trabalhar como um compilador. Documentos com dezenas de páginas devem ser cortados em unidades de 2.000 tokens de acordo com o comprimento máximo de contexto seguro do modelo, e os 200 tokens finais do chunk anterior devem ser sobrepostos no início do próximo chunk para evitar que dados de borda sejam perdidos. Somente após passar pela etapa de mapeamento (Map), extraindo os dados de cada chunk separadamente, e pela etapa de redução (Reduce), combinando-os em uma única estrutura, você obterá um resultado utilizável.
No 1º passo, crie um modelo de system prompt para bloquear a saída de saudações e inserir restrições específicas, como o uso de classes Tailwind CSS. No 2º passo, divida o documento de entrada em um método de janela deslizante (sliding window) contendo uma seção de sobreposição de 10%. No 3º passo, crie um LLMProviderInterface aplicando o Strategy Pattern para concluir uma camada de abstração que facilite a troca do mecanismo de modelo quando necessário. Aplicando esse processo, você pode economizar mais de 5 horas de tempo de depuração desnecessário por semana.
