Teses, Dissertações e Outros

Modelos de Linguagem de Grande Escala (Large Language Models, LLMs) tornaram-se componentes centrais de aplicações modernas, mas permanecem limitados pela janela de contexto. O mecanismo de atenção apresenta complexidade quadrática no comprimento da sequência e, mesmo quando a janela nominal é ampla, os modelos tendem a não utilizar toda a informação disponível de forma eficaz, com fenômenos como lost in the middle, context rot e colapso de atenção. Este trabalho investiga estratégias não invasivas de extensão de contexto, aplicáveis a modelos acessados via API sem retreinamento, e propõe um framework que formula a compressão de prompt como um problema de alocação de orçamento. A partir de uma revisão sistemática das técnicas existentes e de uma avaliação empírica de cinco estratégias em benchmarks de contexto longo, a seleção de compressores é formalizada como um problema da mochila de múltipla escolha (multiple-choice knapsack problem, MCKP), no qual se seleciona, para cada partição do prompt, a opção de compressão que maximiza a informação preservada sob um orçamento efetivo de contexto. Uma etapa de triagem compara quatro compressores (LLMLingua-GPT2, LLMLingua-2, Selective Context e uma aproximação CPC-MiniLM) em cinco modelos e dois orçamentos de contexto. CPC-MiniLM obteve a maior média entre os quatro compressores em oito das dez combinações avaliadas, enquanto LLMLingua-2 liderou nas duas combinações com o Qwen 3 30B-A3B. No Gemma 4 26B com 32768 tokens, CPC-MiniLM alcançou 0.573, a maior média entre as nove técnicas comparadas. Esses resultados sustentam a seleção de CPC-MiniLM, LLMLingua-2 e Selective Context como opções do MCKP, cuja avaliação completa é apresentada como um plano experimental reprodutível.