LLMs na Fiscalidade: Fine-tuning vs RAG – Lições de um Estudo Recente

 

TL;DR

Um estudo académico recente analisou como LLMs podem apoiar consultores na fiscalidade do IVA europeu. Comparou fine-tuning e RAG, concluindo que este último oferece mais precisão e atualização prática. No entanto, a qualidade da base de conhecimento é crucial para bons resultados.

O estudo académico

Um artigo publicado no arXiv em 2024 (fonte) com o título “Using Large Language Models for Legal Decision-Making in Austrian Value-Added Tax Law: An Experimental Study” analisou como os grandes modelos de linguagem (LLMs) podem apoiar a tomada de decisão no domínio do IVA austríaco e europeu.

A investigação comparou duas abordagens:

• Fine-tuning: ajuste fino de modelos com dados específicos.
• RAG (retrieval-augmented generation): recuperação de informação contextualizada antes de gerar a resposta.

O que mostrou o estudo

Os investigadores testaram os modelos em casos de manual e em casos reais fornecidos por uma consultoria fiscal. Concluíram que:

• LLMs podem apoiar consultores na fiscalidade em análises iniciais e tarefas repetitivas.
• Automatização completa ainda não é viável, pois a fiscalidade é sensível e exige validação humana.
• Desempenho melhora com informação estruturada e contexto relevante, em vez de descrições superficiais.

Fine-tuning vs RAG: experiência prática

Na minha experiência em contextos jurídicos e técnicos:

Fine-tuning

• É eficaz, mas complexo e demorado de preparar.
• Torna-se rapidamente desatualizado sempre que há alterações legislativas.

RAG

• Funciona bem para a maioria dos cenários.
• Oferece precisão elevada.
• É mais fácil de atualizar, bastando rever a base de conhecimento em vez de re-treinar o modelo.

O verdadeiro desafio: a base de conhecimento

O maior obstáculo do RAG não é a técnica, mas sim a qualidade da base de conhecimento.

Problemas comuns incluem:

• Inserir PDFs inteiros sem tratamento.
• Textos longos, redundantes e densos.

Para garantir rigor, é necessário:

• Segmentação inteligente dos textos.
• Estruturação de normas, artigos e exceções.
• Enriquecimento com metadados relevantes.

Conclusão

O estudo confirma: LLMs são poderosos aliados na fiscalidade, mas não substituem o especialista humano.
Na prática, o RAG é mais eficiente que o fine-tuning, oferecendo precisão e agilidade de atualização. Contudo, o sucesso depende diretamente da qualidade da base de conhecimento.

Para complementar, veja também nosso artigo sobre ChatGPT 5 e RAG: Diferenças críticas entre High, Medium e Mini no AA-LCR

Principais Lições

• Aplique LLMs como apoio e não como substitutos na prática da fiscalidade.
• Prefira RAG quando a legislação sofre alterações frequentes.
• Invista na base de conhecimento para maximizar a precisão.
• Atualize constantemente as fontes usadas no RAG.

FAQ

1. O que é melhor: fine-tuning ou RAG para fiscalidade?

Na maioria dos casos, o RAG é mais prático, pois permite atualizar rapidamente a base de conhecimento sem re-treinar o modelo.

2. Os LLMs podem substituir consultores na fiscalidade?

Ainda não. Eles são úteis em análises preliminares e tarefas repetitivas, mas decisões finais exigem validação humana.

3. Qual o maior desafio do RAG na fiscalidade?

A qualidade da base de conhecimento. Sem segmentação, estruturação e metadados, as respostas perdem precisão.