Critérios para escolher stack quando tudo parece resolver o problema

Escolher ferramenta por benchmark é o jeito mais rápido de acumular dívida. Benchmarks medem o cenário do autor; o seu projeto tem outro. O que se mantém estável são os critérios.

Os seis critérios

1. Custo de saída: quanto custa migrar se a escolha der errado em um ano?
2. Tamanho da equipe que consegue manter isso sem treinamento longo.
3. Previsibilidade de custo em escala, incluindo picos.
4. Maturidade operacional: logs, métricas, rollback, limites de uso.
5. Compatibilidade com o que já existe na empresa.
6. Velocidade de entrega da primeira versão útil.

Aplicando aos modelos de IA

Para IA, o critério mais útil é conseguir trocar de modelo sem reescrever o produto. Isole a chamada, padronize entrada e saída e mantenha uma avaliação própria com exemplos reais do seu domínio.

// a aplicação depende do contrato, não do fornecedor
export type Completion = { text: string; usage: { inTokens: number; outTokens: number } };
export interface ModelProvider { complete(input: string): Promise<Completion> }

A melhor ferramenta é a que seu time consegue operar às três da manhã.