Embeddings: como um texto vira número e a busca acha o sentido

O que é um embedding, em linguagem simples?

Pense num mapa em que cada texto tem um endereço. Textos sobre o mesmo assunto moram na mesma vizinhança, e textos de assuntos diferentes ficam longe. O embedding é esse endereço, escrito como uma lista de números, calculado por um modelo de IA treinado com muito texto.

Num modelo real, o endereço tem muitas coordenadas: o text-embedding-3-small, da OpenAI, devolve 1.536 números por trecho. Para enxergar a conta, vale encolher o mapa para três dimensões.

Como comparar dois embeddings com a similaridade de cosseno?

A busca mede o ângulo entre dois endereços. Se apontam para o mesmo lado, o cosseno chega perto de 1 e os textos têm sentido parecido. Se apontam para lados diferentes, cai para perto de 0. A conta usa só multiplicação, soma e raiz quadrada.

Por que “contrato vencendo” acha “renovação”?

Porque o modelo aprendeu, lendo muito texto, que as duas expressões aparecem nos mesmos contextos: datas, prazos de aviso, valores. Os endereços das duas ficam vizinhos, e a busca compara endereços, não letras. O mesmo vale para “estorno” e “devolver a verba do cliente”.

O que dá para fazer com embeddings numa empresa de serviço?

Qualquer tarefa que peça “o que se parece com isto” se beneficia. Em agência e consultoria, quatro usos aparecem primeiro.

• Achar o documento certo pelo assunto, mesmo com o nome de arquivo diferente.
• Encontrar reuniões parecidas, como as conversas em que clientes levantaram o mesmo problema.
• Sugerir ligações entre documentos, reuniões e projetos do mesmo tema.
• Agrupar pedidos repetidos, como chamados com a mesma dúvida em palavras diferentes.

A busca inteira, da pergunta à lista de trechos, está em busca semântica. O passo seguinte, em que a IA escreve a resposta com o que foi achado, é o RAG.

Como o Mentrun usa embeddings?

O Mentrun converte documentos, reuniões, projetos e clientes em embeddings com o text-embedding-3-small, da OpenAI, e o assistente compara a pergunta com esses endereços antes de responder.

• A pergunta também vira embedding, e a busca junta o sentido com nomes, códigos e números exatos.
• Cada pessoa recebe só os trechos que o cargo dela permite ver.
• Só o trecho que mudou é lido de novo, em tokens, e o uso fica registrado por empresa.
• No Mapa de conhecimento, as sugestões de “Talvez tenha a ver” comparam o conteúdo com o que a busca já leu, sem gastar IA a mais.

Quais erros atrapalham a busca por embeddings?

O erro mais comum é culpar a busca quando o problema está no texto. Os quatro abaixo explicam a maioria das buscas que “não acham nada”. Organize o acervo com a base de conhecimento com IA.

• Documento que mistura assuntos. O endereço cai no meio do mapa e não combina com nenhuma pergunta. Separe um assunto por documento.
• Código ou nome exato na pergunta. O embedding capta sentido, não o identificador “CT-2041”. Use uma busca que combine sentido e palavra exata.
• Misturar modelos. Endereços de modelos diferentes não se comparam. Ao trocar de modelo, recalcule todos os trechos.
• Texto que é foto. Imagem de página não tem texto para converter. Use arquivo com texto selecionável.