lgpd-guard · benchmark de detecção de dados pessoais

F1 por tipo de dado, em conjuntos 100% sintéticos de mensagens de atendimento bancário · gerado em 08/10/2026. Valores em vermelho: o sistema não detecta aquele tipo. Veja o proxy funcionando com um LLM de verdade →

Antes e depois

O que a empresa tem e o que o provedor do LLM recebe.

Olá, meu nome é Maria Helena Duarte, CPF 529.982.247-25. Meu cartão 4111 1111 1111 1111 foi clonado. Moro na Rua das Flores, 123, CEP 01310-100. Me liga no (11) 98765-4321 ou manda e-mail para maria.duarte@gmail.com. O protocolo é 12345678901.

Olá, meu nome é <NOME_1>, CPF <CPF_1>. Meu cartão <CARTAO_1> foi clonado. Moro na <ENDERECO_1>, CEP <CEP_1>. Me liga no <TELEFONE_1> ou manda e-mail para <EMAIL_1>. O protocolo é 12345678901.

Conjunto de desenvolvimento (300 textos)

lgpd-guard (regras)

F1 0.98

precisão 1.00 · cobertura 0.96
dados protegidos (qualquer tipo): 96%
alarmes em textos sem dado pessoal: 0/72 · 0.1 ms/texto

lgpd-guard (regras + NER)

F1 0.96

precisão 0.93 · cobertura 0.98
dados protegidos (qualquer tipo): 98%
alarmes em textos sem dado pessoal: 19/72 · 6.0 ms/texto

Presidio (Microsoft), pt

F1 0.52

precisão 0.48 · cobertura 0.57
dados protegidos (qualquer tipo): 66%
alarmes em textos sem dado pessoal: 54/72 · 8.4 ms/texto

lgpd-guard (regras)lgpd-guard (regras + NER)Presidio (Microsoft), pt

Tipo	Qtd.	lgpd-guard (regras)	lgpd-guard (regras + NER)	Presidio (Microsoft), pt
CPF	76	1.00	1.00	0.00
CNPJ	19	1.00	1.00	0.00
RG	19	1.00	1.00	0.00
CARTAO	19	1.00	1.00	0.77
TELEFONE	76	1.00	1.00	0.92
EMAIL	19	1.00	1.00	1.00
CEP	19	1.00	1.00	0.00
PIX_ALEATORIA	19	1.00	1.00	0.00
PLACA	19	1.00	1.00	0.00
CONTA_BANCARIA	19	1.00	1.00	0.00
DATA_NASCIMENTO	38	1.00	1.00	0.67
ENDERECO	19	1.00	1.00	0.10
NOME	171	0.94	0.88	0.71

Conjunto de desafio (160 textos)

lgpd-guard (regras)

F1 0.81

precisão 1.00 · cobertura 0.68
dados protegidos (qualquer tipo): 68%
alarmes em textos sem dado pessoal: 0/26 · 0.1 ms/texto

lgpd-guard (regras + NER)

F1 0.94

precisão 0.94 · cobertura 0.94
dados protegidos (qualquer tipo): 94%
alarmes em textos sem dado pessoal: 0/26 · 5.2 ms/texto

Presidio (Microsoft), pt

F1 0.60

precisão 0.58 · cobertura 0.61
dados protegidos (qualquer tipo): 67%
alarmes em textos sem dado pessoal: 22/26 · 6.7 ms/texto

lgpd-guard (regras)lgpd-guard (regras + NER)Presidio (Microsoft), pt

Tipo	Qtd.	lgpd-guard (regras)	lgpd-guard (regras + NER)	Presidio (Microsoft), pt
CPF	28	1.00	1.00	0.00
CNPJ	13	1.00	1.00	0.00
CARTAO	13	1.00	1.00	0.96
TELEFONE	14	1.00	1.00	0.78
EMAIL	27	1.00	1.00	1.00
CEP	13	1.00	1.00	0.00
PIX_ALEATORIA	13	1.00	1.00	0.00
DATA_NASCIMENTO	13	1.00	1.00	0.50
ENDERECO	13	0.96	0.96	0.31
NOME	68	0.00	0.83	0.72

Como ler

Desenvolvimento: as regras foram ajustadas olhando os erros deste conjunto, então o número é otimista. Desafio: escrito depois, com frases e formatos novos, e nunca usado para ajuste: mede a generalização. Dados protegidos conta qualquer detecção que cubra o dado, mesmo com o tipo errado, porque para anonimizar o que importa é o dado não sair. O Presidio não tem reconhecedores brasileiros (CPF, CNPJ, RG, CEP...), por isso esses tipos aparecem zerados nele.