Sempre que tecnicamente possível

O texto anterior desta série terminou com um nó e a promessa de voltar a ele. O nó é este: a Resolução CFM 2.454/2026 consagra a explicabilidade dos sistemas de inteligência artificial e, dentro da mesma frase em que define o termo, escreve "sempre que tecnicamente possível".

Levei um mês para formular por que aquilo me incomodava, e a resposta veio de uma coincidência desconfortável. Desde 26 de agosto, se eu usar IA como apoio à decisão numa consulta, tenho que registrar isso no prontuário. Escrevo o código de sistemas que coletam dados clínicos e sei quanto custa um registro que sobrevive a auditoria. Chefio um centro médico e sou exatamente quem vai ter que montar, na prática, a comissão que o artigo 14 exige.

Seria confortável se as três posições chegassem à mesma leitura. Em pelo menos três pontos elas chegam a leituras opostas: o que uma acha trivial, a outra sabe que quebra, e a terceira não tem como verificar se quebrou. É esse desacordo que este texto descreve: ele mostra o que nenhuma das posições enxerga sozinha.

O registro que ninguém conta

O dever cabe em uma linha. O artigo 4º, inciso V, manda o médico "registrar no prontuário do paciente o uso de sistemas de IA como apoio à decisão médica". Lido no corredor, soa como mais um clique. Um plantão cheio já pede consentimento, evolução, prescrição e alta.

O problema aparece na pergunta seguinte: onde esse registro mora. Nos prontuários eletrônicos que conheço, esse campo não existe. Então, na prática, o registro virou uma frase digitada na evolução: "utilizado sistema de apoio à decisão". Uma frase em campo livre, auditável só por leitura humana e impossível de contar.

E aqui quem escreve o código estraga a tranquilidade de quem atende.

Construí um sistema de captura de dados clínicos para pesquisa que tinha a mesma obrigação por outro caminho: a proteção de dados pessoais exige registro das operações de tratamento. Desenhei desde o primeiro dia uma tabela de auditoria que só aceita inserção, escrevi a função que grava o evento e o teste que verifica se ele foi gravado. O teste passou em todo commit, por meses.

A tabela tinha zero linhas.

O teste chamava a função de registro diretamente, e ela funcionava perfeitamente quando chamada. Ninguém tinha verificado se o fluxo real da interface chegava a chamá-la. Não chegava. O sistema rodou meses produzindo dado clínico real sem deixar rastro de quem tocou em quê. O problema apareceu no dia em que alguém perguntou quantas linhas havia na tabela.

Corrigir é fácil: basta um teste que conte as linhas depois de um fluxo real de interface. Difícil foi a pergunta que ninguém fez durante meses.

Esse episódio desmonta uma suposição segura: a de que "registrar" é um verbo cujo cumprimento uma norma consegue garantir. A norma cria o dever. A existência de uma linha no banco de dados é um fato sobre um sistema, e fatos sobre sistemas só permanecem verdadeiros enquanto alguém está olhando. Eu sabia exatamente para que serve um log de auditoria, eu tinha escrito o teste, e o número era zero.

Volte agora para quem chefia o serviço. Como verificar se os médicos sob minha responsabilidade cumprem o artigo 4º, V? Não lendo prontuário por prontuário. A única fiscalização viável é pedir ao sistema um número: quantos registros de uso de IA foram feitos neste mês. A fiscalização depende exatamente do tipo de contagem que, no meu sistema, estava zerada sem ninguém perceber.

O artigo 4º, V é o dispositivo mais concreto e verificável da resolução. É também o que vai falhar mais silenciosamente.

A comissão que vai existir

O parágrafo único do artigo 14 determina que instituições de saúde que adotarem "sistemas próprios de IA" criem uma Comissão de IA e Telemedicina, sob coordenação médica e subordinada à diretoria técnica.

O primeiro problema é a fronteira. O que é um sistema próprio? Comprar pronto e usar como veio, parece que não. Desenvolver do zero, parece que sim. Quase nenhuma instituição vive nesses extremos: a vida real é comprar e ajustar.

E aqui a norma cria um gradiente sem régua. O Anexo III, item V, recomenda que as instituições, ao contratar, prefiram soluções com "possibilidade de treinamento adicional com dados locais e interfaces auditáveis, em detrimento de sistemas totalmente fechados que não possibilitem ajustes necessários às peculiaridades do ambiente clínico". Cabe ler os dois em harmonia: o Anexo III fala de contratação, e quem contrata não vira dono. Só que treinar o modelo com dados locais é o ajuste que o Anexo I chama de fine-tuning, e a norma nunca disse quanto ajuste basta para o sistema virar próprio. Some a isso o artigo 21, que a estende aos sistemas já em uso na vigência, e muitos serviços vão descobrir a obrigação depois de já estarem dentro dela.

Suponha resolvida a fronteira. Quem senta na comissão?

Num centro médico de tamanho real, as mesmas quatro ou cinco pessoas que já compõem todas as outras comissões. A diferença é que esta precisa de alguém capaz de avaliar tecnicamente o sistema, e na maioria dos serviços brasileiros essa pessoa é quem o escolheu, ou quem o construiu.

No meu caso, as duas cadeiras seriam a mesma pessoa. Eu avaliaria decisões técnicas que eu mesmo tomei, diante de colegas sem meios de me contestar. Uma comissão em que o único membro capaz de ler o sistema é quem respondeu por ele não fiscaliza. Assiste.

A norma não ignora o risco, e responde com hierarquia: coordenação médica, subordinação à diretoria técnica, e o Anexo III, item III, atribuindo a fiscalização ao diretor técnico. São salvaguardas sobre quem responde. Nenhuma delas coloca na sala uma segunda pessoa capaz de auditar o sistema.

Quem vive o plantão tem previsão menos generosa e mais certeira. A comissão não vai faltar. Vai existir em ata, com portaria publicada e reunião trimestral. Enquanto isso, ninguém pede ao sistema o que o Anexo III, item II, de fato exige: monitoramento contínuo dos outputs, com resultados estratificados para flagrar viés entre grupos de pacientes.

Escrevo isso como alguém que vai ter que assinar essa portaria.

A ressalva dentro da definição

Agora o nó.

O Anexo I traz as definições que sustentam a resolução inteira. Duas delas merecem ser lidas com atenção ao que aparece no meio da frase. Os grifos são meus.

Auditabilidade, inciso XVIII: "a capacidade de um sistema de IA ser submetido a avaliação independente de seus algoritmos, dados, processos de concepção ou resultados, sempre que tecnicamente possível e permitido por normas [...]".

Explicabilidade, inciso XIX: "a possibilidade de se compreender de modo claro – sempre que tecnicamente possível – como um sistema de IA chegou a determinada decisão ou resultado, tornando transparentes os critérios ou fatores de influência relevantes no processo algorítmico".

A ressalva não aparece num artigo de exceção. Aparece dentro da definição.

A diferença é sutil na leitura e real na consequência. Uma exceção em artigo separado precisa ser invocada por alguém, diante de um dever que existe por inteiro. Uma ressalva dentro da definição não precisa ser invocada por ninguém: o artigo 2º manda ler a resolução inteira pelas definições do Anexo I, então ela viaja embutida na palavra para todos os artigos que a usam. A resolução nunca definiu uma explicabilidade plena da qual alguém pudesse se desviar. Definiu uma que já vem com a rendição escrita, e é a essa que o resto do texto se refere quando promete transparência.

A parte desconfortável é que o CFM sabia de que sistemas falava. O próprio Anexo I, inciso XI, define modelo de linguagem de larga escala e lista as aplicações médicas: assistentes virtuais, síntese de literatura científica, redação de documentos clínicos. É a classe que mais cresce na medicina, e é precisamente aquela para a qual "tecnicamente possível" é falso no sentido que a norma pretende. Já escrevi aqui sobre isso: a explicação em prosa que um modelo dá do próprio raciocínio pode não corresponder ao processo que gerou a resposta.

Junte as pontas. O paciente tem direito, pela exposição de motivos e pelo artigo 11, a que qualquer utilização de IA lhe seja comunicada e explicada. O médico assina o prontuário assumindo a decisão como sua. O gestor garante ao Conselho Regional que o sistema é auditável. Cada um desses compromissos é sincero. E o último elo, o sistema, já foi dispensado pela própria definição de entregar o que sustenta os outros.

O CFM foi realista ao escrever isso, e o realismo cobrou um preço: a norma promete ao paciente uma explicação que ela mesma autorizou o sistema a não dar.

Um detalhe de redação reforça a leitura. O artigo 16 foi publicado em fevereiro mandando tratar os dados "observando rigorosamente a Lei Geral de Proteção de Dados Pessoais (LGPD)". Seis dias depois da publicação, uma retificação no Diário Oficial trocou a menção nominal à lei por "proteção geral de dados pessoais". Pode haver razão técnica para a troca, e não sei qual foi. O efeito se repete pela resolução inteira: onde havia um compromisso preciso, ficou um princípio.

Onde a norma é forte

Ocupar as três posições tem uma vantagem: mostra onde a resolução é de fato forte, e o lugar não é o que ela mais destaca.

Exigir que a caixa-preta se explique é uma promessa que ninguém sabe cumprir hoje, e a própria norma reconheceu isso na definição. Exigir que o uso fique registrado é uma promessa cumprível e verificável: qual sistema foi consultado, com que entrada, que saída produziu, e quem assinou depois. Nada disso abre o modelo, e não precisa. Documenta o que aconteceu na sala, que é o que um processo ético-profissional precisa reconstituir três anos depois.

E esse é exatamente o dispositivo do artigo 4º, V. O peso real da resolução mora ali.

O que devolve ao começo: o dispositivo mais cumprível da norma se mede contando linhas numa tabela, e eu já vi essa contagem dar zero num sistema que eu mesmo construí.

Falta gente na sala

A 2.454 foi escrita por médicos, e isso se nota nas partes boas. A centralidade da decisão humana, a proteção de quem discorda do algoritmo com fundamento técnico, o direito de recusar: são dispositivos que só ocorrem a quem já esteve na consulta.

Também se nota nas partes frágeis. A resolução cria o dever de registrar e não cria, em nenhum dispositivo, o dever de a instituição conseguir contar os registros que exige. É a meia linha que uma tabela de auditoria vazia ensina a pedir, e eu precisei da tabela para aprender. Nem há sinal, no texto, de que alguém tenha perguntado o que "sempre que tecnicamente possível" faz com o resto da norma quando o sistema é um modelo de linguagem.

Essa lacuna não é um defeito de caráter do Conselho. É uma escassez do país. Regular tecnologia sem nunca tê-la construído produz normas que soam éticas e se anulam na definição. Construir tecnologia sem nunca ter respondido por um paciente produz sistemas que soam eficientes e não servem para a clínica. As duas metades existem no Brasil, e quase não se falam.

Sustentar as três posições é desconfortável: em cada ponto acima, uma versão de mim teve que admitir que outra estava sendo ingênua. Mas a alternativa, três grupos de pessoas que nunca se encontram, é como se produz uma norma que promete transparência e escreve a exceção dentro da palavra.

A resolução já está valendo, com todos esses nós. As fronteiras vagas serão resolvidas pelo caminho do artigo 22: um Conselho Regional levanta a dúvida, o CFM dirime, e a interpretação se forma caso a caso, longe de quem construiu o sistema. Vale acompanhar quais serão as primeiras. Elas vão dizer, melhor que a resolução, o que o país entendeu que assinou.

A 2.454 pede ao sistema uma explicação que ela própria dispensou e pede ao médico um registro que ninguém combinou de contar. A parte cumprível da norma é a que vai falhar em silêncio.