Resumos

ARTIGO ORIGINAL

Redes neurais artificiais aplicadas no estudo de questionário de varredura para conjuntivite alérgica em escolares

Artificial neural networks applied to study allergic conjunctivitis screening questionnaire

Denise Atique Goulart^I; Milena Atique Tacla^II; Patrícia Maria Fernandes Marback^III; Dirceu Solé^IV; Augusto Paranhos Junior^V; Homero B. Perez^VI; Denise de Freitas^VII; Elcio Hideo Sato^VIII

^IDoutora em Ciências e médica colaboradora do Setor de Córnea e Doenças Externas da Universidade Federal de São Paulo - UNIFESP - São Paulo (SP) - Brasil

^IIEstagiária do Setor de Plástica Ocular e Vias Lacrimais da UNIFESP - São Paulo (SP) - Brasil

^IIIDoutora em Oftalmologia pela Universidade Federal de São Paulo - USP - São Paulo (SP) - Brasil; Médica do Hospital Universitário Professor Edgard Santos, Universidade Federal da Bahia - UFBA - Salvador (BA) - Brasil

^IVProfessor Titular e Livre-Docente da Disciplina de Alergia, Imunologia Clínica e Reumatologia do Departamento de Pediatria da UNIFESP - São Paulo (SP) - Brasil

^VChefe do Setor de Glaucoma do Departamento de Oftalmologia da UNIFESP - São Paulo (SP) - Brasil

^VIDoutor em Ciências e Professor do curso de pós-graduação da USP - São Paulo (SP) - Brasil

^VIIProfessora Livre-Docente do Departamento de Oftalmologia. Professora Afiliada pela UNIFESP - São Paulo (SP) - Brasil

^VIIIProfessor da Pós-Graduação do Departamento de Oftalmologia da UNIFESP - São Paulo (SP) - Brasil

^{Endereço para correspondência} Endereço para correspondência: Denise Atique Goulart/ Av. Professor Múcio Lobo da Costa, 82 - Casa 4 - Residencial Flórida Jundiaí (SP) CEP 13208-710 E-mail: dagoulart@uol.com.br

RESUMO

OBJETIVO: Avaliar sensibilidade e especificidade de questionário escrito de varredura para alergia ocular por análises multivariáveis. Comparação entre os modelos de análise multivariável; elaboração de rede neural artificial para varreduras futuras.

MÉTODOS: Estudo observacional, transversal realizado na UNIFESP, com 48 pacientes portadores de conjuntivite alérgica e 54 crianças sadias. A idade variou entre 3 e 14 anos, sem restrição quanto ao sexo, doença alérgica sistêmica ou tratamento. Aplicou-se questionário desenvolvido e procedeu-se a uma análise estatística multivariável. Por fim, elaborou-se uma rede neural artificial.

RESULTADOS: A média de idade dos participantes foi 8,4 anos (4 a 13 anos), com predomínio do sexo masculino (60,8%). A pontuação média do questionário foi 10 (0 a 18). A média do escore do grupo controle foi inferior ao grupo estudo (p<0,001). O diagnóstico de alergia foi melhorado em 68,8% com a inclusão da questão 5. Não houve concordância entre os diagnósticos clínico e o efetuado pelo questionário (kappa = 0,337, p=0,071). Somente a questão 5 apresentou boas sensibilidade (85,4%) e especificidade (85,1%). O ponto de corte capaz de separar doentes de não-doentes foi 10 (sensibilidade= 77,0%, especificidade= 79,6%, acurácia de 85,7%). A rede neural foi capaz de predizer os pacientes alérgicos em 100% dos casos, com 7 das 15 questões.

CONCLUSÕES: Conseguiu-se chegar a um modelo confiável, utilizando apenas sete itens, tornando fácil a aplicação do QE em larga escala.

Descritores: Conjuntivite alérgica/diagnóstico; Redes neurais (computação); Questionários

ABSTRACT

PURPOSE: To evaluate sensibility and specificity of a screening questionnaire with multivariable analysis, compare them and elaborate an artificial neural network for future screenings.

METHODS: Observational, transversal study performed at UNIFESP, with 48 patients with allergic conjunctivitis and 54 children without the disease. Their age ranged between 3 and 14 years and there was no restriction related to gender, systemic allergy or treatment. The questionnaire was applied and multivariable statistical analysis was performed. Finally, an artificial neural network was elaborated.

RESULTS: Mean age was 8.4 years (7-13) and male gender was more frequent (60.7%). Mean score was 10.04 (0-18), and it was higher in the study group (p<0.001). Allergic diagnosis was increased with the inclusion of the fifth question in 68.8%. Kappa coefficient was low (0.337; p=0.071) and showed no agreement between diagnosis made by the questionnaire and clinical examination. Only the question number five had good sensitivity (85.4%) and specificity (85.1%). The cutoff point to separate allergic patients was 10 (sensitivity= 77.08% and specificity= 79.63%). The artificial neural network predicted allergic diagnosis in 100% using 7 of the 15 existent items.

CONCLUSIONS: An efficient model was developed using seven questions, in a manner that its application might be easy to large populations.

Keywords: Conjunctivitis, allergic/diagnosis; Neural networks (Computer); Questionnaires

INTRODUÇÃO

Conjuntivites alérgicas são doenças freqüentes no Brasil e cursam com alta morbidade em alguns subtipos. Acometem principalmente crianças, afetando sua qualidade de vida e podendo deixar seqüelas se não forem tratadas corretamente. O tratamento da conjuntivite alérgica (CA), por sua vez, geralmente é simples, bastando diagnóstico preciso. A maior dificuldade é o seu diagnóstico em crianças alérgicas que não procuram o médico.

A prevalência das alergias oculares não é bem conhecida no Brasil. Acredita-se que aproximadamente 25% da população seja composta por indivíduos com alguma forma de alergia⁽¹⁾, e que 2,7% das consultas médicas se devam a alguma forma de alergia aguda⁽²⁾.

Uma maneira de triagem de possíveis pacientes com CA para exame oftalmológico se faz com questionários escritos (QE), método de fácil aplicação, baixo custo e que permite detectar pacientes doentes para ser, então, avaliados pelo oftalmologista para confirmação do presumido diagnóstico. Um dos protocolos mais empregados no estudo epidemiológico da asma e de doenças alérgicas é o International Study of Asthma and Allergies in Childhood (ISAAC), que utiliza QE padronizado⁽³⁾. Utilizado em todo o mundo, o ISAAC possibilitou pela primeira vez ter-se não só a obtenção da prevalência da asma, rinite e eczema atópico em populações as mais distintas, mas também a comparação entre países e entre centros do mesmo país. Como não há no Brasil um QE direcionado a casos específicos da oftalmologia, a proposta desta pesquisa foi a de desenvolver um instrumento similar ao ISAAC, em termos de eficácia, que permitisse avaliar a prevalência da alergia ocular^(4-5).

Nesta pesquisa fez-se uso de análises multivariáveis para que, antes de validar o presente QE, ele ficasse mais conciso sem, contudo, diminuir sua eficácia, tornando sua aplicação mais simples, já que o alvo são pacientes de todas as classes sociais. Determinar as contribuições relativas das diferentes causas para um evento ou resultado.

Pesquisadores clínicos necessitam desta ferramenta porque a maioria das doenças tem diversas causas e o prognóstico é geralmente determinado por vários fatores. Este tipo de análise permite perceber a natureza multifacetada dos fatores de risco e sua contribuição relativa para o resultado final⁽⁶⁾.

Redes neurais artificiais são sistemas computacionais elaborados por meio de técnicas que procuram imitar o cérebro humano, partindo-se da idéia de que este é um computador, ou seja, um sistema altamente complexo de processamento. Uma rede neural artificial é uma máquina projetada para modelar o processamento do cérebro humano numa função específica. Esta implementação pode se fazer por meio de "hardware" ou simplesmente ser simulada por programação⁽⁷⁾.

Uma característica muito interessante e extremamente útil é a capacidade de aprendizado das redes neurais artificiais, tal qual acontece no cérebro humano. Este sistema consegue produzir saídas adequadas para entradas que não estavam presentes no treinamento da rede, tornando possível a resolução de problemas computacionais complexos. Tal ferramenta já está sendo usada em oftalmologia, principalmente nas áreas de glaucoma e cirurgia refrativa^(8-9), com resultados satisfatórios e bem interessantes. Por outro lado, em se tratando de alergia ocular, não se tem conhecimento do uso de redes neurais.

Objetivos

Avaliar a sensibilidade e a especificidade de QE de varredura em alergia ocular por meio de análises multivariáveis e rede neural artificial; elaboração de rede neural artificial primária para aprendizado prospectivo em varreduras futuras.

MÉTODOS

Realizou-se um estudo observacional, transversal, com 48 pacientes matriculados e acompanhados por CA no ambulatório de Doenças Externas Oculares e Córnea da Escola Paulista de Medicina – UNIFESP para o grupo de casos e 54 crianças saudáveis e sem queixa ocular, alunas da Escola Paulistinha de Educação para o grupo controle. O diagnóstico de CA foi feito por exame biomicroscópico e o QE, respondido após leitura e assinatura do termo de consentimento livre e esclarecido pelo responsável. Foram incluídas crianças de 3 a 14 anos, sem restrição ao sexo, doença alérgica sistêmica ou tratamento. Foram excluídos menores de 3 e maiores de 14 anos e pacientes com diagnóstico de conjuntivite papilar gigante. O QE modelo (^{Anexo A} Anexo A ), foi formulado da seguinte maneira: as questões de nº 1 a 8 foram baseadas na ficha de avaliação do grupo de pacientes com CA utilizada no ambulatório de Doenças Externas Oculares e Córnea da Escola Paulista de Medicina - UNIFESP. As questões de nº 9 a 15 foram retiradas do QE padrão do ISAAC⁽³⁾, previamente validado para a população brasileira.

Cada uma das questões do QE foram pontuadas por dez pediatras e dez oftalmologistas com escore de zero a dois, segundo a sua importância para o diagnóstico de CA: nota 0 foi definida como sem importância; 1 pouco importante e 2 como muito importante. Quando houve concordância de pelo menos 60% entre os médicos avaliadores, a questão era pontuada com o valor de 2 (dois) pontos e quando tal fato não ocorria, a questão era pontuada com o valor 1 (um) ponto. Desse modo, as questões foram assim pontuadas: as questões de número 1, 4, 6, 7, 9 a 15 receberam nota 1 para sim e as de número 2, 3, 5 e 8, nota 2 (Tabela 1). As questões de número 1, 2, 3 e a 8 foram pontuadas como total do valor para sim e com zero para a resposta não. Nas questões (4) e (5), as respostas "nenhuma" ou "1 a 3" não foram pontuadas, enquanto as alternativas "4 a 12" ou "mais de 12" receberam pontuação total. Em relação à questão 7, os meses de temperaturas extremas (novembro, dezembro e janeiro como meses quentes e junho, julho e agosto como meses frios), quando escolhidos, receberam a pontuação da questão; os outros meses receberam zero. Nas questões de nº 9 a 15 a resposta negativa foi pontuada com zero pontos. Para calcular a pontuação final obtida pelas crianças, foi realizada a somatória das respostas de cada questão (Tabela 1). Uma vez definida a pontuação, o QE foi aplicado ao grupo de pacientes com CA (N=48, média de idade 9,5±0,44 anos) e ao grupo de crianças controles aparentemente saudáveis (N=52, média de idade 7,74±0,29 anos). Dos pacientes foram obtidos os seguintes dados: identificação completa do paciente (nome, idade, sexo, endereço, telefone), diagnóstico, medicação em uso, acuidade visual corrigida e biomicroscopia anterior completa.

A validação do QE foi feita a partir do cálculo dos coeficientes de sensibilidade e de especificidade para cada uma das questões, bem como para os diferentes escores totais para determinar a nota de corte capaz de separar doentes de não-doentes (Tabela 2).

Para a análise estatística foram empregados os seguintes testes estatísticos na dependência das variáveis analisadas: teste t de Student, teste Qui-quadrado de Pearson, e a estatística V de Cramér (Tabela 3). Para avaliar a capacidade preditiva de cada quesito em diagnosticar o tipo de paciente (normal ou alérgico), utilizou-se a estatística Lambda. Para avaliar o diagnóstico de CA realizado pelo médico e obtido pelo QE foram empregados os testes de concordância de Kappa e o de discordância de McNemar. Em todos os testes fixou-se em 5% o nível de rejeição para a hipótese de nulidade. Foram considerados como normais os pacientes cujo escore total no QE foi inferior a 10 pontos.

Calcularam-se tanto a sensibilidade quanto a especificidade para cada um dos itens do questionário. Para os itens 4 a 6 adotaram-se como alérgicos, os pacientes que responderam moderado ou muito. Já para o item 7, adotou-se como alérgicos, os pacientes que apontaram problemas nos meses quentes (outubro a março). Procurou-se encontrar um ponto de corte de tal forma que resultados dos testes com valores superiores a este limite apontassem resultados de pacientes com alergia (Tabela 4). Procedeu-se à análise deste QE por meio de redes neurais artificiais, com o objetivo de tentar identificar as questões mais importantes e excluir as redundantes. Tentou-se predizer o diagnóstico em função de um número mínimo de questões. A rede neural artificial foi "treinada" utilizando aleatoriamente 61 pacientes da amostra total (N=102), e seu aprendizado testado com 41 deles. O modelo de rede neural utilizado foi do tipo "perceptron" multicamada e o algoritmo de aprendizagem foi o de propagação retrógrada. Foi construída uma árvore de decisão para determinar as questões mais relevantes. O escore total do QE não permite que seja avaliada a importância específica (independente do peso atribuído) de cada item na presença de alergia. Para estabelecer a relação presença de alergia e os itens do questionário, foi utilizada a regressão logística. Foram incluídos no modelo todos os itens do questionário.

RESULTADOS

Foram avaliados 102 pacientes, 54 (52,9%) controles normais e 48 (47,1%) com CA. Houve predominância de meninos (60,8%). A média de idades dos pacientes foi de 8,4 anos (4±13), com maior variabilidade entre os pacientes com CA. A média de idade dos controles (7,7±0,29 anos) foi significantemente menor que a dos pacientes com CA (9,5±0,44 anos) (t calculado= -2,659, p=0,009).

Para cada item do questionário, foram calculadas o teste de Qui-quadrado, V de Cramér e Lambda. As associações mais fortes (V de Cramér) foram observadas para os ítens questão 4 (Q4) e questão 5 (Q5), os quais também apresentaram forte capacidade preditiva (Lambda). Melhorou-se em 68,8% o diagnóstico de alergia com a inclusão da informação da resposta obtida na Q5 (Tabela 3).

Já com relação aos itens relacionados ao quadro extra-ocular (questão 9 (Q9) a questão 15 (Q15)) foi observada fraca associação entre o tipo de paciente e os itens questão 13 (Q13) e Q15. Para os demais itens, não houve evidências de associação em nível de significância de 5%.

O teste de McNemar apontou evidências de diferenças nas proporções de pacientes com conjuntivite alérgica entre o diagnóstico atribuído pelo questionário e o diagnóstico clínico (HD) e o coeficiente kappa foi de 0,337 (p=0,071). No grupo de pacientes normais, o questionário diagnosticou 34 alérgicos (33,3%) e 20 normais (19,6%), e no grupo com alergia ocular, o questionário apontou 47 pacientes como alérgicos (46,1%) e 1 (1,0%) como normal. No total, o questionário apontou 21 (20,6%) pacientes como normais, contra 54 segundo o exame clínico, e 81 (79,4%) pacientes como alérgicos, contra 48, segundo o exame clínico, havendo, então, casos de falso-positivo.

Para cada questão foram calculadas sensibilidade e especificidade. Para os ítens 4 a 6 adotaram-se como alérgicos os pacientes que responderam moderado ou muito. Já para o item 7, adotaram-se como alérgicos os pacientes que apontaram problemas nos meses quentes (outubro a março). Os resultados encontram-se na tabela 2.

O item 5 foi o único com boa sensibilidade (85,42%) e especificidade (85,19%), corroborando com o fato de apresentar os maiores valores de V de Cramér e Lambda. Procurou-se, então, encontrar um ponto de corte de tal forma que resultados dos testes com valores superiores a este limite apontassem resultados de pacientes com alergia, o que foi feito por meio de uma curva ROC. Na tabela 4 encontram-se ponto de corte, sensibilidade e especificidade do teste.

O valor 10 como ponto de corte foi obtido por meio de uma curva ROC e produziu um teste com sensibilidade de 77,08% e especificidade de 79,63%. A acurácia obtida foi de 85,7% (Tabela 4).

Foi elaborada rede neural artificial para a determinação do diagnóstico a partir das Q5, questão 7 (Q7), Q9, questão 10 (Q10), questão 11 (Q11), questão 14 (Q14) e Q15 (Tabela 5). Outras questões não adicionaram informações ao modelo (Figura 1). A rede neural apresentou capacidade de diagnóstico da alergia ocular em 100% dos pacientes.

Na regressão logística, foram selecionadas 4 das 15 questões: Q4, Q7,Q12 e 13. O modelo apresentou 94,6% de eficácia (Tabela 6).

DISCUSSÃO

Um problema encontrado neste estudo foi a falta de diagnóstico preciso quanto ao tipo de alergia ocular de muitas crianças em seus prontuários, razão pela qual decidiu-se não separá-las pelo subtipo, embora se saiba que em centros de referência como este o mais freqüente é tratar-se de casos graves, como as ceratoconjuntivites primaveril e atópica.

Com relação à falta de diagnóstico quanto ao subtipo de alergia ocular, trata-se de assunto controverso. A revisão da literatura revela que um mesmo termo é utilizado para diferentes doenças e que a mesma doença pode ter vários nomes⁽¹⁰⁾. Em série de 120 pacientes encaminhados com diagnóstico de ceratoconjuntivite primaveril, 32 tiveram de ser excluídos devido a erros de diagnóstico⁽¹¹⁾. Isto pode justificar a dificuldade que houve em se separar os pacientes em subtipos no presente estudo, fazendo com que se colocassem todas as conjuntivites em um só grupo, sem sua classificação.

A idade dos pacientes avaliados neste estudo variou de 3 a 14 anos, com média de 8,4 anos. Analisando-se os pacientes pelo diagnóstico, viu-se que os do grupo com alergia ocular tiveram maior variabilidade de idade em relação ao grupo de não-doentes. Além disso, os alérgicos tiveram maior média de idade (9,5±0,44 anos) em relação aos normais (7,74±0,29 anos). Isto pode ter ocorrido pelo fato de os pacientes do grupo controle terem sido abordadas de maneira diferente nos dois centros. Quanto ao sexo, houve uma predominância de meninos, responsáveis por 60,78% da população total estudada, o que é esperado, já que a alergia ocular acomete mais este sexo, como mostra o estudo epidemiológico realizado por Goulart⁽¹²⁾ e Belfort⁽¹³⁾.

O presente questionário foi eficaz para separar doentes de não-doentes. A utilização do valor 10 como ponto de corte produziu um teste com sensibilidade de 77,08% e especificidade de 79,63%. A acurácia obtida foi de 85,7%. Adotando-se a nota dez, foi possível identificar os verdadeiros positivos em 83% dos casos. Além disto, este é um instrumento de baixo custo, que pode ser usado em um grupo grande de escolares.

Pela análise estatística, dentre todas as questões, o único item do questionário que apresentou uma boa sensibilidade (85,42%) e especificidade (85,19%) foi a questão nº 5, o que corroborou com o fato de este item apresentar os maiores V de Cramér, indicando forte associação entre esta questão e o diagnóstico de alergia e Lambda, mostrando boa capacidade preditiva deste item. A questão 4 apresentou também boa capacidade de associação e boa predição do diagnóstico. Uma provável explicação para estes achados seria o fato de estes itens abordarem a freqüência do prurido (Q5) e dos sintomas associados (Q4), todos eles considerados sintomas-chave na alergia ocular.

Foi interessante, entretanto, observar que as questões relacionadas ao quadro extra-ocular apresentaram V de Cramér e Lambda baixos, mostrando que pudessem não ajudar no diagnóstico de possíveis alérgicos com componente ocular, evidenciando, desta forma, que as alergias oculares não tivessem um componente sistêmico tão importante. Este fato corrobora com outros resultados⁽¹⁴⁾ que realizaram testes de punctura em pacientes com a forma primaveril e em outro grupo, sem acometimento ocular, porém com alguma forma sistêmica de alergia, não encontrando diferenças estatisticamente significantes entre os grupos. Por outro lado, como já comentado antes, Bonini⁽¹⁵⁾ e Belfort⁽¹³⁾ entre outros autores, encontraram incidência relativamente importante do acometimento extra-ocular, mostrando que estas questões sejam relevantes nas conjuntivites alérgicas.

O papel da rede neural artificial (RN) neste estudo foi diminuir ao máximo o número de questões com maior eficácia possível. O interessante foi que a RN eliminou 8 questões, a maioria sobre o quadro ocular, mas manteve o item 5. Além disso, percebe-se que este foi o item de maior importância, e quando excluído, a eficácia da RN diminuiu muito (Tabela 5).

O fato de sete questões serem capazes de desempenhar o papel das 15 inicialmente elaboradas é um ponto bastante favorável, já que fica mais fácil abordar mães e crianças de todas as classes sociais.

Encontrou-se uma discrepância no diagnóstico dado pelo questionário e o diagnóstico clínico, mostrado pelo teste de Mc Nemar e pelo baixo coeficiente Kappa (0,337; p=0,071). No entanto, ocorreu que o questionário selecionou pacientes normais como sendo alérgicos e não o oposto, isto é, fez-se mais diagnóstico, e não houve omissão de pacientes com exame compatível com a doença que o questionário tivesse dado como normais. Isto pode ter ocorrido pelo fato de que alergias oculares fora da crise ou em início da doença muitas vezes não apresentem alterações ao exame clínico, muito embora os pacientes tenham queixas. Outro ponto que deve ser levado em consideração é que as mães preencheram o questionário sozinhas, sem a presença do médico, e as mães das crianças do grupo controle podem ter tido dificuldade em interpretar as questões, o que não deve ter ocorrido com as mães das crianças do grupo doente, já que se trata de pacientes do ambulatório, sendo portanto, muito acostumadas com os sintomas de alergia ocular, tanto que sabem identificar quando seus filhos estão ou não em crise.

Por outro lado, é interessante que a inclusão da questão 5 melhorou o diagnóstico de alergia ocular em 68,8%. Apesar do prurido ocular ser um sintoma muito relacionado a alergia ocular, é também um sintoma vago e passível de interpretação errônea pelas mães.

A questão 7, que trata da sazonalidade, apresentou sensibilidade de 77,78% e especificidade de 52,38%. Isto pode em parte ser explicado pelo fato de que os pacientes do grupo doente estivessem em tratamento, de maneira que o "problema com os olhos" pode ter perdido a relevância e influência inicial no dia-a-dia do paciente, resultando em interpretação errônea da questão. Deve-se lembrar que esta foi a outra questão selecionadas pela RN sobre alergia ocular (Tabela 5).

O questionário apresentou melhor sensibilidade, isto é, capacidade de identificar os possíveis doentes, nas questões 1, 2, 3 e 5, e melhor especificidade, ou seja, capacidade de identificar os não-doentes, nas questões 4, 5 e 6.

A rede neural construída para este questionário utilizou na camada de entrada os itens 5, 7, 9, 10, 11, 14 e 15, conseguindo reduzir os itens do questionário de 15 para 7, mas, também neste caso, a questão 5 apareceu como a questão de maior importância relativa entre as 7 selecionadas (Tabela 6). Isto foi um ponto favorável, já que um modelo com menos itens é sempre mais fácil de ser aplicado e interpretado.

Em relação às questões selecionadas pela rede neural, das 7 escolhidas, apenas duas dizem respeito ao quadro ocular, sendo uma sobre a freqüência do prurido e a outra sobre a sazonalidade e as outras cinco são sobre alergia sistêmica, o que ressalta a interação das outras formas de alergia com as conjuntivites alérgicas.

Recebido para publicação em 05.08.2005

Última versão recebida em 25.01.2006

Aprovação em 01.02.2006

Estudo realizado no Departamento de Oftalmologia da Universidade Federal de São Paulo - UNIFESP - São Paulo (SP) - Brasil.

Nota Editorial: Depois de concluída a análise do artigo sob sigilo editorial e com a anuência dos Drs. Belquiz Rodrigues A. Nassaralla e José Augusto Alves Ottaiano sobre a divulgação de seu nome como revisor, agradecemos sua participação neste processo.

Anexo A

Datas de Publicação

Histórico