More

    Muitos pesquisadores de IA acham que os problemas do mundo real não são relevantes


    Qualquer pesquisador que esteja focado em aplicar o aprendizado de máquina a problemas do mundo real provavelmente recebeu uma resposta como esta: “Os autores apresentam uma solução para um problema original e altamente motivador, mas é uma aplicação e a importância parece limitada para a máquina. comunidade de aprendizagem. ”

    Estas palavras são diretas de uma revisão que recebi de um artigo que enviei para a conferência NeurIPS (Neural Information Processing Systems), um local importante para a pesquisa de aprendizado de máquina. Já vi o refrão várias vezes em análises de artigos em que meus co-autores e eu apresentamos um método motivado por uma aplicação e já ouvi histórias semelhantes de inúmeras outras pessoas.

    Isso me faz pensar: se a comunidade acha que o objetivo de resolver problemas do mundo real de alto impacto com o aprendizado de máquina é de importância limitada, o que estamos tentando alcançar?

    O objetivo da inteligência artificial (pdf) é avançar na fronteira da inteligência da máquina. No campo do aprendizado de máquina, um novo desenvolvimento geralmente significa um novo algoritmo ou procedimento ou, no caso de aprendizado profundo, uma nova arquitetura de rede. Como outros apontaram, este hiperfoco em métodos novos leva a um flagelo de artigos que relatam melhorias marginais ou incrementais em conjuntos de dados de referência e exibem bolsa de estudos falha (pdf) enquanto os pesquisadores correm para o topo da tabela de classificação.

    Enquanto isso, muitos artigos que descrevem novos aplicativos apresentam novos conceitos e resultados de alto impacto. Mas mesmo uma sugestão da palavra “aplicação” parece estragar o artigo para os revisores. Como resultado, essa pesquisa é marginalizada em grandes conferências. A única esperança real de seus autores é que seus artigos sejam aceitos em workshops, que raramente recebem a mesma atenção da comunidade.

    Isso é um problema porque o aprendizado de máquina é uma grande promessa para o avanço da saúde, agricultura, descobertas científicas e muito mais. A primeira imagem de um buraco negro foi produzida usando aprendizado de máquina. As previsões mais precisas de estruturas de proteínas, um passo importante para a descoberta de drogas, são feitas usando aprendizado de máquina. Se outras pessoas na área tivessem priorizado as aplicações do mundo real, que outras descobertas inovadoras teríamos feito até agora?

    Esta não é uma nova revelação. Para citar um artigo clássico intitulado “Machine Learning that Matters” (pdf), do cientista da computação da NASA Kiri Wagstaff: “Grande parte da pesquisa atual de aprendizado de máquina perdeu sua conexão com problemas de importação para o mundo mais amplo da ciência e da sociedade.” No mesmo ano em que Wagstaff publicou seu artigo, uma rede neural convolucional chamada AlexNet venceu uma competição de reconhecimento de imagem centrada no popular conjunto de dados ImageNet, levando a uma explosão de interesse no aprendizado profundo. Infelizmente, a desconexão que ela descreveu parece ter piorado ainda mais desde então.

    As perguntas erradas

    Marginalizar a pesquisa de aplicações tem consequências reais. Conjuntos de dados de referência, como ImageNet ou COCO, foram essenciais para o avanço do aprendizado de máquina. Eles permitem que os algoritmos treinem e sejam comparados nos mesmos dados. No entanto, esses conjuntos de dados contêm tendências que podem ser incorporadas aos modelos resultantes.

    Mais da metade das imagens em ImageNet (pdf) vêm dos Estados Unidos e da Grã-Bretanha, por exemplo. Esse desequilíbrio leva os sistemas a classificar as imagens de maneira imprecisa em categorias que diferem por geografia (pdf). Os conjuntos de dados de rosto populares, como o Banco de Dados de Rostos da AT&T, contêm principalmente sujeitos masculinos de pele clara, o que leva a sistemas que lutam para reconhecer rostos femininos e de pele escura.

    Enquanto os pesquisadores tentam superar uns aos outros em benchmarks planejados, uma em cada nove pessoas no mundo está morrendo de fome.

    Quando os estudos sobre aplicativos do mundo real de aprendizado de máquina são excluídos do mainstream, é difícil para os pesquisadores ver o impacto de seus modelos tendenciosos, tornando muito menos provável que trabalhem para resolver esses problemas.

    Um dos motivos pelos quais a pesquisa de aplicativos é minimizada pode ser que outras pessoas em aprendizado de máquina pensem que este trabalho consiste simplesmente em aplicar métodos já existentes. Na realidade, porém, adaptar ferramentas de aprendizado de máquina para problemas específicos do mundo real exige um trabalho significativo de algoritmos e engenharia. Os pesquisadores de aprendizado de máquina que não conseguem perceber isso e esperam que as ferramentas funcionem “fora da prateleira” geralmente acabam criando modelos ineficazes. Eles avaliam o desempenho de um modelo usando métricas que não se traduzem em impacto no mundo real ou escolhem o alvo errado.

    Por exemplo, a maioria dos estudos que aplicam o aprendizado profundo à análise do ecocardiograma tenta superar a capacidade do médico de prever doenças. Mas prever a função cardíaca normal (pdf) economizaria mais tempo dos cardiologistas, identificando os pacientes que não precisam de seus conhecimentos. Muitos estudos que aplicam o aprendizado de máquina à viticultura visam otimizar os rendimentos da uva (pdf), mas os produtores de vinho “querem os níveis certos de açúcar e ácido, não apenas muitas frutas grandes e aguadas”, diz Drake Whitcraft da Whitcraft Winery na Califórnia.

    Mais mal do que bem

    Outro motivo pelo qual a pesquisa de aplicativos deve ser importante para o aprendizado de máquina predominante é que os conjuntos de dados de referência do campo estão totalmente fora de sintonia com a realidade.

    Novos modelos de aprendizado de máquina são medidos em relação a grandes conjuntos de dados selecionados, sem ruído e com categorias bem definidas e explicitamente rotuladas (gato, cachorro, pássaro). O aprendizado profundo se sai bem para esses problemas porque pressupõe um mundo amplamente estável (pdf).

    Mas no mundo real, essas categorias mudam constantemente ao longo do tempo ou de acordo com o contexto geográfico e cultural. Infelizmente, a resposta não foi desenvolver novos métodos que abordem as dificuldades dos dados do mundo real; em vez disso, houve um impulso para os pesquisadores de aplicativos criarem seus próprios conjuntos de dados de referência.

    O objetivo desses esforços é essencialmente espremer os problemas do mundo real no paradigma que outros pesquisadores de aprendizado de máquina usam para medir o desempenho. Mas os conjuntos de dados específicos do domínio provavelmente não serão melhores do que as versões existentes na representação de cenários do mundo real. Os resultados podem fazer mais mal do que bem. Pessoas que poderiam ter sido ajudadas pelo trabalho desses pesquisadores ficarão desiludidas com tecnologias que funcionam mal quando é mais importante.

    Por causa das prioridades equivocadas do campo, as pessoas que estão tentando resolver os maiores desafios do mundo não estão se beneficiando tanto quanto poderiam da promessa muito real da IA. Enquanto os pesquisadores tentam superar uns aos outros em benchmarks planejados, uma em cada nove pessoas no mundo está morrendo de fome. A Terra está esquentando e o nível do mar está subindo a uma taxa alarmante.

    Como o neurocientista e líder de pensamento da IA, Gary Marcus, escreveu uma vez (pdf): “As maiores contribuições da IA ​​para a sociedade… podem e devem vir em domínios como a descoberta científica automatizada, levando, entre outras coisas, a versões muito mais sofisticadas da medicina do que as possíveis atualmente. Mas, para chegar lá, precisamos ter certeza de que o campo como todo não fica preso em um mínimo local ”.

    Para que o mundo se beneficie do aprendizado de máquina, a comunidade deve novamente se perguntar, como Wagstaff certa vez disse: “Qual é a função objetivo do campo?” Se a resposta é ter um impacto positivo no mundo, devemos mudar a maneira como pensamos sobre os aplicativos.

    Hannah Kerner é professor assistente de pesquisa na Universidade de Maryland em College Park. Ela pesquisa métodos de aprendizado de máquina para aplicações de sensoriamento remoto em monitoramento agrícola e segurança alimentar como parte do Colheita NASA programa.


    Artigos Recentes

    Análise do Garmin Venu Sq: o nome principal em fitness, agora com US $ 199

    “Este é um excelente relógio de saúde e fitness a um preço acessível.” Rastreamento de atividades confiável e preciso Coleta e análise de dados em...

    Melhores jogos PS5: todos os maiores jogos confirmados chegando ao PlayStation 5

    A próxima geração de hardware de console está se aproximando cada vez mais, com novas informações sobre as especificações do PS5, jogos e...

    Como será o futuro do financiamento para startups

    Como entusiastas de tecnologia, estamos constantemente olhando para a próxima onda de startups de tecnologia que provavelmente mudarão o mundo. Como sociedade,...

    Qualcomm Snapdragon 750G traz 5G para as massas

    A Qualcomm anunciou um novo processador 750G de gama média que trará conectividade 5G para um número ainda maior de smartphones. O novo SoC...

    Novo argumento de recrutamento de tecnologia da CIA: mais patentes, mais lucros

    A agência de espionagem mais famosa da América tem um grande concorrente que parece não conseguir derrotar: o Vale do Silício. A...

    Artigos Relacionados

    DEIXE UMA RESPOSTA

    Por favor digite seu comentário!
    Por favor, digite seu nome aqui