More

    SqueezeBERT promete PNL móvel mais rápida, mantendo níveis de precisão BERT


    O ex-CEO da DeepScale, Forrest Landola, deixou a Tesla para se concentrar na pesquisa em PNL, disse ele à VentureBeat em uma entrevista por telefone. A startup de visão computacional DeepScale foi adquirida pela Tesla no outono de 2019 por um valor não revelado. Iandola disse que deixou a Tesla porque quer explorar questões além da direção autônoma e se envolver com o tipo de descoberta acidental que vem com formas mais amplas de pesquisa em IA.

    Nos círculos de pesquisa, Iandola é talvez mais conhecido por seu trabalho em visão computacional e principal autor de um artigo de 2017 no SqueezeNet, um modelo que alcançou níveis de precisão de classificação de imagem semelhantes ao AlexNet com 50 vezes menos parâmetros.

    Em sua primeira pesquisa de PNL desde que deixou a Tesla, ele trabalhou com uma equipe que incluía o cofundador da DeepScale e o professor da UC Berkeley, Kurt Keutzer, e o engenheiro sênior de aprendizado de máquina da Tesla, Albert Shaw. Na segunda-feira, eles publicaram um documento detalhando o SqueezeBERT, uma arquitetura de rede neural móvel da PNL que, segundo eles, é 4,3 vezes mais rápida que o BERT em um smartphone Pixel 3, ao mesmo tempo em que obtêm precisão semelhante ao MobileBERT nas tarefas de referência do GLUE. A principal diferença entre o MobileBERT e o SqueezeBERT, disse Iandola ao VentureBeat em uma entrevista, é o uso de convoluções agrupadas para aumentar a velocidade e a eficiência, uma técnica introduzida pela primeira vez em 2012.

    “[W]realmente não mudamos o tamanho das camadas ou quantas existem, mas meio que agrupamos as convoluções. Não é realmente esparsidade no sentido de que você apenas exclui parâmetros aleatórios, mas existem blocos de parâmetros intencionalmente ausentes desde o início do treinamento, e é daí que veio a aceleração no nosso caso “, disse ele.

    VB Transform 2020 Online – 15 a 17 de julho. Junte-se aos principais executivos de IA: registre-se para receber gratuitamente a transmissão ao vivo.

    O SqueezeBERT também conta com técnicas derivadas do SqueezeNAS, um modelo de pesquisa de arquitetura neural (NAS) desenvolvido no ano passado por ex-funcionários da DeepScale, incluindo Shaw e Iandola.

    Iandola disse que optou por se comprometer com a pesquisa em PNL devido aos avanços permitidos pelas redes baseadas em Transformer nos últimos anos. Ele também está interessado em casos de uso móvel e de ponta da PNL que podem ser executados localmente sem que os dados saiam de um dispositivo.

    “Acho que não estou me afastando completamente da visão, mas acho que a PNL parece onde estava a visão por computador em 2013, onde AlexNet havia acabado de acontecer e as pessoas estavam dizendo ‘Ok, então, quais são todas as coisas que queremos fazer novamente usando esta nova tecnologia? E eu sinto que, em certo sentido, as redes de atenção pessoal são uma grande perturbação para a PNL e as pessoas estão começando a projetar algoritmos de PNL ”, disse ele.

    Desde o lançamento do BERT em código aberto em 2017, os modelos baseados no Transformer e as variações do BERT como o RoBERTa do Facebook, o ERNIE do Baidu e o XLNet do Google alcançaram resultados de última geração para modelos de idiomas. Um grupo de especialistas que a VentureBeat conversou com o ano passado chamou os avanços na PNL de uma tendência importante no aprendizado de máquina em 2019.

    SqueezeBERT é a mais recente pesquisa sobre a convergência da visão computacional e da PNL. Na semana passada, pesquisadores do Facebook e da UC Berkeley, incluindo Keutzer, introduziram o Visual Transformers para encontrar relações entre conceitos visuais. No mês passado, o Facebook AI Research lançou o DETR, o primeiro sistema de detecção de objetos criado usando a arquitetura de rede neural Transformer que esteve na vanguarda dos avanços na PNL.

    Um próximo passo em potencial para o SqueezeBERT é tentar reduzir a amostragem para reduzir sentenças da maneira como modelos de visão computacional como EfficientNet ou AlexNet cortam a altura e largura das imagens para melhorar a velocidade.

    “A noção de tratar uma frase como uma imagem que você pode ampliar ou reduzir a amostra é algo que eu acho que pode se tornar uma coisa popular na PNL – teremos que ver”, disse Iandola.

    Ele disse que o código SqueezeBERT será lançado para revisão neste verão.


    Artigos Recentes

    O fiasco do aplicativo de rastreamento de contatos do Reino Unido é uma master class em má administração

    Há vantagens em ser um dos maiores sistemas de assistência médica do mundo, com um único pagador. Para o Serviço Nacional de Saúde...

    Tintas Waymo negociam com a Volvo para desenvolver carros elétricos autônomos

    (Reuters) - Waymo e o Volvo Cars Group concordaram em desenvolver um veículo elétrico autônomo projetado para uso de passeio, como parte de...

    Ex-cliente da O2? Você pode receber um reembolso de 15 anos atrás

    Os britânicos sabem do escândalo do PPI que um reembolso por pagamento em excesso é melhor tarde do que nunca, certo? Bem,...

    Artigos Relacionados

    DEIXE UMA RESPOSTA

    Por favor digite seu comentário!
    Por favor, digite seu nome aqui