More

    Como as inovações de IA e ML estão gerando a necessidade de transformação de hardware (VB Live)


    Apresentado por SambaNova Systems


    Para ficar por dentro das inovações de IA de ponta, é hora de atualizar sua pilha de tecnologia. Neste evento VB Live, você aprenderá como as inovações em PNL, IA visual, modelos de recomendação e computação científica estão levando a arquitetura do computador para a vanguarda.

    Acesse gratuitamente sob demanda aqui.


    As inovações em IA e aprendizado de máquina exigem mais poder de computação do que nunca, mas os chips de hoje não conseguem atender à demanda. A lei de Moore – a ideia de que os chips de computador encolherão continuamente e ficarão mais baratos, mesmo que entreguem cada vez mais potência – atingiu uma barreira. A questão é como aproveitar as inovações de IA de maneira econômica e acompanhar o ritmo da crescente demanda por poder de computação.

    Além da Lei de Moore

    “O declínio da Lei de Moore, os problemas de transistor e energia, está começando a se fazer sentir na indústria”, disse Alan Lee, vice-presidente corporativo e chefe de pesquisa e desenvolvimento avançado da AMD. “As novas tecnologias que estamos investigando giram em torno de tecnologias modulares e empilhamento 3D e sistemas heterogêneos.”

    Em vez de pensar no multicore tradicional, trata-se de entender como as diferenças nessas unidades podem ser combinadas. Seja empilhando-os, juntando-os na mesma matriz ou no mesmo módulo ou sistema com vários chips, o problema é reunir os tipos de computação necessários para IA, ML, aplicativos de HPC e tipos de ciência da computação nas proporções certas para alcançar desempenho e eficiência.

    “A chave à medida que a Lei de Moore desacelera é se tornar mais eficiente”, disse Kunle Olukotun, cofundador e tecnólogo-chefe da SambaNova Systems. “Todos nós sabemos que a eficiência vem da especialização. Mas, no mundo do aprendizado de máquina, você não pode simplesmente pegar um algoritmo e convertê-lo em silício. ”

    O segredo é obter eficiência e, ao mesmo tempo, manter a flexibilidade necessária para dar suporte às inovações em algoritmos de aprendizado de máquina. Os desenvolvedores de aplicativos de aprendizado de máquina continuam a mudar seus algoritmos e a capturar isso requer um substrato que forneça eficiência e flexibilidade.

    “O que você precisa é de uma arquitetura mais focada em como você dá suporte aos requisitos de execução do fluxo de dados dentro do aplicativo”, diz ele.

    As características dos aplicativos de ML são únicas, ele destaca, por serem um monte de kernels conectados por diferentes partes de comunicação, dependendo do gráfico computacional do algoritmo específico. Isso requer uma arquitetura que possa suportar isso nativamente e fornecer uma execução de fluxo de dados muito eficiente, desde o nível do chip até o nível do nó e o nível do data center, para explorar as características do aplicativo.

    O estado da inovação em IA e ML

    Os modelos de aprendizado de máquina evoluíram nos últimos anos de modelos convolucionais a modelos recorrentes de rede neural, modelos dominados por multiplicadores de matriz, modelos densos a modelos esparsos, diz Olukotun. A multiplicação da matriz sempre será um componente central, e essa evolução não mostra sinais de parar. O desafio é continuar a juntar essas peças e ser capaz de suportar com flexibilidade esse tipo de inovação.

    “Estamos em um estágio evolutivo agora”, concorda Lee. “Alcançamos o próximo grande platô em ML, e quanto mais perto você chegar do mapeamento ou modelagem de um determinado tipo de rede neural ou uma classe de equivalência em redes neurais, mais desempenho você verá.”

    Ele acrescenta que também devemos ter em mente que há um grande corpo de exploração científica e industrial – centenas de anos de trabalho em algoritmos que também precisam ser usados ​​para resolver problemas semelhantes.

    “Muitos problemas de ML podem informar problemas de computação de alto desempenho e vice-versa”, diz ele. “É certamente importante ultrapassar os limites em áreas específicas, mas também é importante não esquecer o passado e perceber que os modelos matemáticos, em muitos casos, podem informar e ser informados por este novo ramo da ciência habilitado por big data, máquinas de alto desempenho e novos algoritmos de ML. ”

    Olukotun aponta para a interação entre computação de alto desempenho e ML. No momento, os cientistas que fazem simulação tradicional e cálculos de engenharia estão atingindo o limite do que podem fazer em um determinado período de tempo, seja simulando materiais ou tentando entender como o fluxo turbulento funciona em motores a jato. Eles estão procurando o casamento do ML com a modelagem de simulação tradicional.

    A próxima virada de jogo para o mundo da computação de IA

    “Um dos problemas mais difíceis é tentar identificar, a partir desses milhares e milhares de ideias, o que levará a indústria em uma direção totalmente nova e extraordinariamente lucrativa?” Lee diz. “É muito fácil descartar uma ideia, sem perceber que mudanças na tecnologia, mudanças na otimização, mudanças nos compiladores podem sacudir o jogo de maneiras fantásticas.”

    Para Olukotun, a próxima inovação será a execução nativa do fluxo de dados global de grandes modelos à medida que os algoritmos de ML evoluem.

    “Se você olhar as arquiteturas atuais, elas estão focadas em unidades de multiplicação de matriz densa, mas não estão pensando em esparsidade ou como esses kernels se comunicam”, diz ele. “E, portanto, se você pode capturar esse fluxo de dados no chip, pode obter uma execução muito mais eficiente de todo o gráfico computacional. Você não gasta muito tempo trocando dados entre o chip e a memória de alta largura de banda fora do chip, como faz nas arquiteturas tradicionais de GPU. ”

    A multiplicação da matriz é importante, Lee concorda. A nova tecnologia de CDNA da AMD pode fazer multiplicação e adição de matriz fundida em uma variedade de tamanhos de operandos diferentes, mas sabendo como eles vão se encaixar em conjunto com o quão denso ou esparso é o problema, e ser capaz de fazer isso, seja através bibliotecas ou compiladores, é crítica.

    “Todos esses elementos, incluindo a matriz multiplicação-adições já existem há algum tempo, mas entender diferentes tamanhos de operandos e esparsidade e combiná-los de novas maneiras é uma das maiores tendências em IA e ML hoje”, diz ele.

    Para obter mais informações sobre o futuro da arquitetura de computadores, o estado do ML e como empresas de sucesso podem começar a alavancar novas tecnologias evoluindo antigos ecossistemas de tecnologia, acesse este evento VB Live agora.


    Acesse gratuitamente sob demanda aqui.


    Você vai aprender:

    • Por que a arquitetura multicore está em suas últimas etapas – e como é um computador novo e avançado
    • arquiteturas estão mudando o jogo
    • Como implementar soluções de inferência e treinamento convergente de última geração
    • Novas maneiras de acelerar a análise de dados e aplicativos de computação científica no mesmo acelerador

    Caixas de som:

    • Alan Lee, vice-presidente corporativo e chefe de pesquisa e desenvolvimento avançado, AMD
    • Kunle Olukotun, cofundador e tecnólogo-chefe, SambaNova Systems
    • Naveen Rao, Investidor, Consultor e Especialista em IA (moderador)


    Artigos Recentes

    Carga rápida: a maior competição do Galaxy S21 não é o que você pensa

    Já se passou mais de uma semana desde que a Samsung revelou o Galaxy S21 e o Galaxy S21 Ultra e eu passei...

    Os benefícios do assinante Spotify Premium não se aplicam a podcasts

    Uma das propostas principais do Spotify Premium é a capacidade de ouvir música ilimitada sem interrupção comercial. No entanto, se você espera...

    As lutas de transformação da IBM continuam com a receita de nuvem e IA caindo 4,5%

    Há alguns meses, na conferência Transform da CNBC, o CEO da IBM, Arvind Krishna, pintou o quadro de uma empresa em meio a...

    AirPods x AirPods Max

    A Apple já percorreu um longo caminho desde que incluiu pela primeira vez seus fones de ouvido redondos tradicionais na caixa do iPod...

    Artigos Relacionados

    DEIXE UMA RESPOSTA

    Por favor digite seu comentário!
    Por favor, digite seu nome aqui