A Nvidia AI produz modelos 3D a partir de vídeos 2D, aplicativos de impressão 3D futuros?

A Nvidia, fabricante de GPU com sede nos EUA, publicou um trabalho de pesquisa descrevendo um novo modelo de inteligência artificial (IA) capaz de converter videoclipes 2D em modelos 3D detalhados.

A pesquisa descobriu que os atuais modelos de IA generativa lutam para capturar detalhes finos de objetos, como padrões de textura repetitivos, cores homogêneas e fortes variações de cores. Diz-se que a nova tecnologia de IA da Nvidia, chamada Neuralangelo, supera esses problemas. Neuralangelo oferece modelos de alta fidelidade e a capacidade de traduzir com precisão as texturas de materiais complexos de vídeos 2D.

Como a Nvidia AI pode se desenvolver como uma ferramenta de impressão 3D?

A Nvidia destaca os benefícios potenciais para profissionais criativos em particular, que podem criar objetos virtuais de forma rápida e fácil usando imagens capturadas de um smartphone. Arte, realidade virtual, desenvolvimento de videogames, robótica e produção de gêmeos digitais industriais foram descritos como aplicações potenciais de Neuralangelo.

A empresa já demonstrou as amplas capacidades de sua nova tecnologia de IA, recriando a escultura de David de Michelangelo e um caminhão-plataforma. Neuralangelo também pode reconstruir ambientes de grande escala. A Nvidia criou com sucesso um modelo 3D do parque em seu campus de Bay Area usando imagens de vídeo birdeye capturadas por um drone.

"Os recursos de reconstrução 3D que Neuralangelo oferece serão um grande benefício para os criadores, ajudando-os a recriar o mundo real no mundo digital", comentou Ming-Yu Liu, diretor sênior de pesquisa da Nvidia e coautor do trabalho de pesquisa. “Esta ferramenta eventualmente permitirá que os desenvolvedores importem objetos detalhados – sejam pequenas estátuas ou edifícios enormes – em ambientes virtuais para videogames ou gêmeos digitais industriais”.

Embora essa nova ferramenta de IA ainda não tenha sido combinada com aplicativos de impressão 3D, um porta-voz da Nvidia disse à 3D Printing Industry que essa poderia ser uma direção futura. Atualmente, os modelos de Neuralangelo não podem ser impressos em 3D.

É fácil imaginar o potencial de integração da manufatura aditiva com Neuralangelo.

Seja por meio da exportação da malha gerada por IA como um arquivo imprimível no futuro ou como parte de um gêmeo digital. Atualmente, os gêmeos digitais são aproveitados para os estágios de design e prototipagem do desenvolvimento do produto e ainda mais no ciclo de vida do produto.

Convertendo vídeos 2D em modelos 3D com IA

Neuralangelo emprega Instant Neural Graphics Primitives (NGP) em combinação com funções de distância de sinal (SDF) para obter conversão de vídeo de alta qualidade. O NGP fornece estruturas de grade 3D híbridas com uma codificação de hash de resolução múltipla. Essa representação híbrida aumenta significativamente o poder de representação dos campos neurais e pode capturar detalhes mais refinados.

Efetivamente, Neuralangelo faz um vídeo 2D de um objeto ou ambiente e seleciona vários quadros que destacam diferentes pontos de vista. Depois que a posição da câmera de cada quadro é determinada, a IA cria um modelo 3D aproximado. Essa renderização bruta é otimizada, aprimorando os detalhes e produzindo um produto acabado com alta qualidade e precisão de superfície.

Os pesquisadores destacam dois fatores que são fundamentais para essa abordagem. Em primeiro lugar, usando gradientes numéricos para calcular derivadas de alta ordem. Diz-se que isso é crítico para estabilizar o processo de otimização. Em segundo lugar, um cronograma de otimização progressiva é vital para a recuperação de estruturas em diferentes níveis de detalhamento. Isso permite uma reconstrução abrangente e precisa do modelo 3D.

O projeto Neuralangelo da Nvidia está programado para ser apresentado na conferência Computer Vision and Pattern Recognition (CVPR) deste ano em Vancouver entre 18 e 22 de junho. Neuralangelo será apresentado ao lado de quase 30 outros projetos, com tópicos que vão desde estimativa de pose, reconstrução 3D e geração de vídeo.

IA e manufatura aditiva

A inteligência artificial é uma das principais palavras da moda na impressão 3D no momento. A Pesquisa Executiva da Indústria de Impressão 3D deste ano destacou a geração automatizada de modelos AI 3D como parte do futuro da impressão 3D.