Audiovisual e Inteligência Artificial
O futuro e o presente
A IA generativa explodiu em popularidade no ano passado, com ramificações massivas para a produção de filmes em produção virtual e em todas as áreas. Nesta história, examinaremos algumas das ferramentas de IA generativas mais promissoras para cineastas e exploraremos importantes considerações éticas.
O que é IA generativa?
A IA generativa usa técnicas de inteligência artificial para criar novos conteúdos, como imagens, vídeos, músicas, textos e outras formas de dados. Ele usa algoritmos e modelos de aprendizado de máquina para gerar conteúdo que pode imitar ou simular a criatividade humana.
Os sistemas generativos de IA utilizam algoritmos de aprendizado profundo, como redes adversárias generativas (GANs), autoencoders variacionais (VAEs) e redes neurais recorrentes (RNNs), para criar conteúdo com base em padrões e entrada de dados. Esses algoritmos podem aprender com grandes quantidades de dados e gerar novos conteúdos semelhantes ao que aprenderam.
Uma pesquisa de ferramentas de IA por fase de produção
Agora que introduzimos o conceito de IA generativa e exploramos algumas ramificações éticas, vamos examinar algumas das atuais ferramentas de IA. Apresentaremos rapidamente cada categoria, possíveis casos de uso e exemplos de diferentes ferramentas. Informe-nos quais ferramentas devemos adicionar a esta lista nos comentários. (E para dar uma olhada no vasto cenário de IA, veja este relatório .)
Acompanhe de perto a evolução AI para o Audiovisual em BOOMREAL.ART
Ferramentas de IA de pré-produção
Modelos de linguagem
•Casos de uso: desenvolvimento de roteiro, geração de conceito, pesquisa, correspondência e suporte organizacional.
•Exemplos
ChatGPT da OpenAI : um chatbot de conversação, o formato de diálogo permite que o ChatGPT responda a perguntas de acompanhamento, admita seus erros, conteste premissas incorretas e rejeite solicitações inadequadas.
Agora incorporado ao Microsoft Bing
Google Bard : um serviço experimental de IA de conversação do Google Labs.
Geradores de imagens
•Casos de uso: visualização/storyboarding/desenvolvimento de conceito/pitchvis.
•Exemplos
Midjourney : Por meio de um servidor Discord, os usuários usam o comando /imagine e digitam um prompt; o bot então retorna uma imagem.
Dall-E : Uma rede neural que cria imagens de legendas de texto para uma ampla gama de conceitos expressos em linguagem natural.
StableDiffusion : gera imagens detalhadas condicionadas a descrições de texto, também pode ser aplicada para pintura interna, pintura externa e geração de traduções de imagem para imagem guiadas por um prompt de texto.
ControlNET : Uma estrutura de rede neural para controlar modelos de difusão estável adicionando parâmetros adicionais, melhorando o controle e a precisão das imagens geradas.
Cuebric : pega a arte gerada por IA e a divide em ambientes Unreal Engine prontos para uso para produção virtual.
NVidia GET3D : Gera malhas 3D com topologia complexa, detalhes geométricos ricos e texturas de alta fidelidade.
Áudio/Fala para Fala/Texto para Fala
•Casos de uso: pegue uma voz de origem e treine um modelo de aprendizado para falar nessa voz, automatize a localização de idioma e ADR, redirecione uma voz de origem gravando um estilo vocal diferente e gere efeitos sonoros e música com base em prompts de texto.
•Exemplos
Uma tecnologia de clonagem de voz/aprendizado de máquina foi usada para a voz de Darth Vader na série Obi-Wan para Disney+ e para a voz do jovem Luke Skywalker em The Book of Boba Fett , entre muitos outros.
Demonstrações de voz Respeecher.
“Pode simular de perto a voz de uma pessoa quando recebe uma amostra de áudio de três segundos. Depois de aprender uma voz específica, o VALL-E pode sintetizar o áudio dessa pessoa dizendo qualquer coisa — e fazê-lo de uma forma que tenta preservar o tom emocional do locutor.” — ArsTechnica .
“Uma rede neural que gera música, incluindo canto rudimentar, como áudio bruto em vários gêneros e estilos artísticos.”
Rotoscopia/Composição
•Casos de uso: a capacidade de filmar para compostos sem precisar de uma parede de LED ou tela verde. As ferramentas podem deduzir profundidade a partir de imagens puras.
•Exemplos
Copia efeitos específicos da sequência, como efeito fosco, reparos de beleza ou desfocagem, de um pequeno número de quadros em uma sequência e, em seguida, treina uma rede para replicar esse efeito em toda a sequência, economizando muito esforço manual e tempo.
Um algoritmo desenvolvido para ser robusto, rápido e flexível para os requisitos de efeitos visuais, ao mesmo tempo em que oferece luma mattes automatizados e de alta qualidade rapidamente.
Ovelha elétrica, rotoscopia assistida por IA
Vídeo para vídeo
•Casos de uso: crie um novo vídeo com base em uma entrada de vídeo de origem com uma entrada de estilo de imagem estática.
•Exemplos
“Sintetize novos vídeos aplicando a composição e estilo de uma imagem ou prompt de texto à estrutura de seu vídeo de origem. É como filmar algo novo sem filmar nada.”
Machine Learning para animar imagens estáticas com precisão realista.
Editando
•Casos de uso: agilizar tarefas editoriais repetitivas e insignificantes, reduzir a barreira de entrada na qualificação.
•Exemplos
Várias ferramentas para correspondência de cores, transição de corte de metamorfose, marcação/classificação automática.
“Synthesia é uma plataforma de geração de vídeo de IA que permite criar vídeos rapidamente com avatares de IA em mais de 120 idiomas. Inclui modelos, um gravador de tela, uma biblioteca de mídia e mais ferramentas.”
Conclusão
A IA generativa está evoluindo rapidamente; pesquisadores e desenvolvedores exploram continuamente novas maneiras de melhorar e aprimorar suas capacidades. Provavelmente veremos aplicações de IA generativas mais sofisticadas e inovadoras à medida que a tecnologia avança. O poder e a utilidade desses aplicativos devem ser cuidadosamente equilibrados com preocupações éticas para maximizar o benefício e evitar as armadilhas.
Algumas mudanças já estão acontecendo para abordar questões morais e de direitos. Por exemplo, ArtStation postou um blog adicionando proteções contra apropriação indevida de IA. Especificamente, os artistas podem adicionar uma tag “NoAI” para marcar a arte carregada como não autorizada para uso no treinamento de modelos de IA. O mecanismo de pesquisa do site ArtStation também adicionou a capacidade de filtrar ou filtrar obras de arte geradas por IA.
SketchFab seguiu o exemplo com uma mudança de tag NoAI em seus termos de serviço em um e-mail enviado em 20/02/23, “se você deseja proteger seus uploads do uso por programas generativos de IA, você pode marcar seus modelos como ‘NoAI’. Você (e outros usuários) concorda em não usar uploads marcados como ‘NoAI’ em conjuntos de dados para, no desenvolvimento ou como entradas para programas generativos de IA.”
Muitas dessas ferramentas de IA generativas já são de ponta e pode ser um desafio prever sua evolução. É difícil não imaginar mais ferramentas de IA aparecendo no futuro hardware de câmera. Já vemos isso acontecendo com motores neurais e fotografia computacional em câmeras de telefone.
Agora qualquer pessoa pode visitar um local real, capturar rapidamente um ambiente 3D fotorrealístico e compartilhá-lo com sua equipe de produção.
E não menos importante… considerações éticas para IA
A IA generativa pode criar conteúdo novo e original. No entanto, levanta questões éticas sobre atribuição, propriedade, preconceito, privacidade e responsabilidade.
Atribuição e propriedade: Uma das principais preocupações com a arte criada por ferramentas de IA é a questão da propriedade e atribuição. Quem deve receber os créditos pela arte? É o artista que criou a arte usada para treinar a IA, o programador que escreveu o código ou o próprio sistema de IA?
Preconceito e discriminação: os sistemas de IA podem aprender com dados tendenciosos, resultando em arte generativa que perpetua preconceitos e discriminação. Por exemplo, uma ferramenta de IA treinada em um conjunto de dados sem diversidade pode produzir arte que reflita apenas a cultura, raça ou gênero dominante.
Privacidade: o uso de ferramentas de IA na arte generativa pode exigir a coleta e o processamento de dados pessoais. Isso levanta preocupações sobre privacidade e proteção de informações pessoais.
Manipulação e engano: as ferramentas de IA podem manipular ou enganar as pessoas. Por exemplo, uma imagem deepfake criada por um sistema de IA pode ser usada para espalhar informações erradas ou se passar por um indivíduo.
Responsabilidade e prestação de contas: À medida que as ferramentas de IA se tornam mais sofisticadas, a questão de quem é responsável pela arte que produzem torna-se mais complexa. O artista, o sistema de IA ou a empresa de tecnologia que criou a ferramenta de IA deve ser responsabilizado pelas consequências negativas da obra de arte?
Virtual Producer / Toshio
