IA Generativa — Palavras contruindo mundos

Como a IA está realizando isso atualmente e por onde começar.

Thiago Toshio Ogusko
13 min readMar 10, 2024

Eu tenho utilizado inteligência artificial em meu trabalho diário. Toda semana, acompanho o progresso de alguns especialistas que estão desenvolvendo e implementando essa tecnologia, juntamente com empresas que já estão percebendo seu valor. A transformação impulsionada pela IA é maior do que qualquer coisa que já abordei anteriormente, como VR, AR, Web3 ao longo da minha mais de uma década de experiência no campo tecnológico. E está avançando mais rapidamente do que qualquer outra tendência que já comentei antes. Ao contrário de algumas outras tendências tecnológicas, as empresas estão quase universalmente reconhecendo o valor dessa inovação.

Sem demora, acesse uma caixa de ferramentas para começar.

https://replicate.com/explore

Não vou discutir aqui se isso é bom ou ruim

Mas já passa no https://www.instagram.com/boomreal.art/ e segue lá para updates diarios.

Vamos lá! Vou falar sobre IA e construção de mundos. Se você constrói mundos — ou deseja entrar no negócio de construção de mundos, seja como designer de jogos, artista ou escritor, ou criador de OpenSim “OpenSimulator” ou você sabe aquela palavra brega que começa com M e é tipo mundos 3D, bem , aqui estão três maneiras pelas quais a IA generativa mudará tudo.

A IA pode construir mundos?

A IA generativa é ruim. Muitas vezes ridiculamente ruim. Não pode fazer as mãos. Suas tentativas de escrever código falham na maioria das vezes. Todos nós sabemos disso, rimos disso, reviramos os olhos para as pessoas dizendo que a IA vai mudar qualquer coisa, exceto enganar pessoas idiotas e fazê-las cair em spam político ainda mais estúpido.

Exceto — e isso é muito importante — exceto que a IA está aprendendo continuamente e evoluindo rapidamente.

Deixe-me lembrá-lo novamente de quão longe os geradores de imagens avançaram em apenas um ano:

Isso foi em 2023. A IA logo estava ganhando concursos de arte e, mais recentemente, o prêmio de fotografia de maior prestígio do mundo .

Em 2023, aconteceu a mesma coisa com o texto. Passamos de pequenos poemas bobos escritos por ChatGPT para IA escrevendo parte de um romance de ficção científica premiado . Apontamos para algo ruim que a IA gerou e nos elogiamos por sermos capazes de identificá-lo tão facilmente. Sim, podemos detectar IA ruim. Mas não conseguimos identificar uma boa IA.

Este ano, estamos vendo a mesma progressão acontecendo com o vídeo. Lembra do Will Smith comendo espaguete?

Aqui está o estado da arte de hoje, do modelo Sora da OpenAI : Mas falta sair para a galera!

Então, o que vai acontecer ou melhor já está acontecendo!

Primeiro, a IA está ficando consistente. É adquirir uma memória de longo prazo. As primeiras versões da IA ​​não conseguiam lembrar o que faziam antes, então textos, imagens e vídeos eram inconsistentes. Personagens e planos de fundo se transformaram. As histórias seguiram direções malucas e contraditórias. As IAs de ponta atuais têm janelas de contexto de até 10 milhões de tokens . Sim, o modelo Gemini 1.5 do Google foi testado para lidar com precisão até 10 horas de vídeo ou texto suficiente para todos os livros de Harry Potter, sete vezes.

Em segundo lugar, a IA generativa está a tornar-se multimodal. Isso significa que combina vídeo, áudio, texto e código em um único modelo. Assim, por exemplo, ele pode escrever o texto de uma história, criar uma lista de cenas para ela, criar um livro de histórias para ela, criar um vídeo para ela e criar áudio para ela, resultando em um filme totalmente coerente. Sim, isso vai acontecer. As empresas de tecnologia já possuem modelos preliminares que podem fazer a maior parte disso, incluindo a IA do Google que acabei de mencionar.

Terceiro — e esta é a parte fundamental — a próxima geração de IAs generativas será capaz de simular o mundo. A OpenAI disse o mesmo em um artigo de pesquisa divulgado logo após o anúncio do Sora : “Nossos resultados sugerem que dimensionar modelos de geração de vídeo é um caminho promissor para a construção de simuladores de uso geral do mundo físico”.

Agora, os modelos atuais não compreendem completamente a física. Eles não sabem como o vidro se quebra, a direção do tempo ou se, digamos, a massa é conservada. Podemos apontar isso e rir e pensar que esses modelos nunca entenderão essas coisas — assim como não entendem o conceito de mãos humanas.

Bem, algumas das IAs tornaram-se realmente boas em fazer mãos humanas.

Você pode pensar que a física seria um desafio maior. Mas o Google, a empresa que fabrica o Gemini, tem todo o YouTube para treiná-lo. Além disso, todos os nossos livros de física. E todo o resto do conhecimento humano.

De acordo com o artigo da OpenAI, o desenvolvimento de simuladores mundiais precisos é principalmente uma questão de tornar os modelos grandes o suficiente.

Dos pesquisadores:

Acreditamos que as capacidades que Sora tem hoje demonstram que o dimensionamento contínuo de modelos de vídeo é um caminho promissor para o desenvolvimento de simuladores capazes do mundo físico e digital, e dos objetos, animais e pessoas que vivem dentro deles… Descobrimos que os modelos de vídeo exibem uma uma série de capacidades emergentes interessantes quando treinadas em escala. Estas capacidades permitem que Sora simule alguns aspectos de pessoas, animais e ambientes do mundo físico. Essas propriedades emergem sem quaisquer tendências indutivas explícitas para 3D, objetos, etc. — são puramente fenômenos de escala.

Os autores chamam isso de “capacidades de simulação emergentes”, o que significa que elas aparecem por conta própria, sem qualquer treinamento ou intervenção específica. E eles listam vários recursos emergentes, incluindo consistência 3D, coerência de longo alcance e permanência de objetos e interações físicas precisas.

E fica melhor. Os autores afirmam que seu modelo já é capaz de criar mundos digitais.

Sora também é capaz de simular processos artificiais — um exemplo são os videogames. Sora pode controlar simultaneamente o jogador no Minecraft com uma política básica, ao mesmo tempo que reproduz o mundo e sua dinâmica em alta fidelidade. Esses recursos podem ser obtidos com tiro zero, solicitando a Sora legendas mencionando “Minecraft”.

O que isso significa para os criadores?

A IA generativa, como outras tecnologias anteriores, é um multiplicador de força. Se você puder fazer algo, será capaz de fazer mais, mais rápido e, possivelmente, melhor.

Se você não pode fazer algo, isso lhe dará a capacidade de fazê-lo.

Você ainda poderá fazer as coisas da maneira antiga, se quiser, mas as empresas para as quais você trabalha — e seus clientes — começarão a exigi-las cada vez mais. E, se os clientes agora estiverem dizendo coisas como “não, nunca!” amanhã eles estarão migrando para paisagens geradas por IA, personagens interativos alimentados por IA, histórias mais complexas do que qualquer coisa possível hoje.

Future Tools rastreia 38 ferramentas diferentes baseadas em IA para a criação de videogames. TopAI tem 70.

O Google lançou uma prévia de seu próprio produto, uma IA chamada Genie que gera automaticamente jogos de plataforma jogáveis. eu não vejo a hora de fazer isso com um desenho de meu filho.

Aqui estão apenas algumas das ferramentas generativas de IA que estão a caminho ou já estão aqui:

  • Geração de terreno: algoritmos de IA podem gerar de forma processual paisagens realistas e diversas, incluindo montanhas, rios, florestas e cidades. Isso pode economizar inúmeras horas de escultura manual do terreno para os construtores mundiais e permitir a criação de ambientes vastos e detalhados.
  • Criação de ativos 3D: modelos generativos de IA podem criar modelos 3D, texturas e animações para objetos, personagens e criaturas. Isto poderia acelerar enormemente o processo de povoamento de mundos com bens diversos e únicos, desde móveis e veículos até flora e fauna.
  • Geração de NPCs: A IA pode ajudar a criar personagens não-jogadores (NPCs) com aparências, personalidades e comportamentos únicos. Isso inclui a geração de diálogos realistas, interações responsivas e linhas de missão adaptáveis. NPCs controlados por IA podem tornar os mundos mais vivos e envolventes. Para grades OpenSim, os NPCs poderiam fornecer tours, responder perguntas e ajudar a preencher histórias interativas.
  • Eventos Mundiais Dinâmicos: Os sistemas de IA podem ser utilizados para gerar e gerir eventos dinâmicos no mundo, tais como padrões climáticos, desastres naturais, flutuações económicas e convulsões políticas. Isso criaria um mundo mais imprevisível e em evolução que responderia às ações dos jogadores. Isto pode ser especialmente útil para redes educacionais que executam simulações.
  • Arquitetura processual: a IA poderia gerar edifícios, cidades e civilizações inteiras de forma processual, completa com estilos arquitetônicos, layouts e decorações exclusivos. Isso permitiria a criação rápida de ambientes urbanos diversos e detalhados. Acho que isso também pode ser útil para criar temas automáticos para novos proprietários de redes. Hoje, muitas empresas de hospedagem oferecem regiões iniciais. Com a IA generativa, essas regiões podem ser redesenhadas rapidamente em diferentes estilos. A princípio, não acho que isso deva ser feito em tempo real — os ambientes ainda precisarão de ajustes humanos para serem habitáveis. Mas, com o tempo, o material gerado pela IA será melhor e será cada vez mais utilizado como está.
  • Localização e acessibilidade: ferramentas alimentadas por IA podem ajudar a automatizar o processo de localização, traduzindo texto, fala e referências culturais para tornar os mundos acessíveis a um público mais amplo. A IA também pode ser usada para gerar legendas, descrições de áudio e outros recursos de acessibilidade. As grades OpenSim já utilizam tradutores automatizados, por exemplo, com públicos multilíngues. Com a IA generativa, essas ferramentas estão cada vez melhores e mais rápidas.

Pessoalmente, não acredito que essas ferramentas prejudiquem as indústrias de videogames e do mundo virtual. Em vez disso, colocarão mais poder nas mãos dos designers — tornando os jogos e os mundos mais interessantes, mais envolventes, mais detalhados, mais surpreendentes. E maior. Muito, muito, muito maior. E abrirá ainda mais a indústria para designers independentes, que poderão produzir jogos cada vez mais interessantes.

No longo prazo, pelo menos.

No curto prazo, haverá perturbações. Provavelmente muito disso. E durante estas perturbações tecnológicas no passado, os empregos perdidos não são os mesmos que os empregos ganhos — os empregos criativos, em particular, levam tempo a começar a dar frutos.

Por exemplo, quando os jornais e revistas começaram a despedir jornalistas após o surgimento da Internet, a maioria dos jornalistas encontrou novos empregos. Alguns mudaram-se para estabelecimentos tradicionais que ainda contratavam. Alguns foram para marketing e relações públicas. Alguns encontraram novos empregos na mídia. E alguns lançaram suas próprias publicações — eles usaram essa coisa da Internet e lançaram blogs, podcasts e canais no YouTube. Alguns deles ganharam dinheiro com isso. Mas foram necessários anos para que os novos meios de comunicação ganhassem algum respeito e credibilidade e para que as pessoas que nele trabalhavam ganhassem algum dinheiro.

Na verdade, muitas das pessoas que tiveram sucesso nos novos meios de comunicação não eram jornalistas tradicionais, mas sim novos na área.

Às vezes, as pessoas que fazem as coisas da maneira antiga não querem mudar. Eles não acham justo que suas habilidades conquistadas com dificuldade não sejam mais tão úteis. Eles acham que suas novas formas são preguiçosas ou de baixa qualidade. Eles podem até pensar que é antiético ou imoral fazer as coisas de uma nova maneira. Que as pessoas que, por exemplo, cancelam a assinatura do jornal e colocam as notícias online estão moralmente falidas e que os jornalistas que permitem isso estão a ajudar a destruir a indústria. Ainda há jornalistas que se sentem assim.

Provavelmente veremos algo semelhante acontecendo na era da IA. Novas ferramentas surgirão, colocando mais poder nas mãos de mais pessoas — poder para criar arte, música, software, videogames e até livros inteiros. E você não precisará passar anos aprendendo essas habilidades. Claro, as coisas que eles criam serão ruins no início, mas irão melhorar rapidamente à medida que a tecnologia melhorar e as habilidades das pessoas que usam as ferramentas também melhorarem. Algumas dessas pessoas ganharão dinheiro com isso. A maioria não o fará. Mas, eventualmente, surgirão melhores práticas. O setor ganhará credibilidade — o dinheiro ajuda. E, eventualmente, com exceção de alguns mesquinhos, nos adaptaremos e seguiremos em frente. Isso deixará de ser um problema — como, digamos, usar um processador de texto, ou usar a Internet, ou fazer uma chamada Zoom em vez de uma reunião cara a cara.

Não se esqueça que essa mistura de entusiasmo e apreensão não é novidade. Sempre que surgem tecnologias inovadoras, elas são recebidas com entusiasmo e ansiedade.

Tenho certeza de que costumava haver pessoas sentadas ao redor do fogo dizendo: “Crianças hoje em dia. Tudo o que querem fazer é olhar pinturas rupestres em vez de sair para caçar. Guarde minhas palavras, essas pinturas rupestres destruirão a civilização.” Ou “Crianças de hoje em dia. Escrevendo coisas. Na minha época, tínhamos que memorizar odes e sagas. Você realmente tinha que usar seu cérebro. Guarde minhas palavras, essa coisa de escrever destruirá a civilização.” Ou “As crianças de hoje em dia com suas fogueiras. Na minha época, comíamos carne crua e ficávamos felizes com isso. Marque minhas palavras…”

Sim, há uma chance pequena, mas diferente de zero, de que a IA destrua a civilização, como foi o caso da energia nuclear, da eletricidade e até do fogo.

Mas acho que vamos superar isso e olhar para trás, para os mesquinhos, com carinho, a partir da perspectiva segura de um futuro onde seremos capazes de lidar principalmente com as desvantagens da IA ​​e, principalmente, nos beneficiarmos de suas vantagens.

Coisas a observar

Falando em desvantagens, além da perda de empregos, existem outros riscos potenciais do uso de IA generativa para jogos e mundos virtuais.

Eles incluem:

  • Homogeneização de mundos: se muitos construtores de mundos confiarem nas mesmas ferramentas e conjuntos de dados de IA, existe o risco de os mundos começarem a parecer genéricos ou iguais. O estilo distinto e a impressão digital criativa de artistas e designers individuais podem ser perdidos, levando a uma homogeneização dos ambientes virtuais. Por outro lado, já estamos vendo isso no OpenSim com as mesmas regiões iniciais gratuitas aparecendo em todas as grades, e o mesmo conteúdo licenciado pela Creative Commons aparecendo em todas as lojas de brindes da grade.
  • Vieses não intencionais: os modelos de IA podem herdar preconceitos dos seus dados de treinamento, o que pode levar à perpetuação de estereótipos ou à sub-representação de determinados grupos no conteúdo gerado. Isto poderia resultar em mundos virtuais que inadvertidamente reforçam as desigualdades do mundo real e carecem de representação diversificada. Por outro lado, a IA também poderia ajudar a criar maiores variações, por exemplo, em avatares e skins iniciais. Tudo depende de como você o usa — mas é definitivamente algo a ser observado.
  • Questões de privacidade: Em um mundo virtual, cada interação do usuário com o ambiente pode ser registrada e analisada. Então a IA pode ser usada para personalizar experiências especificamente para cada usuário, criando um mundo mais envolvente e cativante. Mas também — alerta assustador de invasão de privacidade! Os proprietários da grade OpenSim devem ser muito transparentes sobre quais informações coletam e como as utilizam.

Como começar

Primeiro, comece a experimentar IA generativa para obter os frutos mais fáceis de alcançar: imagens de marketing não vitais, texto de marketing, conteúdo de mídia social, esse tipo de coisa.

Não use IA para gerar imagens da aparência do seu mundo para enganar as pessoas. Isso vai sair pela culatra em grande estilo. Use-o para gerar logotipos, ícones, ilustrações de fundo genéricas — coisas que não importam para seus clientes, mas tornam seu conteúdo um pouco mais agradável de consumir.

Não use IA para gerar texto de preenchimento. Use-o para transformar informações em conteúdo legível. Por exemplo, se você tiver um anúncio, poderá pegar sua lista de marcadores e transformá-la em um comunicado de imprensa legível . Se você não é falante nativo de inglês, transforme seus rabiscos não gramaticais em uma postagem de blog envolvente e bem escrita. Se você tiver um tutorial em vídeo, transforme a transcrição em um artigo de instruções para o seu site — ou transforme seu artigo de instruções em um roteiro de vídeo.

Em seguida, use a IA para transformar postagens de blog, comunicados de imprensa e vídeos úteis e informativos em conteúdo de mídia social.

Um conselho: ao criar este conteúdo, não seja genérico e impessoal . Adicione sua experiência pessoal. Mostre sua verdadeira face, dê seu nome verdadeiro, explique como sua formação pessoal o levou a este tópico. Mesmo ao usar IA para melhorar a quantidade e a qualidade do seu conteúdo, concentre-se também no seu lado humano para garantir que esse conteúdo realmente se conecte ao seu público.

Você também pode pedir ao ChatGPT, Claude ou ao seu modelo de idioma preferido para obter conselhos de negócios e marketing. Lembre-se de fornecer o máximo de informações possível. Diga qual o papel que você deseja que ele desempenhe — consultor financeiro experiente? treinador de pequenas empresas? especialista em marketing? — e forneça informações sobre você e sua empresa, e peça-lhe para fazer perguntas para obter qualquer informação adicional necessária antes de dar seu conselho. Caso contrário, apenas fará suposições com base no que é mais provável. Como diz o velho ditado, se você assumir, você faz… e entra lixo, sai lixo.

Muitas grades OpenSim têm muito espaço para melhorias quando se trata de gestão de negócios, marketing e construção de comunidades. A IA pode ajudar.

Em seguida, comece a procurar maneiras pelas quais a IA generativa possa melhorar seu produto principal. Isso pode ajudá-lo a escrever scripts e códigos? Criar objetos 3D? Criar terrenos? Gerar jogos interativos? Sugere atividades e eventos de construção comunitária? Criar avatares interativos no mundo?

Essas capacidades estão mudando muito rapidamente. Pessoas para ficar por dentro dessas coisas

Matt Wolfe , The AI ​​Advantage e Matthew Berman .

O Toshio de verdade kkkk

Introducing Devin, the first AI software engineer

And setting a new state of the art on the SWE-bench coding benchmark

https://www.cognition-labs.com/introducing-devin

Confesse, até você acreditou que a criação de um software com palavras estava longe. Pois bem, esse dia chegou e foi ontem. Hoje, com certeza, ele já melhorou, e amanhã você irá pensar, e a solução estará criada.

“Penso, logo existe.”

--

--

Thiago Toshio Ogusko

Produtor XR trabalhando na interseção de tecnologia|narrativa, arte|educação. Combinando audiovisual e desenvolvimento de experiência imersiva XR. @the.toshio