Um novo plug-in de criação de música usa inteligência de máquina para compor músicas em tempo real que combinam com o tom visual e o ritmo dos vídeos dos criadores.
Fonte: Wired
Usando o novo plug-in Dynascore baseado em IA, os produtores de vídeo podem gerar música sob medida para combinar com seus visuais. Quando o vídeo é editado, a música é instantaneamente reescrita para corresponder ao novo ritmo visual. FOTOGRAFIA: GETTY IMAGES
EM UM RECENTE demo conduzido no Zoom, eu assisti enquanto o aplicativo de composição musical Dynascore transformava todo o teor emocional de um pequeno vídeo várias vezes em menos de um minuto, tudo sem alterar um único quadro do visual. O que começou em meu breve briefing como um anúncio de treino muito sério com uma trilha sonora muito séria - algo onde você esperaria ver o suor de néon escorrendo da cabeça do atleta por trás de um logotipo do Gatorade - mudou rapidamente de tom para algo um pouco mais engraçado. O mecanismo de inteligência de máquina dentro do Dynascore trocou a música tema do filme de ação pela sombria Sonata Moonlight de Beethoven, de repente transformando o vídeo em uma comédia de humor negro.
Alguns toques do mouse do outro lado da janela do Zoom, alguns segundos de renderização, e eu estava assistindo o mesmo vídeo com uma música pop moderna agora sobreposta, igualmente adequada aos grandes close-ups na tela . Desta vez, o resultado pareceu mais um videoclipe.
Se você já produziu um vídeo, seja para um cliente pagante ou para seu próprio canal no YouTube, provavelmente está babando agora. Todos os produtores de vídeo sabem que as faixas de música - os jingles pré-fabricados, muitas vezes sem palavras comprados de uma biblioteca online - cabem como um terno emprestado. Mas quando a alternativa tem sido passar horas incontáveis editando canções mais conhecidas para ajustar o ritmo e a duração do seu vídeo, muitos editores de vídeo se contentaram com a opção fácil de selecionar um pedaço de áudio enlatado da prateleira virtual.
O software alimentado por IA da Dynascore é capaz de pegar uma peça musical composta, dividi-la automaticamente e “recompor” a canção para caber em qualquer vídeo com o qual você esteja trabalhando. Os produtores podem experimentar novas canções imediatamente. Um usuário também pode renderizar novamente qualquer uma das centenas de músicas clássicas e compostas pela casa para se encaixar perfeitamente na duração e no ritmo do mesmo vídeo, seja dentro de um plug-in Adobe Premiere Pro ou por meio do próprio aplicativo da empresa. Precisa de uma transição musical ou um golpe final para um logotipo? Sem problemas. Gosta da música, mas precisa que ela cresça mais devagar? Entendi. Como foi escrita por um compositor de IA e a música não está protegida por copyright ou foi escrita internamente pela Dynascore, cada música vem com uma licença que permite o uso global ilimitado da música.
“Eu acho isso incrível”, diz o cinegrafista profissional Joseph DiGiovanna , que passou meses testando o software antes de seu lançamento. “A verdade é que o campo de jogo foi 100 por cento nivelado”, diz ele, “O garoto com o telefone celular está apto para o mesmo emprego que eu na Vogue ”.
Limonada Socialmente Distanciada
O Dynascore não existiria se 2020 tivesse ocorrido de acordo com o planejado. Infelizmente para o músico nova-iorquino Greg Jarrett e para Yuunus Saatchi, que na época era pesquisador do Uber AI Labs, as pessoas pararam de fazer caronas em massa na mesma época que os teatros da Broadway fechavam suas portas. Para a dupla, e para muitos da equipe que ajudaria a criar o Dynascore, a vida sob o comando de Covid rapidamente se transformou em uma incerteza total.
O Uber fechou a divisão de IA líder da indústria para a qual Saatchi trabalhava, e o show off-Broadway em que Jarrett estava trabalhando como diretor musical entrou em um hiato indefinido.
“Saímos para o fim de semana pensando que estaríamos de volta na terça-feira”, diz ele, “e depois duas semanas. E então quatro semanas. E então seis meses. ”
Saatchi encontrou um novo trabalho rapidamente, graças a um encontro com o compositor Peter Lerman durante seu tempo no Uber. O irmão de Peter, Howard, é o empresário de tecnologia que fundou a Yext , uma plataforma de pesquisa baseada em IA. Uma ideia para uma ferramenta musical baseada em IA rendeu a Saatchi um emprego como parte da Wonder Inventions, uma nova empresa apoiada pelo fundador da Yext.
Eles não tiveram muito problema em encontrar músicos para compor melodias; Peter tinha conexões profundas com a cena musical de Nova York, e gente como Jarret precisava de algo para ocupar seu tempo.
Com Jarrett e um pequeno grupo de compositores, arranjadores e orquestradores licenciados da Broadway para escrever a música, a equipe técnica do Dynascore se deparou com o melhor cenário quando se tratava de talentos internos. Quem melhor para escrever peças que evocam drama visual do que aqueles que já são pagos para fazê-lo todas as noites?
O problema humano
As orelhas de ouro dos compositores humanos são realmente a chave para o sucesso final do Dynascore. O problema histórico com música baseada em IA, ou “composta por algoritmos”, de acordo com Saatchi, era que ela tentava principalmente ensinar instrumentos de software a escrever música do zero, ao invés de reinterpretar peças que já haviam sido escritas.
“Fazer música que realmente ressoa com as pessoas é um problema humano, então você tem que começar com as pessoas”, diz Saatchi. “AI é o superalimentador para os humanos.”
Nos primeiros dias do Dynascore, Saatchi e a equipe trabalharam para desenvolver uma maneira de quebrar a música original e os clássicos sem direitos autorais (pense em " Hall of the Mountain King " de Grieg ) em segmentos que eles chamam de "morphones". Eles ensinavam uma música ao AI e, em seguida, pediam para recompor algo semelhante, usando os morfones da música original como guia. Depois, eles pediam aos músicos para criticar a composição da IA.
Fazer com que a música se encaixe perfeitamente em um vídeo não é tão simples quanto separar as músicas existentes de maneiras previsíveis. As transições orgânicas requerem uma compreensão mais completa da tonalidade, ritmo e intensidade, entre outros marcadores musicais. Como tal, morphones não indicam apenas a velocidade e tom de uma música. Eles também indicam várias outras características tonais e musicais, todas as quais permitem que a IA saiba quais tipos de blocos de Lego musicais se encaixam de quais maneiras.
Depois de desenvolver o sistema de morphone, a equipe alimentava as canções de IA e fazia sua recomposição. Demorou um pouco até que se tornasse musicalmente alfabetizado o suficiente para fazer boas escolhas.
Comments