A fotografia computacional é um dos maiores presentes (e por sua vez, maldições) que a tecnologia nos trouxe. Terminais como o Google Pixel de primeira geração mostraram que o telefone pode ver ainda mais do que nósespecialmente brilhando na fotografia noturna.
Fotografar com pouca luz, no entanto, é um grande desafio. O sensor irá gerar mais ruído do que o necessário se a luminosidade for escassa e aqui duas decisões podem ser tomadas: respeitar o ruído para preservar o detalhe, ou remover o ruído (lavar a foto), perdendo detalhes. Essa última decisão é a mais popular em smartphones, e o Google já está treinando uma IA para resolver esse problema.
Google quer fotos sem ruído, mas com detalhes
MultiNerf é o projeto do Google, lançado em código aberto, para resolver o problema da fotografia noturna. Existe ainda uma certa aversão por parte dos utilizadores ao ruído digital, e Algoritmos do Google querem corrigir o problema sem carregar o detalhe das fotografias ao longo do caminho.
O Google é baseado no NeRF (Neural Radiance Fields), uma rede neural desenvolvida, em primeira instância, para gerar imagens 3D com base em conjuntos 2D. O propósito de construir no NeRF é que, a partir de uma imagem 3D a IA tem mais facilidade para analisar as informações da imagem uma vez que pode “se mover” através dele.
“Modificamos o NeRF para treinar diretamente em imagens brutas lineares, preservando toda a faixa dinâmica da cena. Ao renderizar imagens de saída bruta do NeRF resultante, podemos executar novas tarefas de síntese de visualização de alta faixa dinâmica (HDR). do ponto de vista da câmera, podemos manipular o foco, a exposição e o mapeamento de tom após o fato.”
Os algoritmos desse modelo analisam os dados brutos do arquivo RAW e usam inteligência artificial para detectar quais seriam as informações se não houvesse ruído naquela cena. Em outras palavras, eles tentam preservar os detalhes do RAW, mesmo que o ruído seja removido posteriormente.
Embora este modelo ainda esteja sendo investigado, é uma base importante para o futuro da fotografia computacional. Esperemos que dentro de pouco tempo, os Pixels comecem a implementar esta tecnologiae que se expanda para o resto dos fabricantes.
