Tecnologia do INESC TEC permite assistir a concertos em 3D e escolher perspetiva mais interessante
O protótipo “Personalized Multiview Environment”, desenvolvido no Centro de Telecomunicações e Multimédia (CTM) do INESC TEC, em conjunto com a FEUP, no âmbito da linha de investigação Media, Arts & Technologies (MAT), permite experiências imersivas personalizadas apresentando ao utilizador conteúdos 3D de acordo com as suas preferências, indicadas pela área da imagem que o seu olhar foca em cada instante. Este pode ser usado em áreas como a música, a educação, a saúde ou o turismo.
Esta solução pretende, sobretudo, aumentar a qualidade de experiência dos utilizadores quando estão a consumir um conteúdo audiovisual, dando-lhes uma sensação de envolvência personalizada e assim aproximar a experiência do telespectador àquela do espectador “in loco”.
O “Personalized Multiview Environment” recorre à captação e codificação de vídeo multivista, na qual são utilizadas múltiplas câmaras de vídeo 3D posicionadas em arco ao longo da cena, de forma a captarem múltiplas perspetivas da mesma.
“O protótipo vai oferecer ao utilizador uma sensação mais realística de imersão na cena, de acordo com os seus interesses e de uma forma que lhe é transparente, fornecendo em cada instante a melhor qualidade possível com soluções cost-effective”, explica Maria Teresa Andrade, investigadora responsável por este projeto, juntamente com Tiago Costa.
A tecnologia atual “Personalized Multiview Environment” utiliza uma webcam montada no recetor, que filma o espectador, e um módulo de processamento que consegue seguir os movimentos da sua cabeça e assim perceber qual a área da imagem que prendeu a sua atenção em cada instante, enviando essa informação para o servidor.
“É como se estivesse presente no próprio local do concerto e se virasse para a sua direita ou esquerda para melhor apreciar a guitarra, o baixo ou o pianista”, refere a investigadora do INESC TEC.
Num futuro, prevê-se a utilização de um motor de inferência baseado em técnicas probabilísticas, pelas quais o servidor conseguirá prever os movimentos da cabeça do utilizador (com base em registos passados), enviando atempadamente para o cliente a perspetiva da cena com maior probabilidade de ser a desejada pelo telespectador.
Este projeto - "NORTE-07-0124-FEDER-000061" - é financiado pelo Programa Operacional Regional do Norte ("ON.2 - O Novo Norte"), do Quadro de Referência Estratégico Nacional (QREN), através do Fundo Europeu de Desenvolvimento Regional (FEDER), e ainda por Fundos Nacionais através da Fundação para a Ciência e a Tecnologia (FCT). Este protótipo foi também desenvolvido com fundos do projeto QREN-CNG (Conteúdos de Nova Geração) no qual a FEUP também é parceira.
Os investigadores com ligação ao INESC TEC referidos nesta notícia têm vínculo às seguintes entidades parceiras: UP-FEUP e INESC TEC.
