terça-feira, 30 de novembro de 2010

Relatorio Final - Mesa Multitoque Aladim

Finalizamos a mesa multitoque para o grupo Aladim da faculdade de Letras da UFMG e neste post serão colocadas as dificuldades e conclusões de todo o processo. Aconselhamos alguns posts que fizeram parte do processo de construção da mesa:

1. Tecnologia Multitoque - Uma introdução
2. Protótipo multitoque Diffuse Infrared
3. Mesa multitoque - projeto
4. Multitoque: Rodando Demo e simulador em C++
5. Acabamento da mesa multitoque
6. ReacTIVision + Firefly MV

Película de Retroprojeção

Escolhemos usar retroprojeção, e durante algum tempo colocamos a película Vikuiti da 3M, mas esta foi uma péssima escolha devido ao modelo de multitoque escolhido. Não sabemos como ela se comportaria para multitoque por LED ou LASER, mas segundo o professor Wallace Lages, quem percebeu o problema, descobrimos que a superfície Vikuiti reflete completamente todo o imfravermelho interno da mesa, consequentemente, os blobs não são detectados. A película em si, tem uma qualidade de retroprojeção incrível.


Colocação da película

A película é aplicada como um vinil sobre o vidro. Contratamos uma pessoa especializada na aplicação desse tipo de material, pois a película nos foi entregue toda amassada pela transportadora. A aplicação profissional permitiu que a retroprojeção ficasse em execelente qualidade.


Retroprojeção da película Vikuiti

Mas, como dito anteriormente, esta película não resolveu o problema, então a solução final foi a escolha de uma película branca, que imita jato de areia, mas de forma uniforme. O responsável pela colocação dessa película foi Gleison, seu contato de telefone: 9116 8907. Pegamos a indicalção dele, porque ele colocou umas telas de projeção branca para o Espaço TIM UFMG do conhecimento.

Colocação do Projetor
No primeiro projeto, tinhamos escolhido um projetor de curta distância, para que ele pudesse ser colocado virado para a tela, e a projeção seria direta. Contudo, o responsável pela compra do equipamento se confundiu, e comprou um projetor de distância de projeção normal, e fomos obrigados a colocar um espelho.

A princípio pensamos que o uso do projetor enclinado sobre a parte superior da mesa, projetando para o espelho ocuparia todo o espaço planejado de projeção. Mas o projetor na vertical, com o espelho no chão foi a solução que ocupou quase todo o espaço de projeção planejado anteriormente.


Solução final, espelho na parte inferior da mesa e projetor na vertical no canto da mesa.


Testes com projetor inclinado


Testes com projetor inclinado

Reflexão interna de IR
Optamos por 4 iluminadores IR, cada um refletindo um dos cantos da mesa. Eles foram ligados a uma fonte de 1 Ampere, e estão iluminando bem. Para a reflexão optamos por pintar a parede da mesa de branco frosco.


Pintura em Spray - após uma camada de tinta normal branca.


Superfície interna refletora


Colocação dos iluminadores

Ventilação
Para a circulação interna da mesa foram usados 4 coolers. Dois para entrada de ar, e dois para a exaustão de ar quente. Os dois que funcionam como entrada de ar frio, foram colocados na parte inferior da mesa, do lado de dentro e puxam ar de fora para dentro. Os dois que funcionam como exaustores, foram colocados do lado de fora da mesa, e na parte interna ligados a um cano que puxa o ar quente armazenado na parte superior da mesa.

Os coolers foram conectados a uma fonte de 2 amperes, e suas conexões eletrônicas são desmontáveis. Uma vez que a mesa deve ser montada e desmontada em vários locais.


Colocação dos coolers

Posicionamento da Câmera
A camera possui uma lente manual, posicionamos a mesma com visão wide no fundo e no centro da mesa. Internamente a câmera foi colocado um filtro de IR para 880nm que é a frequência de luz dos iluminadores.


Frequência do filtro IR


Solução de madeira para colocação da câmera


Posicionamento final da Câmera


Visão interna da câmera

Testes finais
Os testes finais ainda não foram realizados pois a superfície branca ainda não foi colocada. Teremos alguns videos e fotos dos testes finais em Fevereiro.


Marília Bergamo - Coordenação de montagem


Reltom Guicheney - Montagem

sábado, 16 de outubro de 2010

Tecnologia Multitoque - Uma introdução

Em 2007 a Microsoft lançou na Internet o produto Microsoft Surface, para demonstrar pesquisas da empresa em relação ao sistema de multitoque. Segundo a própria Microsoft (Surface, 2007) as pesquisas em telas multitoque foram elaboradas pela empresa desde 2001 por Stevie Bathiche e Andy Wilson. A idéia foi apresentada a Bill Gates em 2003 e protótipos foram estudados de 2004 a 2006. Em 2007, a versão a ser construída e vendida foi elaborada por Pete Thompson. A idéia é implantar esse tipo de mesa interativa em escolas, casas e ambientes de negócio, bem como em objetos como refrigeradores e muros.

A Mesa produzida pela Microsoft usa uma tecnologia chamada Diffuse Infrared - DI. A área interna da mesa é coberta por raios infravermelhos gerados por iluminadores. Câmeras são adaptadas para a captura somente de luz infravermelha. Onde o dedo ou objeto encosta na superfície, cria-se uma sobra que é detectada pela câmera e interpretada como toque. Um projetor é responsável por apresentar a imagem, e um computador ligado à câmera e ao projetor processa as informações de entrada e saída de dados.


Tecnologia DI da Mircosoft Surface

No evento TED: Ideas worth spreading 2006 (TED, 2008), que ocorreu nos EUA, na cidade de Monterey, na Califórnia, Jeff Han, da Universidade de Nova York, apresentou uma versão de baixo custo de produção de uma tela de multitoque baseada em uma tecnologia chamada FTIR, Frustrated Total Internal Reflection. Segundo Ham (2005), FTIR possibilita que raios infravermelhos colocados em paralelo com uma superfície fiquem presos a essa placa de acrílico até que um objeto ou um dedo toque a superfície e libere o raio infravermelho para que este seja percebido por uma câmera preparada para captar IR.


Tecnologia FTIR (HAM, 2005, p. 117)

A tela multitoque se diferencia de telas chamadas touch-screens por causa de sua possibilidade de múltiplos toques simultâneos. A tela de multitoque reduz a dependência da interface gráfica de interpretar somente um toque, arrastar e largar. Ela tem a capacidade de interpretar toque, arrastar e largar, mas também consegue interpretar gestos formados por conjuntos de dedos e pela pressão do toque.
Como as telas multitoques contribuem para a compreensão de gestos além de simples toques, essa característica permite que usuários usem suas mãos de forma livre para ativar a interface, o que consiste um desafio de design. Contudo, essas interfaces apresentam certo grau de instabilidade, por causa do hardware que ainda demanda pesquisa e inúmeras experimentações. Além disso, o software de captura dos raios infravermelhos consiste basicamente em bibliotecas tais como a Touchlib, disponível na comunidade NuiGroup (2008), e em contínuo desenvolvimento. Apesar de todo o trabalho de construção e programação, telas multitoques, por possuírem essa capacidade de ampliar a interpretação do toque, valem o tempo gasto em pesquisa e experimentação.

Interfaces multitoques não são ainda comercializadas, apesar de a Microsoft (Surface, 2007) anunciar que logo a mesa estará disponível em alguns centros de entretenimento. Contudo, em comunidades on-line, como o NuiGroup, pessoas trocam informações de como construir essa tecnologia e experimentam suas possibilidades. A experimentação nesse tipo de interface não seria possível sem a comunidade. Essa situação apresenta uma característica interessante em arte computacional interativa. Tal modelo de arte é amplamente diversificado, em parte, devido à filosofia de código livre e ao, de compartilhamento das técnicas.

No ano de 2009 as pesquisas (por Marilia Bergamo) que se iniciaram no mestrado da ufmg sobre multitoque tiveram uma expansão para o espaço comercial com o apoio da empresa cumplice.net, esta empresa iniciou o trabalho de pesquisa em conjunto, mas atualmente trabalha sozinha, sem integração com a Universidade. O projeto que se seguiu posterior a esta breve parceria pode ser encontrado em: www.aquainterface.com.br.

O Nuigroup divulgou, em maio de 2009 o livro: Multi-Touch Technologies. Este livro contém um apanhado geral da tecnologia e os modelos de construção possíveis.

TRADUÇÃO DO TEXTO INICIAL DO LIVRO: Multi-Touch Technologies
Multi-toque (ou multitoque) significa uma série de técnicas de interação que permitem os usuários de computador a controlar graficamente aplicações com uma série de dedos. Dispositivos Multi-toque consistem em uma tela touchscreen (e.x, displays de computadores, mesas e paredes) ou touchpad, assim como softwares que reconheçam multiplos pontos de toques simultaneos, em oposição ao modelo tradicional de touchscreen (ex. Computador touchpad, ATM), que reconhece apenas um ponto de toque.

O Natural User Interface (coneceito em que se baseia o Nui Group) e sua influencia em projetos de interface gestuais multi-toque vem trazendo mudanças chaves no projeto de hardware computacional, especialmente na criação de um “verdadeiro” sistema de hardware multi-toque (ex. Suporte para mais de dois dedos). O objetivo do NUI Group é fornecer uma plataforma aberta onde conhecimento de hardware e software pode ser trocado livremente, por essa troca livre de conhecimento e informação agora a um aumento no desenvolvimento no que se refere a hardware.

Na fronteira de hardware, NUI Group busca ser um distribuidor de recurso de informações para outros interessando em prototipar e/ou construir, com baixo custo, sistemas de alta-resolução de sistemas de hardware multi-input. Através dos esforços de pesquisa da comunidade, existe hoje um avanço nos possíveis systemas de multi-toque bem como a criação de novas técnicas que permitem não somente sistemas de hardware multitoque mas também dispositivos multi-modais. No momento existem cinco maiores técnicas sendo refinadas pela comunidade que permitem a criação de um sistema multitoque estável, são elas: Jeff Han’s pioneering Frustrated Total Internal Reflection (FTIR), Rear Diffused Illumination (Rear DI) such as Microsoft’s Surface Table, Laser Light Plan (LLP) pioneered in the community by Alex Popovich and also seen in Microsoft’s LaserTouch prototype, LED-Light Plane (LED-LP) developed within the community by Nima Mota­medi, and finally Diffused Surface Illumination (DSI) developed within the com­munity by Tim Roth.

Essas cinco técnicas estão sendo utilizadas no trabalho da comunidade principalmente no que se refere a visão computacional (câmeras). Enquanto sensibilidade ótica é a maioria das técnicas da comunidade do NUI Group existem outras tantas possibilidades de sensibilidade como proximidade, acústica, capacitância, resistência, movimento, orientação e pressão. Geralmente, vários sensores são combinados para formar uma particular técnica de sensação multi-toque.

O QUE É POSSÍVEL FAZER COM MULTI-TOQUE (texto próprio)

Porque uma interface permite uma série de varios inputs, sua maior aplicação é na área de interação compartilhada. Isto significa mais de um usuário para a interação. O que permite aplicativos de comandos onde não existe uma hierarquia ou grau de importância diferenciado entre as pessoas que estão interagindo na mesma superfície.
A interação com computadores passa a ser menos individual e tudo que exige interação é compartilhado pelo grupo.

Outra vantagem pouco explorada é a interpretação gestual. Uma vez que varios dedos podem ser reconhedidos, gestos formados por dedos poderiam ser reconhecidos pelo software.

REFERÊNCIAS BIBLIOGRÁFICAS

1. HAM, J. Y. Low-cost multi-touch sensing through frustrated total internal reflection. Portal, Symposium on User Interface Software and Technology: Proceedings of the 18th annual ACM symposium on User interface software and technology Seattle, WA, USA. SESSION: Touch, páginas 115 – 118. 2005. Disponível em: http://portal.acm.org/citation.cfm?doid=1095034.1095054. Acesso em: 15 ago. 2007.
2. NUIGROUP. Natural User Interfaces Group. Sítio on-line de comunidade virtual NuiGroup. Coordenada por: Harry van der Veen's. Disponível em: http://www.nuigroup.com/. Acesso em 22 de Abr. 2008.
3. REACTABLE. Coordenado pelo Doutor Sergi Jordà. Instrumento interativo desenvolvido pela equipe "Interactive Sonic Systems" que trabalha com um grupo de pesquisas chamado Music Technology Group dentro do Instituto de Audiovisual da Universidade de Pompeu Fabra em Barcelona, Espanha, 2005-2007. Disponível em http://mtg.upf.edu/reactable/. Acesso em: 20 abr. 2007.
4. SURFACE. Microsoft Surface 2007. Tecnologia de multitoque adquirida para o produto Surface, desenvolvida por Jefferson Y. Han em 2005. Disponível em: http://www.microsoft.com/surface/. Acesso em: 15 de Ago. 2007
5. TANGIBLE MEDIA GROUP. Sítio on-line de um grupo de pesquisas do MIT, Massachusetts Institute of Technology, coordenado pelo professor Hiroshi Ishii. Disponível em: http://tangible.media.mit.edu. Acesso em 21 de Abr. 2008.

terça-feira, 17 de agosto de 2010

Comentário sobre as pesquisas

Gostaria de informar aos usuários que toda informação que colocamos aqui é trabalho de pesquisa em andamento. Isto significa que não podemos nos responsabilizar pelo correto funcionamento do que estamos fazendo. Muitas vezes, novas postagem corrigem dados de pesquisa anterior, e nem sempre significa a melhor solução.

sexta-feira, 2 de julho de 2010

ReacTIVision + Firefly MV

Durante dois dias quebrei a cabeça para entender porque o software reacTIVision não encontrava a câmera Firefly MV (modelo firewire P&B).

A Firefly MV é uma camera de hardware fechado, ou seja, até mesmo para ter acesso ao apoio técnico deles é necessário se cadastrar no site e enviar o número de série da câmera comprada. No site, depois de cadastrada, fiz download do software de instalação da câmera. Instalei o software original da câmera no modelo default, que instala os drivers e também o SDK. Fiz conforme mandava o manual. Contudo ao iniciar o reacTIVision este falava "câmera não encontrada".

As tentativas foram muitas, desde a consulta do forum Firefly+reactivision on MAC, até o vasculhar minusciosamente o código do reacTIVision. Até que percebi que o windows como um todo não enchergava a câmera. Então ao invez de instalar o software no modo default, instalei somente os drivers. Resultado, camera encontrada pelo reacTIVision.

sexta-feira, 25 de junho de 2010

Acabamento da mesa multitoque

Estamos finalizando as compras do material de acabamento da mesa multitoque DI. Ocorreram pequenas alterações do projeto inicial, alteramos a forma como o bancos serão construídos e o modelo de superfície de projeção.

Abaixo uma imagem das modificações da marcenaria da mesa, os bancos utilizaram um reforço horizontal, e não em curva como o post anterior, o marceneiro afirmou que assim seria mais seguro para a circulação das crianças sobre eles. Devido a alterações na superfície de projeção, também alteramos o espaço interno da tampa.



Quanto a superfície de projeção as mudanças foram muitas, devido ao reinicio da pesquisa por parte do grupo. Quando foi feita a mesa multitoque do Espaço do Conhecimento TIM-UfMG, a superfície de toque e projeção foi produzida por uma empresa, e o material de desenvolvimento não foi explicado para o grupo. Não houve troca de informações, neste sentido. Consequentemente, não sabemos exatamente qual material de projeção foi usado lá. Mesmo assim, fomos até lá testar o desenho, Eu, Ricardo e Ana.


imagem da projeção do desenho

Como dito anteriormente, tivemos que reiniciar a procura do acrílico de retroprojeção na Internet, encontramos os seguintes importados: PLEXIGLAS e EVONIC estes não estão disponíveis para entrega no Brasil, pelo menos é o que afirmam os sites dos fonecedores, não sei se um conversa direta permitiria a entrega.

Optamos então por buscar um representante nacional, e encotramos as seguintes soluções na 3M, Acrílico de retroprojeção Vikuti, e filme de retroprojeção Vikuti. Ligamos diretamente para a 3M que nos passou o seguinte fornecedor em Belo Horizonte - Promix (fica na Don Pedro II, 4276, 3412-7066), e Vinilsul em São Paulo. Nenhum dos dois trabalha com a venda do acrílico pronto, somente com o filme. Optamos pelo vendedor de São Paulo, que permitiu a compra de um pedaço do filme e não o rolo inteiro. O fornecedor de Belo Horizonte vende somente o rolo inteiro do filme, mas não cobra transporte e ao ir a loja é possível visualizar o showroom do filme projetando um desenho animado. Muito interessante...Percebemos que o nível de contraste irá diminuir um pouco em relação aos testes realizados no Espaço Tim-Ufmg do conhecimento.

O filme de projeção será aplicado manualmente por nós, e deve ser aplicado em um vidro transparente e temperado de 8mm de espessura. Este vidro é encaixado na tampa. Por cima da tampa uma moldura de acrílico preto de 2,8mm de espessura será aparafusado no topo da mesa.

quinta-feira, 20 de maio de 2010

Mesa multitoque - projeto

Fizemos um projeto inicial do desenvolvimento da mesa multitoque. Esta mesa deve ser desmontável, pois ela poder ser utilizada durante alguns meses em um local e depois em outro.

Abaixo algumas imagens do projeto.













quinta-feira, 13 de maio de 2010

Multitoque: Rodando Demo e simulador em C++

Nesse post iremos reportar um pequeno desafio de inicializaçao do processo de programação. No projeto Tim-Ufmg todo o processo de programação foi tercerizado, agora para o Aladim toda a pesquisa está aberta e iremos divulgar o máximo possível.

Para iniciar a programação partimos dos arquivos TUIO_Simulator.zip e TUIO_CPP.zip, disponíveis em reacTIVision files.

O TUIO_Simulator é um aplicativo pronto e deve ser rodado simplismente com um duplo clique em seu executável. Enquanto o TuioSimulator.exe roda em paralelo podemos abrir o arquivo tuio.sln - Arquivo de Microsoft Visual C++ express. O conjunto de arquivos tuio client deve ser incluido como um projeto na IDE para que funcione corretamente, no caso o arquivo sln já abre todo o projeto. Mande rodar o debug na seta verde >.

O windows pede para desbloquear durante os dois momentos.

Quando a mensagem esperando resposta da porta 3333 aparece, comece a usar o TuioSimulator, e os valores x e y dos toques apareceram normalmente, bem como os exemplos de TUIO.

sexta-feira, 23 de abril de 2010

Protótipo multitoque Diffuse Infrared

Estamos trabalhando na construção de mais uma mesa multitoque, mas dessa vez com características diferentes da usada no Espaço TIM-UFMG.

Essa segunda mesa será desenvolvida para o projeto Aladim, que trabalha com crianças na fase de alfabetização. Temos a necessidade de trabalhar não somente com o uso dos dedos e gestos, mas também com pequenas peças que irão interagir com o ambiente virtual projetado na mesa.

Pela nossa experiência anterior sabemos o quão robusto é o uso de lasers para a obtenção de blobs - imagem do toque capturado pela câmera. Contudo, o uso de lasers para a superfície multitoque não permite a leitura de um desenho pela câmera e o reconhecimento do mesmo. Portanto, nesse projeto optamos pela opção Diffuse Infrared - que é a iluminação interna da mesa com luzes infravermelhas. Para saber mais sobre as tecnologias multitoque acesso o documento desenvolvido pelos colaboradores do nuigroup.

O desenvolvimento da interface será em duas etapas. A primeira um protótipo funcional, sem projeção, um tanto instável para uso interno do grupo de programadores do curso Matemática Computacional - Luis Moreno, Victor Pacheco e Lucas Leite.

A segunda o desenvolvimento da mesa por meio de uma prototipação vertical - onde iremos desenvolver o móvel e faremos os ajustes sempre na mesma peça até que se torne o produto final.

A primeira etapa já foi concluída, finalizamos esse protótipo usando uma caixa de papelão, tecido branco refletor, dois iluminadores IR, uma webcam Vx-600 e um vidro jateado.

Os iluminadores possuem um sensor de luz que só permite o funcionamento no escuro. Para evitar que eles desligassem tampamos com fita isolante os sensores de modo que as luzes IR estejam sempre acesas.

Por sua vez, a webcam também foi modificada. Retiramos o filtro IR que vem do fabricante e colocamos um pedaço de negativo velado em seu lugar. Sabemos que esse não é o filtro ideal, pois os iluminadores emitem luz na frequência de 850nm, e somente um filtro da mesma frequência permite que a leitura da câmera seja menos sensível ao ambiente. O Filtro correto somente será usado no protótipo/produto final.

A superfície da caixa de papelão foi coberta com o pano branco, para refletir as luzes emitidas pelo iluminador. E no topo foi colocado um vidro jateado. Vejam as imagens a seguir:


Imagem 1 - Visão de disposição dos iluminadores e câmeras.


Imagem 2 - Caixa de papelão forrada com pano branco.

A disposição dos iluminadores é o ponto mais importante desse tipo de interface multitoque DI. Apontando os iluminadores para os cantos garante melhor distribuição da luz. Esse protótipo possui apenas 70x55cm, por isso somente dois iluminadores foram o suficiente, mas para o protótipo/produto final serão necessários quatro iluminadores.

Essa mesa usará a tecnologia do Reactivision - desenvolvida para a instalação Reactable. Que inclui a leitura dos dedos, mas também dos fiduciais - padroes de ilustrações que são reconhecidos pelo software.


Imagem 3 - Padrão de fiduciais no topo do protótipo

Abaixo o reconhecimento do padrão com o aplicativo reactivision aberto à esquerda e à direita um aplicativo cliente em processing fornecido por uma plataforma indepentente.



Concluimos assim a primeira etapa de prototipação da mesa. Na segunda etapa teremos que avaliar outros dados, como tonalidade da projeção, largura da projeção e desenho das ilustrações. Nesse projeto contamos com dois ilustradores - Ricardo Tokumoto e Ana Carolina, ambos da Escola de Belas Artes da UFMG.

No desenvolvimento do protótipo estão trabalhando Marília Bergamo e Relton Guicheney.

O projeto Aladim é coordenado pela professora Carla Coscarelli - Faculdade de Letras.

quinta-feira, 1 de abril de 2010

instalação multimídia ‘Mariposas’ em Tiradentes

Aberta terça dia 16 de março a mostra Mariposas, com curadoria de Chico Marinho. Ela fica por um mês aberta para o público. A Casa da Câmara de Tiradentes, na subida para a Matriz abriga 3 nichos com instalações digitais.


A mostra abriu durante evento da UFMG apresentando à comunidade os projetos que vai desenvolver na cidade, entre eles um Laboratório de Pesquisa em novas mídias digitais.

No teto do salão principal uma projeção dupla forma uma imagem no teto da casa, nos moldes das pinturas de teto das igrejas barrocas. Ao centro são exibidas duas séries de vídeos. As Videocrônicas das Cidades Históricas de Álvaro Andrade Garcia e Videopoemas de Chico de Paula. Na moldura composições de Chico Marinho. O software é o Sítio, da Ciclope, agora com mais um plugin, capaz de interagir com movimentos da mão no espaço, através de sensores infravermelhos.


Sob o teto há uma pequena capelinha com dois sensores, um de cada lado. Ao se aproximar e afastar a mão de um deles é possível folhear e adiantar velozmente as molduras. Com a outra mão é possível brincar de pintar o teto, modificando a cor das imagens.


Ao redor das videocrônicas quadras poéticas, brincando com o espírito yin yang do barroco, com seus contrastes e céus por desabar.


Ouro Preto Guignard, Chuvas Barrocas em Tiradentes e Milho Verde, poemas de Cora Coralina com seu museu em Goiás, Serra da Piedade, Caraça, Itacolomi, rio das Velhas…


São exibidos também Videopoemas de Chico de Paula, da Arquipélago.


A instalação Dente de Leão, de Chico Marinho, Francisco Chavess e Jalver Bethônico, é uma graça. Soprando um microfone camuflado de flor, sopramos a imagem na janela. Voam as sementes, um poema surge na tela e sons pontuam o momento.


As Mariposas, de Chico Marinho, com uma bengala de cobre os visitantes tocam em contatos de cobre numa peça de madeira, acendendo luzes numa projeção no teto.


As mariposas que voam usando algorítmos de ‘comportamento de bando’, ao ver a luz, mudam sua trajetória e voam até ela.