Мультитач управление. Мультитач: что это

Мне всегда казалось, что понятие «мультитач» - это что-то само собой разумеющееся, но, наверное, это связано лишь с тем, что всю жизнь приходится работать с теми или иными гаджетами. В последнее время пришлось несколько раз столкнуться с тем, что далеко не все представляют себе, в чем заключается эта технология и в чём могут быть её преимущества.

Написанию этой статьи поспособствовал последний случай: я отправился в магазин одной из крупных сетей за подарком для жены. Она хотела себе достаточно простой, но сенсорный телефон Samsung. С конкретной моделью я определился ещё до похода в магазин, а потому сразу сообщил что собираюсь этот телефон купить и желаю осмотреть, чтобы избежать каких-либо механических повреждений, или глюков прошивки. Всё то время, пока изучал телефон, девушка-консультант улыбчиво щебетала что-то вроде: «это будет отличным подарком… мультитач… три джи… самая популярная модель… мультитач…» (остальное не разобрал, сосредоточен был). Спросил у неё, что такое мультитач - она принялась объяснять, что это означает возможность пользоваться сенсорным экраном, выводить на него виджеты и прочее. Телефон я купил, хотя никакого мультитача там и нет. Но на моём месте мог бы быть кто-то другой, кто меньше разбирается в тонкостях сенсорных экранов и кому нужна поддержка мультитач. И ему могла бы попасться такая же девушка-консультант, которая в этом не разбирается совсем. Чтобы подобного не случилось, я постараюсь рассказать о предмете понятно и в необходимой степени подробно.

Мультитач - функция, имеющаяся во многих современных сенсорных устройствах (это необязательно планшеты или смартфоны, но будем говорить применительно к ним), которая позволяет устройству одновременно определять координаты нескольких точек касания. В видео ниже - неплохая, на мой взгляд, демонстрация технологии.

Зачем это нужно?

Наверное, все Вы видели, как на планшете Apple iPad двумя пальцами масштабируют изображение или карту: при сближении пальцев масштаб уменьшается, при увеличении расстояния между ними - увеличивается. Удобно, не спорю, но с этим можно справиться и без мультитач, нажав на соответствующую иконку одним пальцем.

Другой пример: Вы установили на своё устройство эмулятор приставки Dendy и решили сыграть в Super Mario. На экране у Вас изображен стандартный джойстик этой консоли, Вы бежите по экрану вправо, нажимаете кнопку «прыжок»… и ничего не происходит - Mario встал как вкопанный и не прыгнул. Это значит, что у Вас не мультитач. И экран не может обработать два одновременных нажатия. Super Mario - это просто пример (я надеюсь, что все в неё хоть раз играли), но достаточно большое количество современных игр требуют управления как минимум двумя пальцами, особенно учитывая тот факт, что производители всё чаще отказываются от аппаратных клавиш на своих устройствах.

Как определить, есть ли мультитач в аппарате, где не установлен Super Mario?

Во-первых: прочесть про этот аппарат во всевозможных источниках. Но тут есть одно но: бывает, что и в каком-нибудь интернет-магазине указано, что мультитач есть, хотя по факту он в устройстве отсутствует.

Во-вторых: в смартфонах и планшетах с резистивными экранами мультитач отсутствует. Если Вас кто-то пытается убедить в обратном и даже демонстрирует что-то похожее на то, о чем говорилось выше - не верьте. Да, существует возможность реализовать на резистивном экране масштабирование или поворот изображения двумя пальцами. Но: это достигается за счёт просчёта изменения взаимного расположения точек касания, а по-русски: координаты каждого отдельного пальца при этом неизвестны и в Super Mario сыграть всё также не получится.

В-третьих: попробуйте устройство перед покупкой - запустите, например, Google Maps, в нём масштабирование двумя пальцами работает только при наличии мультитач.

Пожалуй, всё. Стоит ещё отметить, что не стоит ожидать от любого планшета или смартфона с функцией мультитач того, что было показано на видео выше. Большинство бюджетных и среднего класса решений поддерживают только двухточечный мультитач, но для большинства задач этого вполне достаточно.

Не знаю как у кого, но у меня лично уважение к технологии мультитач появилось сразу же после того, как я «поигрался» с первым айфоном от Apple. По моему глубокому убеждению, именно шикарно реализованная в айфонах технология мультитач, а не грамотный пиар, обеспечили смартфонам iPhone такую феноменальную популярность.

Мультитач, можно сказать, перевернул представления о современном персональном компьютере, заменив кучу периферийных устройств, таких как клавиатура, мышка, трекбол, трекпоинт и даже стилус. На современных айфонах осталась всего одна функциональная кнопка!!! И в этом тоже заслуга мультитач. Даже сложно представить, сколько возможностей дает мультитач для пользователя. Нужна клавиатура с любой языковой раскладкой? Запусти приложения и работай прямо на экране, слегка касаясь пальчиками экрана. Маленький экран и плохо читается текст? Развел двумя пальцами по экрану и картинка увеличилась до нужных размеров. Есть желание вспомнить, как листаются страницы у книги? Опять же при помощи мультитача пальчиками перелистываешь виртуальные страницы, как будто они из бумаги, из реальной бумаги.

Победное шествие и повальное увлечение планшетами - это тоже заслуга технологии мультитач!!! Даже компьютерные подвижные игры при помощи датчика Kinect - это тоже благодаря технологии мультитач.
Так что же такое мультитач? Попытаемся рассказать и показать.

Обратимся к вездесущей Википедии…

Множественное прикосновение
Мультитач (англ. multi-touch - множественное прикосновение) - функция сенсорных систем ввода, осуществляющая одновременное определение координат двух и более точек касания. Мультитач может применяться, например, для изменения масштаба изображения: при увеличении расстояния между точками касания происходит увеличение изображения. Кроме того, мультитач-экраны позволяют работать с устройством одновременно нескольким пользователям. Они часто используются для осуществления других, более простых функций сенсорных дисплеев, таких как single touch или квази мультитач.

Multitouch-дисплей позволяет отслеживать несколько точек касания

Мультитач позволяет не просто определить взаимное расположение нескольких точек касания в каждый момент времени, он определяет пару координат для каждой точки касания, независимо от их положения относительно друг друга и границ сенсорной панели. Правильное распознавание всех точек касания увеличивает возможности интерфейса сенсорной системы ввода. Круг решаемых задач при использовании функции мультитач зависит от скорости, эффективности и интуитивности ее применения.

Multi-Touch был реализован несколькими различными способами, в зависимости от размера и типа интерфейса (экрана).

Мультитач Земной шар - Глобус сферической формы

Наиболее популярной формой мультитач-устройств являются мобильные устройства (Samsung Galaxy, большинство современных моделей смартфонов HTC, iPhone, iPad, iPod touch), мультитач-столы (например: Microsoft PixelSense (ранее назывался Microsoft Surface) и мультитач-стены. Имеются также и реализации сферических мультитач-экранов (Microsoft Sphere Project, мультитач ГЛОБУС).

Использование технологии началось с сенсорных экранов (touchscreen) для управления электронными устройствами предшественника технологии «мультитач» и персонального компьютера. Создатели первых синтезаторов и электронных инструментов, Hugh Le Caine и Bob Moog экспериментировали с использованием тач-сенсоров емкостных датчиков для контролирования звуков, издаваемых их инструментами.

История
IBM начали строить первые сенсорные экраны в конце 1960-х, а в 1972 году Control Data выпустили PLATO IV компьютер - терминал, используемый для образовательных целей, который позволял касание (single-touch) на 16 x 16 массиве в качестве пользовательского интерфейса.

Прототип х — у матрица емкостной Multi-Touch экран (слева), разработанная в CERN

Первая реализация мультитача на базе сенсорно-емкостного способа была разработана в ЦЕРН в 1977 году, на их базе емкостно-сенсорный экран разработал в 1972 году датский инженер-электронщик Bent Stumpe. Эта технология была использована для разработки нового типа Интерфейс человек-машина (HMI) для управления синхрофазотроном (англ. Super Proton Synchrotron) - ускорителя элементарных частиц (Ускоритель заряженных частиц).

В записке, датированной 11 марта 1972 года, Stumpe представил свое решение - емкостной сенсорный экран с фиксированным числом программируемых кнопок, находящихся на дисплее. Экран должен был состоять из множества конденсаторов, вплавленных в пленку или в стекло медных проволочек, каждый конденсатор должен быть построен так, чтобы поблизости находящийся проводник, такой как палец, приведет к увеличению электрической емкости на значительную величину. Конденсаторы должны были быть проволочками меди на стекле - тонкими (80 µm) и достаточно далеко друг от друга (80 µm), чтобы быть невидимым (CERN Courier апрель 1974 г., стр. 117). В конечном устройстве экран был просто покрыт лаком, который предотвращал касание пальцами конденсаторов.

В начале 1980-х годов разработка технологии Multi-touch началась по всему миру практически одновременно. Например, в 1982 году в Торонтском университете.

Сейчас различные технические воплощения технологии используются и активно продвигаются в продуктах компаний Apple, Nokia, Hewlett-Packard, HTC, Dell, Microsoft, ASUS, Samsung и некоторых других.

Хотя слово «мультитач» обычно относится к сенсорным экранам, тачпады Apple, начиная с PowerBook, также распознают жесты несколькими пальцами. В PowerBook есть особый смысл - прокрутка - лишь у параллельного движения двумя пальцами, а в MacBook, MacBook Pro и MacBook Air уже распознаются двухпальцевые повороты и разведения-сведения, а также разнонаправленные штрихи тремя и четырьмя пальцами. Также эту технологию поддерживает новая мышь компании Apple - Magic Mouse и отдельный тачпад - Magic Trackpad.

Большинство современных больших мультитач-экранов основаны на проекции. Есть также ИК-рамки (IR), которые отслеживают несколько точек касания одновременно и могут использоваться с любыми типами дисплеев. В мире существует множество производителей, запустивших в серийное производство мультитач IR-экранов различных размеров: 32”, 40”, 42”, 46”, 50”, при этом используются камеры и инфракрасная подсветка.

Большой популярностью в последнее время стали пользоваться сенсорные пленки и стекло, производители которых покрывают все возможные размеры экранов - от 17” до 50” и более.

Мультитач-устройства с маленьким размером экрана быстро становятся обычным явлением, так, например, количество телефонов с мультитач-экраном увеличится с 200 000 проданных в 2006 году до 21 млн. в 2012 году. Более надежные и настраиваемые мультитач-решения, а также увеличение количества и качества понимаемых жестов делают популярным и удобным этот вид пользовательского интерфейса.

В январе 2011 года на выставке СES-2011 была представлена вторая версия сенсорного «рабочего стола» Microsoft PixelSense (ранее назывался Microsoft Surface)), который работает под управлением ОС Miсrosoft Windows 7 и использует мультитач-интерфейс. Он также подешевел на треть и стал более доступным для массового потребителя.

Технологии
С физической точки зрения имеются следующие технологии, реализующие мультитач:
резистивные (англ. Resistive);
поверхностно-емкостные (англ. Surface Capacitive);
проекционно-емкостные (англ. Projected Capacitive: PST);
в ячейке (англ. In-Cell);
изгиба волны (англ. Bending Wave);
дисперсивного сигнала (Шаблон: Dispersive Signal (DST));
поверхностных акустических волн (англ. Surface Acoustic Wave (SAW));
инфракрасные (англ. Infrared (IR));
+ нарушенного полного внутреннего отражения (англ. Frustrated Total Internal Reflection (FTIR));
оптические технологии (англ. Optical);
+ построение оптического изображения Optical Imaging;
+ построение изображения ближнего поля Near Field Imaging (NFI).

Для работы с мультитачем наиболее популярны две технологии: проекционно-емкостная (PCT) и оптические (IR, SAW). Оптический сенсорный экран удалось сделать в домашних условиях из видеокамеры.

Kinect (компании Microsoft) использует инфракрасный передатчик для получения шаблона точек, отражающих инфракрасные лучи. Искажение этого шаблона и измерение времени, которое потребовалось для отражения всех лучей от объектов в этом пространстве, позволяет создавать точные карты глубины пространства перед камерой. Изменения обновляются 30 раз в секунду и позволяют точно обнаружить и распознать движения.

Все оптические решения зависят от влияния внешних факторов, таких как: освещенность, солнечные лучи и температура. Емкостное решение является самым надежным, но существует проблема размера экрана, так как при этом типе технологии экран является антенной, то есть, чем больше экран - тем больше антенна, а значит, и количество помех. Лидером в промышленном производстве емкостных мультитач-экранов является фирма N-Trig, которая производит экраны величиной до 17”.

Наиболее распространенные мультитач-жесты

Сдвинуть пальцы - мельче

Раздвинуть пальцы - крупнее

Двигать несколькими пальцами - прокрутка

Поворот двумя пальцами - поворот объекта/изображения/видео

Операционные системы, поддерживающие мультитач:
Windows Mobile 6.5;
Windows 7;
Windows 8;
Mac OS X;
Linux с установленным компонентом X Input 2, входящим в состав X Server 1.8;
Дистрибутивы Linux - Xandros и Ubuntu (полная поддержка, начиная с версии 10.10, частичная поддержка в 10.04) - перечисляют Multitouch в списке своих достоинств;
Apple iOS;
Nokia Symbian ^3 OS на флагманских моделях Nokia N8, Nokia C6-01, Nokia C7, Nokia E7, Nokia X7;
Google Android;
Samsung Bada;
Palm webOS;
Microsoft Windows Phone 7;
Microsoft Windows Phone 8;
BlackBerry OS 6.0;
Neprash Technology’s N-Touch Platform.

Приложения, специально разработанные под мультитач:
Microsoft Touch Pack для Windows 7:
Microsoft Blackboard;
Microsoft Garden Pond;
Microsoft Rebound;
Microsoft Surface Collage;
Microsoft Surface Globe;
Microsoft Surface Lagoon.

Windows 7 built-in:
Panning;
Paint;
Hearts/Solitaire;
Taskbar Jump Lists;
Zoom, Rotate, Panning and Flicks in Windows Photo Viewer and XPS Viewer and Windows Live Photo Gallery;
On-Screen Keyboard;
Internet Explorer 8;
Мультитач Земля (англ. Multitouch Earth);
Морская навигация (автоматическое построение оптимального пути);
Crazy Coins;
Firefox.

Сенсорный мир компьютеров и смартфонов
Самой массовой и популярной технологией мультитач является реализация ее в сенсорных экранах смартфонов, интернет-планшетов и планшетных ПК.

Сенсорный экран - устройство ввода информации, представляющее собой экран, реагирующий на прикосновения к нему.

Сенсорный экран изобрели в США в рамках исследований по программированному обучению. Компьютерная система PLATO IV, появившаяся в 1972 году, имела сенсорный экран на сетке ИК-лучей, состоявший из 16х16 блоков. Но даже столь низкая точность позволяла пользователю выбирать ответ, нажимая в нужное место экрана.

В 1971 году Сэмюэлем Херстом (будущим основателем компании Elographics, ныне Elo TouchSystems) был разработан элограф - графический планшет, действовавший по четырехпроводному резистивному принципу (U.S. Patent 3 662 105). В 1974 году он же сумел сделать элограф прозрачным, в 1977 году - разработал пятипроводной экран. Объединившись с Siemens, в Elographics сумели сделать выпуклую сенсорную панель, подходившую к кинескопам того времени. На всемирной ярмарке 1982 года Elographics представила телевизор с сенсорным экраном.

В 1983 году вышел компьютер HP-150 с сенсорным экраном на ИК-сетке. Впрочем, в те времена сенсорные экраны применялись преимущественно в промышленной и медицинской аппаратуре.

В потребительские устройства (телефоны, КПК и т.д.) сенсорные экраны вошли как замена крохотной клавиатуре, когда появились устройства с большими (во всю переднюю панель) ЖК-экранами. Первая карманная игровая консоль с сенсорным экраном - Nintendo DS, первое массовое устройство, поддерживающее мультитач, - смартфон iPhone.

Существует множество разных типов сенсорных экранов, которые работают на разных физических принципах. Наиболее популярным и удобным в мобильных устройствах являются емкостные сенсорные экраны

Емкостный (или поверхностно-емкостный) экран использует тот факт, что предмет большой емкости проводит переменный ток.

Принцип действия емкостного сенсорного экрана

Емкостный сенсорный экран представляет собой стеклянную панель, покрытую прозрачным резистивным материалом (обычно применяется сплав оксида индия и оксида олова). Электроды, расположенные по углам экрана, подают на проводящий слой небольшое переменное напряжение (одинаковое для всех углов). При касании экрана пальцем или другим проводящим предметом появляется утечка тока. При этом, чем ближе палец к электроду, тем меньше сопротивление экрана, а значит, сила тока больше. Ток во всех четырех углах регистрируется датчиками и передается в контроллер, вычисляющий координаты точки касания.

В более ранних моделях емкостных экранов применялся постоянный ток - это упрощало конструкцию, но при плохом контакте пользователя с землей приводило к сбоям.

Емкостные сенсорные экраны надежны, порядка 200 млн. нажатий (около 6 с половиной лет нажатий с промежутком в одну секунду), не пропускают жидкости и отлично терпят нетокопроводящие загрязнения. Прозрачность на уровне 90%. Впрочем, проводящее покрытие, расположенное прямо на внешней поверхности, все еще уязвимо. Поэтому емкостные экраны широко применяются в автоматах, лишь установленных в защищенном от непогоды помещении. Не реагируют на руку в перчатке.

Стоит заметить, что из-за различий в терминологии часто путают поверхностно- и проекционно-емкостные экраны. По классификации, примененной в данной статье, экран, например, iPhone является проекционно-емкостным, а не емкостным.

Проекционно-емкостные сенсорные экраны: конструкция и принцип работы

Принцип действия проекционно-емкостного сенсорного экрана

На внутренней стороне экрана нанесена сетка электродов. Электрод вместе с телом человека образует конденсатор; электроника измеряет емкость этого конденсатора (подает импульс тока и измеряет напряжение).

Особенности. Прозрачность таких экранов до 90%, температурный диапазон чрезвычайно широк. Очень долговечны (узкое место - сложная электроника, обрабатывающая нажатия). На ПЕCЭ может применяться стекло толщиной вплоть до 18 мм, что приводит к крайней вандалоустойчивости. На непроводящие загрязнения не реагируют, проводящие легко подавляются программными методами. Поэтому проекционно-емкостные сенсорные экраны широко применяются и в персональной электронике, и в автоматах, в том числе установленных на улице.

Технологий сенсорных экранов очень и очень много. Но наиболее популярной является технология проекционно-емкостного сенсорного экрана, которая реагирует на тепло наших пальцев. Есть правда и недостаток. При холодной погоде или в перчатке экран не реагирует на касание пальцев. Специально для этого придумали перчатки с подогревом.

Мультитач, о котором так много говорят в последнее время, и популярность которого только растет, не является просто типом сенсорного экрана. По своей сути, технология множественного нажатия (касания) и их интерпретации (распознавания, в том числе и жестов) программным обеспечением, является программно-аппаратным комплексом. Безусловно, мультитач не заменит полностью ни клавиатуры, ни мышки, ни других периферийных устройств ввода информации, но ведь взаимодействовать с устройством всегда будет приятнее напрямую руками или жестами и без «посредников»:)

» Небольшая про технологии мультитач уже была опубликована на Хабре в далеком октябре 2008 года. В апреле 2011 года хабраюзер описал свой опыт создания интерактивного стола . На дворе октябрь 2012 года и пора рассказать очередную порцию новостей из мира мультитач.

Введение

С момента появления на свет первого мультитач дисплея прошло 35 лет, за это время появилось множество разнообразных технологий, поддерживающих от одного до бесконечности касаний. В этой статье я расскажу про несколько распространенных методов преобразования обычного средства отображения в интерактивное устройство.

Проекционно-емкостная технология (Projected Capacitive Touch)

Принцип работы данной технологии описан в вышеуказанной статье хабраюзера meako, а так же в Википедии .
На момент написания статьи в свободной продаже находятся пленки до 100” по диагонали (для форматов 4:3 и 16:9) с поддержкой до 12 независимых касаний. Так же компанией Perceptive Pixel (недавно купленной Microsoft corp.) представлен 82” мультитач ЖК-дисплей с поддержкой неограниченного числа касаний.
Прелесть этой технологии заключается в том, что сенсорная пленка наклеивается с обратной стороны от защитного стекла, т.е. находится между средством отображения (ЖК-панель, проекционный экран, и т.п.) и стеклом, таким образом защищена от погодных условий и механических повреждений. У некоторых производителей заявлено, что толщина стекла может доходить до 20мм. Именно на этой технологии основано большинство сенсорных дисплеев/терминалов/киосков, установленных в бизнес-центрах, аэропортах, вокзалах, метро и других общественных местах.
К недостаткам данной технологии можно отнести только отсутствие возможности распознавания меток (fiducial marker, см. далее) и ограниченная площадь сенсорной пленки. Последний недостаток может быть отчасти нивелирован возможностью наклейки пленки стык-в-стык.

Оптические технологии (Optical technologies)

Данные технологии получили широкое применение у любителей DIY после выхода в свет Microsoft Surface 1.0 в мае 2007 года, и дожили до наших дней практически без изменений.
Из всего многообразия оптических методов наибольшее распространение получили следующие:

Rear Diffused Illumination (DI);
Frustrated Total Internal Reflection (FTIR);
Diffused Surface Illumination (DSI).

Прежде чем приступить к подробному описанию каждой из технологий опишу общие достоинства и недостатки, присущие этим методам.

Достоинства:

поддержка практически неограниченного числа одновременных независимых касаний (на самом деле, количество ограничено разрешением камер(ы) и мощностью компьютера);
возможность изготовить экран круглой, треугольной, шестиугольной и т.п. формы.

Недостатки:

поскольку технологии основаны на ИК-излучении определенной длины волны (см. далее), то наличие прямых солнечных лучей в зоне инсталляции недопустимо;
для установки проектора и камер(ы) требуется довольно много пространства за экраном, что не всегда является приемлемым;
необходимо разрабатывать специальное ПО, заставляющее эту систему работать, т.е. фактически писать драйвер.

Технология DI

Самый распространенный метод (из оптических), широко применяющийся в коммерческих инсталляциях в силу своей простоты и наглядности.

Подложка - оптически прозрачный материал, придающий прочность экрану.
Проектор - проектор.
ИК-прожектор - монохромный излучатель в невидимом глазу человека ИК-диапазоне.
ИК-камера - камера с установленным узкополосным фильтром, пропускающим только длину волны соответствующую длине волны ИК-прожектора.

Принцип работы следующий:

ИК-прожектора создают равномерный ИК-фон, который проходит сквозь подложку и рассеиватель, и только малая часть излучения отражается обратно.
при касании рассеивателя каким-либо предметом, отражающим ИК-излучение (рука, стилус, кружка и т.п.), в данном месте камера засекает довольно яркое пятно на сером фоне.
сигнал с камеры обрабатывает специальное ПО и на выходе выдает координаты (а иногда и форму/размер/рисунок) ярких пятен, присутствующих в заранее заданной области экрана.

Достоинства технологии:

предельная простота реализации;
возможность изготовить экран любой самой сложной формы, в т.ч. неплоской;
возможность изготовить экран любой площади.

Недостатки технологии:

самый низкий контраст изображения с камеры (среди указанных трех технологий);
возможность ложных срабатываний (при поднесении пальца к экрану, но не касаясь его, плохо реализованное и настроенное ПО может распознать это как полноценное касание).

Технология FTIR

Довольно распространенный метод, однако в коммерческих продуктах встречается крайне редко.

Рассеиватель - материал, рассеивающий поток проектора, т.е. экран обратной проекции.
Подложка - оптически прозрачный материал, среда распространения ИК-волн.
Проектор - проектор.

По периметру подложки устанавливаются линейки ИК-светодиодов, излучение которых проникает внутрь подложки и распространяется там как волна в оптоволокне (явление носит название полное внутреннее отражение). Если палец касается экрана, то из-за изменения коэффициента преломления, волна проходит дальше границы подложки и отражается (рассеивается) от пальца, и это рассеянное излучение засекается камерой. Для усиления контраста изображения с камеры между рассеивателем и подложкой наносят слой так называемого “compliant layer”, выполненного чаще всего из силикона.
Рассеянное ИК-излучение засекается камерой и обрабатывается специальным ПО.

Достоинства технологии:

самый высокий контраст изображения с камеры (среди указанных технологий);

Недостатки технологии:

не распознает метки (см. далее).

Технология DSI

Технология идентична FTIR за исключением того, что подложка выполнена из специального оргстекла.

Рассеиватель - материал, рассеивающий поток проектора, т.е. экран обратной проекции.
Подложка - специальное оргстекло Endlighten , среда распространения ИК-волн.
Проектор - проектор.
ИК-светодиод - светодиод с длиной волны лежащей в ИК-диапазоне.
ИК-камера - камера с установленным узкополосным фильтром, пропускающим только длину волны соответствующую длине волны ИК-светодиода.

Фишка Endlighten в следующем: в материале размешана металлическая “пыль” таким образом, что при подсветке оргстекла с торца, излучение рассеивается на частичках “пыли” и возникает эффект самосвечения подложки, при этом на просвет материал все равно остается прозрачным.

Таким образом, помимо распознавания нажатий технология позволяет распознавать метки.

Достоинства технологии:

возможность распознавания меток (см. далее);

Недостатки технологии:

необходимость устанавливать торцевую ИК-подсветку;
технология завязана на конкретном производителе оргстекла.

Метки (fiducials)

Метка представляет из себя плоскую фигуру, на которую нанесен рисунок, контрастный в ИК-диапазоне. Чаще всего это наклейка с черно-белым рисунком, нанесенная на реальный объект.

Пример меток.

ИК-излучение от белой области отражается, а черной - поглощается. Таким образом, в технологиях DI и DSI ИК-камера засекает рисунок, который легко распознается программным способом. В технологии же FTIR такой фокус не удастся: камера увидит только контур метки, но не ее содержание.
Ярким примером использования меток служит Reactable:

Технические детали

Рассеиватель

За время существования оптических технологий мультитач было испробовано большое количество разнообразных пленок и пластиков. Однако, самым лучшим материалом небезосновательно считается Evonik 7D006 . Небезосновательно потому, что именно такой материал использовался в Microsoft Surface 1.0.

ИК-прожектор

Подбирается из ассортимента оборудования охранных систем. На рынке представлены прожектора с двумя длинами волн: 850 нм и 940 нм.

ИК-камера

Насколько я знаю, любая ПЗС-матрица чувствительна к ближнему ИК, поэтому можно использовать любую камеру, главное, чтобы объектив был без фильтра, блокирующего ИК-излучение. Любители DIY для этих целей используют обычные веб-камеры, с которых самостоятельно снимают ИК-фильтры. Я пробовал использовать 3 камеры: PlayStation 3 Eye (классика жанра), Microsoft LifeCam Cinema, Logitech C910. Больше всего понравилась камера Logitech, которая имеет самую большую ПЗС-матрицу и легко-съемный фильтр.
Чтобы камера видела только “нужное” излучение, на объектив необходимо нанести узкополосный ИК-фильтр, пропускающий только длину волны, соответствующую длине волны ИК-прожектора. Купить ИК-фильтры можно, например, на aliexpress.com .
Из профессиональных камер чаще всего используются камеры производства компании Point Grey .

Проектор

По проектору никаких ограничений нет, главное подобрать правильное разрешение, поток и объектив. Довольно много инсталляций используют ультракороткофокусные проектора, которые располагаются очень близко к экрану, экономя пространство. Так же не стоит обходить стороной лазерно-светодиодные проектора, которые на данный момент только начинают набирать популярность, главное преимущество которых заключается в высоком сроке службы источника света (более 20 тысяч часов против 3-4 тысяч у ламповых проекторов).

Примеры коммерческих продуктов

Mediascreen MonkeyBook (на технологии DI):

Microsoft Surface 1.0 (на технологии DSI):

UPD. Технология MS PixelSence

В январе 2011 года компания Microsoft совместно с компанией Samsung представили новый Microsoft Surface 2.0.

В 2012 году, в связи с выходом планшета MS Surface, стол Surface 2.0 был переименован в SUR40.
В столе SUR40 используется фирменная технология MS PixelSence.

Технология аналогична технологии DI, за исключением того, что вместо ИК-камеры используется ИК-сенсор, «встроенный» в каждый пиксель ЖК-матрицы. Таким образом PixelSence позволяет распознавать не только пальцы, но и метки, при этом толщина конструкции сведена к минимуму.

Теги:

Как это работает
мультитач

Добавить метки

Мультитач (multitouch) - это возможность сенсорных экранов реагировать одновременно на несколько касаний. Опцией мультитач сегодня снабжаются практически все современные смартфоны и планшеты. Применяется она в большинстве своем для увеличения масштаба изображения, а также для комфортной организации процесса игр на двух и более игроков. В этой статье расскажем подробнее о том, что такое мультитач.

Мультитач - как это работает?

Мультитач - это, прежде всего, особое устройство дисплея. Что же представляет собой экран мультитач? Это стеклянная панель с нанесенным поверх резистивным слоем. По углам дисплея размещаются четыре электрода, и между ними существует определенное переменное напряжение. Когда палец касается экрана, возникает ток утечки, изменяя параметры напряжения, что позволяет определить точку касания и выполнить нужное пользователю действие.

Мультитач или сенсорный экран?

Считается, что сенсорный экран может распознать одно касание пользователя, а мультитач - несколько. Собственно, в этом и состоит разница между этими двумя типами экранов. Строго говоря, мультитач - частный случай сенсорного экрана. Однако технически создание мультитач-экрана, конечно, предполагает более сложную организацию механизма распознания касания.

Мультитач - основные функции

Самые распространённые опции мультитач:

увеличить изображение - раздвинуть пальцы;
уменьшить изображение - сдвинуть пальцы;
прокрутить - двигать несколькими пальцами поочередно;
поворот объекта - поворот двумя пальцами.

Мультитач - преимущества

Сенсорный дисплей считается наиболее комфортным способом управления устройства, а мультитач, по сути, расширяющий возможности сенсорного дисплея, конечно, поднимает планку комфорта на новый уровень и, кроме того, несколько расширяет возможности устройства. В качестве примера стоит сказать об игре Cut the Buttons, где два игрока одновременно управляют каждый своими ножницам на одном экране.

Кроме того, мультитач помогает бороться с неудобством управления большими экранами. Многие смартфоны сегодня имеют чересчур большие диагонали и дотягиваться до некоторых кнопок иногда крайне неудобно, а мультитач в некоторых ситуациях избавляет от необходимости пользоваться той или иной кнопкой. Например, на iPhone, чтобы выйти из режима просмотра фото, необходимо нажать на сенсорную кнопку "Назад", но расположена она в левом верхнем углу - не очень комфортно для пользователя. Мультитач позволяет закрыть фото, сдвинув пальцы.

У мультитач, по мнению создателя сенсорных экранов Джефа Хана, большое будущее: в частности, мультитач станет очень востребованным, когда огромные экраны для демонстрации, например, рабочих проектов станут обычной практикой.

Сенсорный экран – это устройство ввода и вывода информации посредством чувствительного к нажатиям и жестам дисплея. Как известно, экраны современных устройств не только выводят изображение, но и позволяют взаимодействовать с устройством. Изначально для подобного взаимодействия использовались всем знакомые кнопки, потом появился не менее известный манипулятор «мышь», существенно упростивший манипуляции с информацией на дисплее компьютера. Однако «мышь» для работы требует горизонтальной поверхности и для мобильных устройств не очень подходит. Вот тут на помощь приходит дополнение к обычному экрану – Touch Screen, который так же известен под названиями Touch Panel, сенсорная панель, сенсорная пленка. То есть, по сути, сенсорный элемент экраном не является – это дополнительное устройство, устанавливаемое поверх дисплея снаружи, защищающее его и служащее для ввода координат прикосновения к экрану пальцем или иным предметом.

Использование

Сегодня сенсорные экраны находят широкое применение в мобильных электронных устройствах. Изначально тачскрин применялся в конструкции карманных персональных компьютеров (КПК, PDA), теперь первенство держат коммуникаторы, мобильные телефоны, плееры и даже фото- и видеокамеры. Однако технология управления пальцем через виртуальные кнопки на экране оказалась настолько удобной, что ею оснащаются почти все платежные терминалы, многие современные банкоматы, электронные справочные киоски и другие устройства, используемые в общественных местах.

Ноутбук с сенсорным экраном

Нельзя не отметить и ноутбуки, некоторые модели которых оснащаются поворотным сенсорным дисплеем, что придает мобильному компьютеру не только более широкую функциональность, но и большую гибкость в управлении им на улице и на весу.

К сожалению, пока подобных моделей ноутбуков, называемых в народе «трансформеры», не так много, но они есть.

В целом, технологию сенсорного экрана можно охарактеризовать как наиболее удобную в случае, когда необходим мгновенный доступ к управлению устройством без предварительной подготовки и с потрясающей интерактивностью: элементы управления могут сменять друг друга в зависимости от активируемой функции. Тот, кто хоть раз работал с сенсорным устройством, сказанное выше прекрасно понимает.

Типы сенсорных экранов

Всего на сегодня известно несколько типов сенсорных панелей. Естественно, что каждая из них обладает своими достоинствами и недостатками. Выделим основные четыре конструкции:

Резистивные
Ёмкостные
Проекционно-ёмкостные

Кроме указанных экранов, применяются матричные экраны и инфракрасные, но ввиду их низкой точности их область применения крайне ограничена.

Резистивные

Резистивные сенсорные панели относятся к самым простым устройствам. По своей сути, такая панель состоит из проводящей подложки и пластиковой мембраны, обладающих определенным сопротивлением. При нажатии на мембрану происходит её замыкание с подложкой, а управляющая электроника определяет возникающее при этом сопротивление между краями подложки и мембраны, вычисляя координаты точки нажатия.

Преимущество резистивного экрана в его дешевизне и простоте устройства. Они обладают отличной стойкостью к загрязнениям. Основным достоинством резистивной технологии является чувствительность к любым прикосновениям: можно работать рукой (в том числе в перчатках), стилусом (пером) и любым другим твердым тупым предметом (например, верхним концом шариковой ручки или углом пластиковой карты). Однако имеются и достаточно серьезные недостатки: резистивные экраны чувствительны к механическим повреждениям, такой экран легко поцарапать, поэтому зачастую дополнительно приобретается специальная защитная пленка, защищающая экран. Кроме того, резистивные панели не очень хорошо работают при низких температурах, а также обладают невысокой прозрачностью – пропускают не более 85% светового потока дисплея.

Использование пера с сенсорным экраном

Применение

Коммуникаторы
Сотовые телефоны
POS-терминалы
Tablet PC
Промышленность (устройства управления)
Медицинское оборудование

Коммуникатор

Ёмкостные

Технология ёмкостного сенсорного экрана основана на принципе того, что предмет большой ёмкости (в данном случае человек) способен проводить электрический ток. Суть работы ёмкостной технологии заключается в нанесении на стекло электропроводного слоя, при этом на каждый из четырех углов экрана подается слабый переменный ток. Если прикоснуться к экрану заземленным предметом большой емкости (пальцем), произойдет утечка тока. Чем ближе точка касания (а значит, и утечки) к электродам в углах экрана, тем больше сила тока утечки, которая и регистрируется управляющей электроникой, вычисляющей координаты точки касания.

Ёмкостные экраны очень надежны и долговечны, их ресурс составляет сотни миллионов нажатий, они отлично противостоят загрязнениям, но только тем, которые не проводят электрический ток. По сравнению с резистивными они более прозрачны. Однако недостатками является все же возможность повреждения электропроводного покрытия и нечувствительность к прикосновениям непроводящими предметами, даже руками в перчатках.

Информационный киоск

Применение

В охраняемых помещениях
Информационные киоски
Некоторые банкоматы

Проекционно-ёмкостные

Проекционно-ёмкостные экраны основаны на измерении ёмкости конденсатора, образующегося между телом человека и прозрачным электродом на поверхности стекла, которое и является в данном случае диэлектриком. Вследствие того, что электроды нанесены на внутренней поверхности экрана, такой экран крайне устойчив к механическим повреждениям, а с учетом возможности применения толстого стекла, проекционно-ёмкостные экраны можно применять в общественных местах и на улице без особых ограничений. К тому же этот тип экрана распознает нажатие пальцем в перчатке.

Платежный терминал

Данные экраны достаточно чувствительны и отличают нажатия пальцем и проводящим пером, а некоторые модели могут распознавать несколько нажатий (мультитач). Особенностями проекционно-ёмкостного экрана являются высокая прозрачность, долговечность, невосприимчивость к большинству загрязнений. Минусом такого экрана является не очень высокая точность, а также сложность электроники, обрабатывающей координаты нажатия.

Применение

Электронные киоски на улицах
Платежные терминалы
Банкоматы
Тачпэды ноутбуков
iPhone

С определением поверхностно-акустических волн

Суть работы сенсорной панели с определением поверхностно-акустических волн заключается в наличии ультразвуковых колебаний в толще экрана. При прикосновении к вибрирующему стеклу, волны поглощаются, при этом точка прикосновения регистрируется датчиками экрана. Плюсами технологии можно назвать высокую надежность и распознавание нажатия (в отличие от ёмкостных экранов). Минусы заключаются в слабой защищенности от факторов окружающей среды, поэтому экраны с поверхностно-акустическими волнами нельзя применять на улице, а кроме того, такие экраны боятся любых загрязнений, блокирующих их работу. Применяются редко.

Другие, редкие типы сенсорных экранов

Оптические экраны. Инфракрасным светом подсвечивают стекло, в результате прикосновения к такому стеклу происходит рассеивание света, которое обнаруживается датчиком.
Индукционные экраны. Внутри экрана расположена катушка и сетка чувствительных проводов, реагирующих на прикосновение активным пером, питающимся от электромагнитного резонанса. Логично, что такие экраны реагируют на нажатия только специальным пером. Применяются в дорогих графических планшетах.
Тензометрические – реагируют на деформацию экрана. Такие экраны имеют малую точность, зато очень прочны.
Сетка инфракрасных лучей – одна из самых первых технологий, позволяющих распознавать прикосновения к экрану. Сетка состоит из множества светоизлучателей и приемников, расположенных по сторонам экрана. Реагирует на блокировку соответствующих лучей предметами, на основании чего и определяет координаты нажатия.

Сдвинуть два пальца вместе – уменьшение изображения (текста)
Раздвинуть два пальца в стороны – увеличение (Zoom)
Движение несколькими пальцами одновременно – прокрутка текста, страницы в браузере
Вращение двумя пальцами на экране – поворот изображения (экрана)

О пользе и недостатках сенсорных экранов

В карманных устройствах сенсорные экраны появились давно. Причин этому несколько:

Возможность делать минимальное количество органов управления
Простота графического интерфейса
Легкость управления
Оперативность доступа к функциям устройства
Расширение мультимедийных возможностей

Однако и недостатков хоть отбавляй:

Отсутствие тактильной обратной связи
Частая необходимость в использовании пера (стилуса)
Возможность повреждения экрана
Появление отпечатков пальцев и других загрязнений на экране
Более высокое потребление энергии

В результате, полностью избавиться от клавиатуры не всегда получается, ведь гораздо удобнее набирать текст с помощью привычных клавиш. Зато сенсорный экран интерактивнее, благодаря более оперативному доступу к элементам меню и настройкам современных гаджетов.

Надеемся, что этот материал поможет вам при выборе устройства с сенсорным экраном.

Обсудить на форуме