Благодаря новым камерам Apple AR станет фотографически реалистичной
Разработчики купертинского гиганта работают над камерами для iPhone, которые умеют фиксировать направление движения света. Такая их возможность обеспечит более детализированные трехмерные изображения дополненной реальности Apple AR. Камеры, которые используются сейчас, умеют фиксировать только интенсивность света, но этого недостаточно для обеспечения высокого качества дополненной реальности.
Трехмерные изображения в настоящее время смотрятся неестественно. Причем они в дополненной реальности фиксированные. То есть их нельзя обойти или рассмотреть с разных сторон, увеличить или уменьшить.
Чтобы сделать картинку более естественной, в будущем ее построение будет реализовано с использованием большого количества различной информации. Камера определит направление, в котором движется свет, а также зафиксирует положение различных объектов в поле зрения. Кроме данных с камеры, система также задействует метаданные и другую некоторую информацию.
В недавнем патенте “Захват, обработка и отображение панорамного светового поля» говорится о том, что панорама светового поля обрабатывается системой визуализации, которая обеспечивает построение трехмерных участков сцены. Благодаря этому наблюдатель сможет исследовать сцену с разных сторон, с шестью степенями свободы.
Проще говоря, захваченное широкоугольное содержимое сцены будет визуализироваться в виртуальной реальности. Объекты в итоге будут перемещаться в соответствии с их положением в мире, а также положением относительно зрителя. Построенная картинка при этом будет выглядеть фотографически реалистичной, значительно лучше, чем привычная компьютерная визуализация, которую можно наблюдать в современных системах виртуальной реальности.
Следует отметить, что обработка информации и рендеринг требуют высокой вычислительной мощности, гораздо большей, чем, к примеру, имеет iPhone. Но, разработчики уже предложили решение этой проблемы. Ее принцип основан на задействовании облачных вычислительных систем. То есть, кадры и другая информация по воздуху будут передаваться на базовую станцию, где данные будут обработаны. Затем на смартфон будет возвращаться уже готовая картинка в сжатом виде, которая не отнимает много ресурсов.
Соответственно, базовая станция в таком случае должно обладать высокой вычислительной мощностью, чтобы качественно обработать данные и без задержки вернуть картинку на устройство с приемлемой частотой кадров. Отсюда следует, что технология работать сможет только в сетях 5G.