Компания Google представила технологию Project Astra, которая превращает камеру обычного смартфона в умного помощника, способного в реальном времени обучать детей школьным предметам. Разработкой занимается подразделение Google DeepMind, создающее универсального ассистента, который умеет видеть, слышать и анализировать всё, что происходит вокруг пользователя.
Как ИИ учит через камеру телефона
Технология работает без скучных текстовых чатов. Ребенок просто наводит камеру смартфона на учебник, тетрадь с домашней работой или любой предмет в комнате, а искусственный интеллект мгновенно включается в процесс.
-
Виртуальная доска прямо на экране. На примере химии разработчики показали, как Astra распознает формулы в учебнике и подсвечивает на экране ключевые элементы, например, хиральный центр молекулы.
-
Исправление ошибок на лету. Если ребенок решает задачу на бумаге, ИИ следит за движением ручки через камеру. Ошибку в расчетах он аккуратно обведет виртуальным маркером на экране и голосом подскажет, где именно закралась неточность.
-
Объемные 3D-модели. По первому запросу Astra строит интерактивные трехмерные модели прямо поверх изображения реального мира. Молекулу или деталь механизма можно рассмотреть со всех сторон, приблизить и покрутить пальцем на экране.
Почему это меняет подход к учебе
Главная проблема обычных домашних заданий — соблазн просто списать готовое решение из интернета. С новыми технологиями этот фокус не пройдет. В основу образовательного процесса Google заложила семейство моделей LearnLM, которые обучены профессиональным педагогическим методикам.
ИИ общается с ребенком по сократическому методу. Вместо того чтобы выдать готовый ответ на сложный вопрос, алгоритм задает наводящие вопросы и подталкивает ученика к самостоятельному решению. Если тема дается тяжело, ребенок может попросить ИИ объяснить все «на пальцах» или привести пример из повседневной жизни — система мгновенно перестроит сложность языка под возраст слушателя.
При этом ИИ обладает мультимодальной памятью. Можно показать ему схему в начале занятия, убрать ее, а через десять минут спросить: «Помнишь ту деталь на чертеже? Расскажи о ней подробнее». Ответ последует мгновенно, так как система держит в уме весь контекст урока.
Контекст
Сейчас Google активно переносит функции распознавания видео через камеру и анализ происходящего на экране в свой голосовой режим Gemini Live на Android. Сначала эти опции тестировали только на платных тарифах, но теперь режим трансляции с камеры постепенно открывают и для бесплатных пользователей.
В перспективе разработчики планируют полностью уйти от необходимости держать смартфон в руках. Финальная цель Project Astra — интеграция со легкими смарт-очками дополненной реальности (AR). В таком сценарии формулы, подсказки и объемные модели будут появляться прямо перед глазами ребенка, не отвлекая его от реальной тетради и письменного стола.
