Apple Intelligence выйдет этой осенью
На WWDC Apple представила Apple Intelligence как расширение своих возможностей искусственного интеллекта. В действии это невероятно впечатляет, и если вы позволите, это изменит вашу работу.
Возможности и амбиции Apple Intelligence сейчас ошеломляют, и она еще даже не находится в бета-версии. Этот проект, который создавался годами, может помочь вам искать видеоконтент, отвечать на персонализированные вопросы и создавать любые изображения, которые вы можете изобразить.
Основной доклад на ежегодной конференции разработчиков посвятил почти половину презентации этим функциям. После этого нам также удалось увидеть это воочию.
Как человек, которому по части работы приходится выбивать слова, я выделил инструменты для письма Apple Intelligence. Они работают везде, где есть текстовое поле.
Выделите текст, и, как и кнопки «вырезать/копировать/вставить», появятся инструменты для письма Apple Intelligence.
Вы найдете его в приложении для ведения блога, электронной почте, сообщениях или в браузере. Apple Intelligence вычитает вашу работу, перепишет ее или скорректирует тон.
Apple Intelligence может помочь вам уверенно писать
При корректуре каждое изменение будет выделено. Вы можете пройти через них по отдельности и узнать, что изменилось, или принять их все сразу.
Если вы перепишете текст, вы сможете выбрать стиль, который позволит вам по-другому взглянуть на то, что у вас было. Например, если вы передаете неприятное электронное письмо соседу, вы можете переделать его с помощью Apple Intelligence, сделав его более профессиональным, более нейтральным и тому подобное.
В нашем испытании Apple Intelligence взяла электронное письмо с заявкой на стажировку и поменяла местами вступление, восклицательные знаки и перефразировала некоторые сомнительные предложения, чтобы оно звучало гораздо более профессионально, чем было написано изначально.
В нашей демонстрации это выглядело так же хорошо, как и в программном докладе Apple. В будущем мы будем сравнивать его с Grammarly и средствами проверки грамматики и орфографии Microsoft Word.
Работа с изображениями через Apple Intelligence
Существует три основных способа работы Apple Intelligence с изображениями. Он может создавать символы Genmoji, создавать уникальные изображения на основе описания и редактировать ваши фотографии.
Автоматическое редактирование ваших фотографий уже давно назрело, поскольку Google и Samsung рекламируют возможности искусственного интеллекта для управления вашими снимками. Теперь Apple делает первые шаги на этой арене.
Цель Apple по-прежнему явно состоит в том, чтобы сохранить первоначальный замысел фотографии. Таким образом, вы не собираетесь добавлять людей, открывать чьи-то глаза, превращать плачущего ребенка в улыбающегося или что-то в этом роде.
Инструменты очистки Apple Intelligence помогают избавиться от отвлекающих факторов
Вы можете выбрать фотографию, и она автоматически отсканирует ее, выискивая отвлекающие факторы. Есть еще одна великолепная анимация, которая обрабатывает изображение и выделяет отвлекающие факторы.
Просто коснитесь любого из них, и они исчезнут, заполнив пиксели при их отсутствии. Apple приложила немало усилий, чтобы сохранить текстуры, найти края волос и другие нюансы, чтобы отредактированные изображения в «Фото» выглядели максимально естественно.
Больше всего отвлекающими факторами будут более крупные объекты, такие как люди, идущие на заднем плане, птица, влетевшая в кадр, и другие фотобомбардировщики. Пятна также потенциально можно удалить.
Это будет зависеть от различных обстоятельств, которые мы обязательно проверим самостоятельно, когда сможем. Но поскольку вы можете выбирать отвлекающие факторы вручную, что-то вроде красной точки на вашем лице, скорее всего, можно будет удалить.
Создание совершенно новых изображений — совсем другое дело. Apple даже создала специальное приложение — Image Playground — для создания этих изображений.
Создавайте изображения в трех разных стилях
Картинка может быть создана в трёх стилях — эскиз, анимация и иллюстрация. Примечательно, что фотореалистичность не входит в число вариантов.
Apple тренировала свои генеративные модели на общедоступном, лицензированном и заказанном искусстве, чтобы оно точно соответствовало тому, для чего оно было предназначено.
При создании изображения выполняется несколько проверок на наличие контента для взрослых или защищенного авторским правом. Это происходит при отправке на удаленных серверах и до отправки пользователю.
Пользователи также могут оставить отзыв, если что-то пойдет не так. Сгенерированные изображения помечаются как созданные с помощью Image Playground в данных EXIF, как мы уже обсуждали.
Image Playground позволяет создавать изображения
Нашим главным выводом после времени, проведенного с Image Playground, было то, насколько хорошо это работает. Изображения возвращались очень быстро, и когда это происходило, пользователи могли быстро переключаться между различными стилями на лету.
Если вы добавите к изображению дополнительные критерии, оно будет повторяться и разрабатывать новые. И если вы удалите что-либо, он вернется к предыдущей созданной версии.
Все это казалось веселым, легким и доступным. Мы ожидаем, что это будет наиболее очевидный инструмент, который люди будут использовать и делиться результатами, поскольку переписанный текст Apple Intelligence гораздо сложнее обнаружить.
Apple Intelligence и Siri
Начиная с iOS 18 и macOS Sequoia, Siri использует Apple Intelligence для повышения производительности, точности и возможностей голосового помощника.
Возможно, это самая существенная часть репертуара Apple Intelligence. Сегодня клиенты Apple ежедневно отправляют миллионы запросов — с переменным успехом.
Siri сможет получить доступ к вашей личной информации локально на устройстве. Это означает, что он может гораздо лучше знать о вас и ваших потребностях.
Он способен отвечать на вопросы о ваших сообщениях, электронной почте, фотографиях, видео, расписании и многом другом. Важно отметить, что ни один другой помощник ИИ не способен сделать это с такой же степенью конфиденциальности.
Все начинается с новой красивой анимации вызова.
Siri теперь анимирует края в iOS 18
При вызове с помощью боковой кнопки Apple добавила эти тонкие эффекты, которые выглядят так, будто вы нажимаете на экран. После небольшой паузы по краю дисплея распространяется красочная и живая анимация.
Это шаг вперед по сравнению со светящимся шаром. И это распространяется и на кнопки громкости.
Одно большое изменение заключается в том, насколько естественно разговаривать с Siri. Вы можете споткнуться о своих словах или даже передумать в середине запроса, и Siri поймет. Apple продемонстрировала это в своем выступлении.
Сири попросили «Установить будильник на 7 утра, извините, я на самом деле имел в виду 5:45». И действительно, будильник был установлен на 5:45.
Контекст также улучшается: помощник сохраняет осведомленность по нескольким вопросам.
Siri спросили о Сан-Франциско Джайентс, и она поняла, кто «они», когда после первоначального запроса спросила: «Когда они сыграют в следующий раз». Сири даже знала, что делать, когда мы закончили с просьбой «добавь это в мое расписание».
Эти взаимодействия внутри приложений используют App Intents, что также могут использовать разработчики. Они также придают уникальный вид каждому взаимодействию.
Дважды коснитесь нижней части экрана, чтобы ввести текст в Siri.
Каждое взаимодействие было быстрым и плавным, даже в этой неизданной бета-версии, которая была особенно впечатляющей.
Однако некоторые из этих взаимодействий будут ограничены в зависимости от используемых вами приложений. Например, вы можете вести сложные контекстно-зависимые разговоры в некоторых приложениях, таких как Apple Home.
Вы еще не можете сказать: «Включите свет в гостиной и откройте шторы на 30 процентов». Однако эти вещи появятся, и разработчики смогут сделать больше, используя App Intents.
ChatGPT отвечает на сложные вопросы
Хотя Siri, кажется, хорошо разбирается в ваших личных знаниях, бывают случаи, когда дополнительная информация оказывается полезной. Вот тут-то и вступает в игру дополнительная интеграция ChatGPT.
Как это работает, вы задаете вопрос. Сири минуту раздумывает над этим и предполагает, что ChatGPT может помочь лучше.
Затем он каждый раз явно спрашивает вас, хотите ли вы передать запрос в ChatGPT. Вопреки уже существующему нагнетанию паники, ChatGPT не причастен к каждому вашему запросу.
Если вы одобрите использование ChatGPT и только если вы это одобрите, Siri передаст ограниченную информацию о запросе. Прежде чем вернуть ответ, он включает фотографии, если это применимо.
Siri может использовать ChatGPT, чтобы отвечать на вопросы
По этому поводу следует отметить несколько важных вещей. Пользователи имеют полный контроль.
ChatGPT должен быть включен в настройках и будет запрашивать разрешение при каждом использовании. IP-адрес пользователя также каждый раз запутывается, поэтому OpenAI не может сопоставить вас с прошлыми поисковыми запросами, что Apple явно запретила в соответствии с условиями контракта OpenAI.
Наконец, OpenAI также не разрешено обучаться этим поискам.
Однако все изменится, если вы войдете в систему под учетной записью OpenAI. Если да, то вы связаны политиками, с которыми согласились при создании этого профиля.
Со временем мы увидим, изменятся ли ответы ChatGPT при входе в учетную запись OpenAI. Мы будем тестировать это по ходу лета.
Многообещающее начало, но не универсальное
Мы оставили нашу демо-версию потрясенными тем, насколько впечатляющим был Apple Intelligence. Он пронизывает всю операционную систему macOS, iOS и iPadOS и затронет множество ваших повседневных задач.
Многие из этих штрихов мы здесь не обсуждали. В основном это интеллектуальное управление почтой или сортировка уведомлений по важному признаку.
Apple Intelligence собирается только расширяться
Большинство сотрудников глубоко заинтересованы в новых функциях. Однако мы ожидаем, что эти функции будут добавлены в список ожидания.
Но, независимо от этого списка ожидания, мы не собираемся получить его на наших HomePods в 2024 году. И, вероятно, вообще не на существующих устройствах в семье.
Если у вас есть HomePod или несколько устройств, они не смогут воспользоваться преимуществами Apple Intelligence или обновленной Siri. Это распространяется и на другие устройства, такие как Apple Watch или любые неподдерживаемые компьютеры Mac или iPhone.
Тем временем вам нужно вручную вызвать Siri со своего iPhone, чтобы HomePod не взял на себя управление. Вам придется корректировать свои запросы в зависимости от устройства, с которым вы разговариваете.
Однако это всего лишь болезни роста. Будущее светлое, и у Apple Intelligence есть много возможностей для расширения.
Apple Intelligence запустит бета-версию iOS 18 этим летом, а этой осенью она будет запущена в качестве бета-функции. Он работает на всех компьютерах Mac с процессором Apple Silicon, а также на iPhone 15 Pro и iPhone 15 Pro Max.