Если раньше все внимание было приковано к инструментам Windows 10 и развитию экосистемы приложений, то в этом году Microsoft полностью сосредоточилась на интеллектуальных API и новых методах взаимодействия Интернет-устройств с программными оболочками.

Как отметил Сатья Наделла (Satya Nadella), CEO Microsoft: «Приближается эра умного облака и умных устройств. Эти инновационные решения предоставляют невероятные возможности разработчикам для того, чтобы технологии были надежными и приносили пользу всем».

Microsoft Azure – движущая сила «умного облака»

Согласно прогнозам Microsoft, к 2020 году в мире будет работать более 20 млрд. «умных» устройств, которые будут иметь собственный источник обработки информации без подключения к облачному серверу. Это открывает огромные возможности для пользователей, бизнеса и образования.

Платформы Azure и Office 365 формируются умными и универсальными вычислениями. Что касается Azure, расширяется число стран с сертификацией. В рамках Azure появилось более 130 новых программных оболочек за последний год, более 70 новых будет запущено прямо на конференции, например, таких как Azure Stack.  Бренды продолжают расширять использование Azure, в ближайшее время также ожидается погружение в Azure Stack.

Искусственный интеллект 2.0

Сервис Azure IoT теперь переходит на новый уровень, теперь в нашем распоряжении Azure IoT Edge Runtime получает открытый исходный код, позволяя пользователям модифицировать, настраивать приложения для «умных» устройств.

Конференция Build 2018 огласила  множество партнерских решений. Одним из самых важных является сотрудничество с Qualcomm Technologies и DJI с созданием новых устройств на базе сервисов Azure IoT Edge.

Умная камера Qualcomm обрабатывает и анализирует часть данных непосредственно в устройстве с помощью ИИ из Azure IoT Edge, и позволяет принимать решения и оповещать специалистов о поломке не отправляя данные в облако.

Разработчики смогут создавать решения на базе сервисов Azure Machine Learning и пользоваться преимуществом аппаратного ускорения, доступного на платформе Qualcomm Vision Intelligence и в компонентах Qualcomm AI Engine.

Умный дрон DJI с поддержкой Azure IoT Edge представляет собой полностью коммерческий летательный аппарат, позволяющий обеспечить полный контроль полетами и передачу данных в режиме реального времени. В рамках сотрудничества компании DJI и Microsoft разработают решения на основе Azure IoT Edge и сервисов Microsoft на базе искусственного интеллекта, расширяя возможности в таких сферах, как сельское хозяйство, строительство, общественная безопасность и др.

Таким образом, дроны DJI смогут транслировать видеопоток на персональный компьютер и одновременно самостоятельно анализировать аномалии, отмечая проблемы. Здесь будет работать модель ИИ, обученная в облаке Azure IoT.  Это первый из сервисов Azure Cognitive Services, поддерживающий работу на «умных» устройствах.

Также на конференции отметили, что в устройствах Huawei и Xiaomi уже используются технологии искусственного интеллекта Azure, которые обеспечивают работу с данными, в том числе в оффлайновом режиме.

Возрождение технологии Kinect в новом продукте - Project Kinect for Azure

Одним из самых неожиданных анонсов стал перезапуск известного устройства для приставки Xbox One, однако теперь оно не имеет непосредственного отношение к игровой приставке.  Новый  Project Kinect for Azure представляет собой набор сенсоров с камерами, датчиками глубины нового поколения со встроенным компьютерным управлением для реализации технологии ИИ в периферийных устройствах.

Благодаря сочетанию сенсора Time of Flight с дополнительными сенсорами в энергоэффективном форм-факторе, Project Kinect for Azure будет использовать все богатство возможностей Azure AI для улучшения аналитики. Он может обеспечить отслеживание движений рук и сверхточное пространственное картирование.

Речевые технологии Speech Devices SDK & Reference Kit

Новый инструментарий для разработчиков Speech Devices SDK & Reference Kit даст возможность обрабатывать аудиоданные из источников многоканального сигнала для точного распознавания речи с шумоподавлением, воспроизведением удаленного звука и другими функциями.  Направление применения  -  сквозные системы управления заказами, бортовые и домашние помощники, а также другие виды цифровых ассистентов.

Новая платформа Project Brainwave

На конференции Build 2018 также был представлен проект Project Brainwave, который в связке с Azure Machine Learning, Intel FPGA для работы ИИ, и нейронными сетями на базе ResNet50 обеспечивает в пять раз меньше задержки работы периферийных устройств, чем необходимо для работы в реальном времени. Предварительная версия архитектуры для глубоких нейронных сетей Project Brainwave стала  доступна на Azure и периферийных устройствах.

Много изменений произошло и с когнитивными сервисами.

Azure Conversational AI обогатился более чем сотней новых Framework для кастомизации разговорных интерфейсов и встраивания чат-ботов их в разные каналы – Facebook и так далее.  Платформа Azure позволит интегрировать искусственный интеллект в диалоговые решения любого типа. Технологии Bot Framework и Cognitive Services будут использоваться для создания нового поколения диалоговых ботов, способных поддерживать более содержательные беседы и имеющих опцию кастомизации голоса и личности для соответствия образу бренда.

Кроме того, Azure Search теперь получает интеграцию с Cognitive Services, что даст возможность внедрять инструменты искусственного интеллекта в поисковые механизмы.

Компания Microsoft меняет стереотип продвижения своих технологий, теперь мы получаем интеграции со сторонними сервисами-конкурентами, ярким примером стала «дружба» голосового помощника Cortana с ассистентом Alexa компании Amazon. 

Дополненная реальность переходит в смешанную реальность

На конференции Build 2018  были представлены два новых приложения для использования API HoloKens в работе со смешанной реальностью. Microsoft Remote Assist обеспечивает пользователям возможность совместной работы в удаленном режиме благодаря видеозвонкам в смешанной реальности, обмену изображениями и аннотациям смешанной реальности.

Microsoft Remote Assist позволяет решать вопросы дистанционно. Так, например, сотрудники фронт-офиса могут делиться тем, что они видят, с экспертами в Microsoft Teams, ускоряя решение проблем и совместное выполнение задач.

Microsoft Remote Layout позволяет производить моделирование в виртуальной среде, позволяя быстрее принимать решения по выпуску новой продукции.

Microsoft Layout позволяет с помощью технологии смешанной реальности разрабатывать дизайн, учитывающий окружение, импортировать 3D-модели для создания дизайна комнаты в реальном масштабе, тестировать дизайн с помощью высококачественных голограмм в физическом пространстве или в виртуальной реальности, делиться и редактировать вместе с другими участниками в режиме реального времени.

Новые инструменты для разработчиков

В компании Microsoft совершенствуются не только технологии облачных сервисов, но и инструменты для разработчиков. Azure Kubernetes Service (AKS) упростит создание и запуск контейнерных решений.

Среда Visual Studio IntelliCode теперь предлагает интеллектуальные подсказки для улучшения качества и производительности кода.

Предварительная версия функционала Visual Studio Live Share позволяет разработчикам сотрудничать в режиме реального времени с другими членами команды, которые могут редактировать и отлаживать сервисы с помощью имеющихся инструментов, таких как Visual Studio 2017 и VS Code. Разработчики могут использовать Live Share на любом языке для любого сценария, включая бессерверные, предназначенные для выполнения в облаке, или IoT-решения.

Microsoft теперь напрямую сотрудничает с GitHub, всем пользователям GitHub теперь доступны мощности Azure DevOps. Интеграция Visual Studio App Center и GitHub обеспечит разработчикам GitHub, создающим мобильные приложения для устройств на iOS и Android, возможность бесшовной оптимизации процессов DevOps прямо из интерфейса GitHub.

Новый инструмент Microsoft Azure Blockchain Workbench упрощает разработку блокчейн-приложений путем соединения блокчейн-сети с поддержкой Azure с облачными сервисами, такими как Azure Active Directory, Key Vault и SQL Database, существенно сокращая время, необходимое для прототипирования.

Новые инструменты Microsoft 365 для пользователей

Microsoft также показала комплекс технологических возможностей для повышения мобильности сотрудников, которые позволяют использовать мобильные инструменты Windows на множестве устройств и платформ.

Новый инструмент для соединения телефона с ПК на Windows 10 предоставляет мгновенный доступ к сообщениям, фотографиям и уведомлениям. С его помощью можно одним движением перетаскивать фотографии с телефона в документ на ПК.

В приложении Microsoft Launcher app на Android появится функционал для корпоративных пользователей, включающий обнаружение бизнес-приложений и ИТ-консультации по конфигурации. Приложение Microsoft Launcher также поддерживает Timeline для запуска приложений одновременно на нескольких устройствах.

Браузерные сессии Microsoft Edge на iPhone или iPad отображаются в Timeline на ПК с Windows 10. Теперь пользователи смогут получить доступ к Timeline на iPhone с помощью Microsoft Edge.

Возможность охватывать и вовлекать новых пользователей с помощью Sets – более простого способа организовать ваши рабочие процессы и вернуться к ранним действиям. Универсальная платформа Windows (UWP) будет сразу совместима с Sets.

Adaptive Cards теперь поддерживается в Microsoft 365, позволяя разработчикам создавать интерактивный контент в сообщениях от приложений, ботов или сервисов в Teams и Outlook. Это позволит утверждать финансовые отчеты или комментировать неполадки в GitHub непосредственно в чате Teams или даже оплачивать счета из электронной почты. 

Искусственный интеллект для людей с ограниченными возможностями

В завершение своего выступления Сатья Наделла также анонсировал новую пятилетнюю программу AI for Accessibility – искусственный интеллект для людей с ограниченными возможностями, в которую компания инвестирует $25 млн. 

Целью программы является использование ИИ людьми с ограниченными возможностями. Программа включает в себя гранты, инвестиции в технологии и экспертную поддержку, а также внедрение инноваций AI for Accessibility в облачные сервисы Microsoft.

В общей сложности подытожим, что конференция Build 2018 приятно удивила благодаря количеству действительно впечатляющих анонсов!