從智慧語音助手到智慧識屏，vivo 如何將 NEX 的 Jovi 打造成手機上最貼心的「AI 助理」?

「秀肌肉」是 vivo 2018 上半年的關鍵詞。

從 1 月份在 CES 釋出全球首款螢幕指紋手機 X20 Plus UD，到 2 月份釋出集超高屏佔比、升降式前置攝像頭、半屏螢幕指紋等「黑科技」於一身的概念機 APEX，再到兩週前釋出驚豔程度不輸 APEX 的「量產概念機」NEX 以及剛剛展示的 vivo ToF 3D超感應技術，vivo 用一個個領先行業的技術在過去的幾個月持續「刷屏」。

與此同時，在最近熱門的手機 AI 領域，vivo 也做出來了不少值得一提的東西。

在今年 3 月底釋出的主力產品 X21 上，vivo 推出了叫做 Jovi（Enjoy vivo‘s AI）的 AI 助理，包含了智慧引擎、智慧場景、智慧識屏、智慧桌面、智慧駕駛在內的 5 大功能。

經過兩個多月的努力，到了 NEX 這一代產品上，vivo 對 Jovi 進行了全面的升級，大幅擴充了 Jovi 的「技能包」，更加充分地利用了手機的 AI 能力。

這一切要先從一顆按鍵說起。

一顆按鍵引發的思考

按鍵是手機互動的第一層級，它高於觸控操作，可以讓使用者在不接觸手機螢幕的情況即可完成特定的操作。

目前智慧手機中最常見的設計是電源鍵、音量加、音量減三大「金剛」，除此之外，一些手機廠商也嘗試增加額外的按鍵讓使用者更快捷地完成部分操作，比如 iPhone 上的靜音按鍵、一加手機上的三段式模式按鍵、錘子手機的「閃念膠囊」鍵、索尼手機上的實體拍照鍵、三星手機的 Bixby 按鍵。

在 NEX 的機身左側，vivo 也增加了一顆實體按鍵，叫做「Jovi AI 獨立按鍵」。

顧名思義，這顆按鍵是用來啟動 Jovi 的，具體的功能有兩個：長按啟動 Jovi 智慧語音助手，短按啟動 Jovi 智慧識屏。

Jovi 智慧語音助手

我們先從 Jovi 智慧語音助手說起。

大家知道，對於智慧手機來說，智慧語音助手早就算不上什麼新鮮功能了，蘋果早在 2010 年釋出的 iPhone 4S 上就搭載智慧語音助手 Siri。之後，谷歌、亞馬遜、微軟、三星以及眾多國產手機廠商也紛紛推出了自家的語音助手。

作為一位「新人」，Jovi 智慧語音助手有兩個特別的地方：第一個是喚醒方式，第二個是可實現的功能。

Jovi 智慧語音助手有兩種喚醒方式，第一種是按住側面的 Jovi AI 獨立按鍵同時來說話，第二種是用喚醒詞進行遠場語音喚醒。

Jovi 提供了兩個喚醒熱詞，分別是擬人的「小 V 小 V」和更加國際範兒的「Hi，Jovi」，使用者在錄入自己的語音後，即可透過自己的語音來喚醒 Jovi。為此，NEX 內建了一顆專屬的 S801 AI 語音晶片，日常使用中可以以極低的功耗待機，在聽到使用者的聲音後快速進行響應。

功能方面，除了查天氣、設鬧鐘、設定日程提醒、搜尋音樂、聽新聞等語音助手的基本功能，Jovi 智慧語音助手還可以完成包含了 app 內多個步驟的複雜指令。

以生活中常見的微信發紅包功能為例，Jovi 智慧語音助手已經可以完成「給德赫亞發 5 元紅包並留言恭喜西班牙小組第一晉級」這種操作。

這句話中，包含了開啟微信、在聯絡人中搜索「德赫亞」、點選聯絡人頭像、點擊發訊息、點選對話方塊右下角的加號、點選紅包、在金額中輸入「5」、金額下面的對話方塊中輸入「恭喜西班牙小組第一晉級」、點選「塞錢進紅包」等接近 10 個步驟。

為了實現這個複雜的指令，除了需要強大的深度自然語言理解能力，還需要在應用層和主流 app 進行打通，目前 Jovi 已經覆蓋了包括導航、社交、音樂、影片、旅行、購物、天氣、打車等在內的多個頭部 app，包括大家熟悉的百度地圖、京東、淘寶、微信、大眾點評、QQ 音樂、滴滴出行等常用 app。

除了這些 vivo 官方準備好的「技能包」，使用者還可以根據自己的需求來為 Jovi 語音助手定製屬於自己的功能。

開啟 NEX 預裝的 Jovi 語音 app，在右上角可以看到一個「教」的字樣，點開後就可以撥出 Jovi 的命令教學功能了。

在這裡，使用者可以新增專屬的語音指令，然後為它定製自己所需要的功能，目前 Jovi 可以支援單個應用內的「點選」以及「文字輸入」這兩種屬性的操作，已經可以覆蓋大部分的 app 內功能，vivo 表示之後會讓 Jovi 支援更多屬性的操作。

如果你懶得「手把手」教 Jovi，還可以直接使用 Jovi 內建的「命令廣場」功能，這裡彙集了使用者分享的自己教 Jovi 學會的語音指令。

目前「命令廣場」裡已經有了不少頗為實用的指令，比如「我要看世界盃」（開啟優酷，點選世界盃專題），「支付寶收能量」（開啟支付寶，點選更多、財富管理、螞蟻森林），「招行信用卡還款」（開啟招商銀行，點選信用卡還款）。

未來，隨著 Jovi 智慧語音助手的使用者越來越多，「命令廣場」的內容會快速得到豐富，vivo 也會選擇將受使用者歡迎的指令直接整合到 Jovi 的預設功能中，從而讓 Jovi 的功能更快速度地進行迭代和進化。

Jovi 智慧識屏

聊完 Jovi 智慧語音助手，我們來看一下 NEX 側面 AI 按鍵的另外一個功能：短按撥出 Jovi 智慧識屏。

和智慧語音助手類似，識別螢幕內容也不是什麼新功能，比較早的嘗試可以追溯到谷歌在 Android 6。0 時釋出的 Now On Tap 功能。到了 AI 時代，透過使用大量的資料對神經網路模型進行訓練，手機在影象和文字識別的速度和準確性上有了巨大的提高。

NEX 搭載的是高通最新的旗艦 SoC 驍龍 845，利用配套的 AI Engine 提供的強大的 AI 運算能力，NEX 可以快速完成對螢幕內容的準確識別。不過能識別出內容只是一個前提，Jovi 智慧識屏的不同之處在於它的「智慧」部分。

在按下這顆 AI 按鍵後，Jovi 智慧識屏能夠根據螢幕上的內容，智慧地進行識別。

當你在檢視一張花的照片的時候，Jovi 智慧識屏會識別花的名稱並給出相關的資訊。當你在看一張產品照片的時候，Jovi 智慧識屏又會識別出產品的型號並列出淘寶的購買連結。當你在閱讀文章的時候，Jovi 智慧識屏會將文字根據語義智慧地分開，方便使用者精確選擇文字。

此外，如果螢幕上包含了多種文字資訊，Jovi 智慧識屏還可以智慧地對人名地名等專有名詞、電話號碼、日常安排、快遞單號等資訊進行提取，將不同型別的資訊彙總成一個個簡潔清晰的小卡片，方便使用者查閱。

Jovi 智慧識屏還可以和更多的資訊和功能進行聯動，比如當你和朋友在微信上約看電影，Jovi 智慧識屏可以智慧地展示出最近的行程，電影的介紹資料、評分，甚至是去電影院的導航資訊，所有操作均在一個介面進行展示，大幅提高效率。

有了這些「智慧」的功能加入，Jovi 智慧識屏所能做的已經遠不是一個簡單的「識屏」，而是更加接近一個無聲的個人助理，它可以根據螢幕正在顯示的資訊給你自動「整理」出你需要的東西。

智慧場景、智慧桌面

除了 Jovi 智慧語音助手、Jovi 智慧識屏這兩個重要新增功能，Jovi 智慧場景、智慧桌面等原有的智慧功能也得到了進一步的完善。

Jovi 智慧場景位於通知欄的右上角，可以根據資訊智慧地生成卡片並在必要時推送，覆蓋的資訊有天氣、交通、日常、電影、酒店、運動、快遞、紅包、賽事等等，而智慧桌面則位於桌面負一屏，這裡包含了多種由 vivo 和第三方提供的聚合了多重資訊的卡片，其中也包括了 Jovi 智慧場景智慧生成的事件。

值得一提的是，在最近的更新中，vivo 特別優化了 Jovi 在世界盃期間的體驗。

在 Jovi 智慧場景中，使用者可以實時檢視賽事比分，也可以點選進去看實時的文字和影片直播（接入的是優酷）。此外，使用者還可以選擇自己喜愛的球隊，Jovi 會根據比賽安排提醒你觀看直播，同步賽況。

在 NEX 上，vivo 還進一步提高了 AI 對拍照相關體驗的加成。

在拍照時，NEX 可以快速識別場景然後進行針對性的引數調整，在遇到逆光場景時，NEX 可以根據場景只能選擇多幀合成張片的數量，進一步提升逆光拍照效果，可以實現高達 11。3eV 的動態範圍。

在 NEX 自帶的相簿中，vivo 也賦予了更多的 AI 元素，比如使用 AI 演算法自動將照片根據地點、時間、事件、照片親密度等維度自動聚合，基於 AI 演算法和影象識別技術提出的關鍵詞來透過關鍵詞快速搜尋照片。

AI 背後的高通 AI Engine

要實現以上這些和 AI 相關的功能，需要有一個強大的硬體平臺作為支撐，而這個支撐就是高通 AI Engine（AIE）。

今年的 2 月 21 號，在 MWC 2018 開幕前，高通正式推出了自家的人工智慧引擎 AI Engine（Qualcomm Artificial Intelligence Engine，AI Engine），用於提高裝置端（比如採用驍龍 SoC 的手機）上 AI 相關的運算能力。

AI Engine 包含了 3 個硬體和 3 個核心軟體，硬體部分為 CPU、GPU、DSP 三個部分，透過配套的驍龍神經處理引擎（NPE）軟體框架，可以幫助開發著根據任務的需要，從 DSP、GPU、CPU 中智慧選擇合適的核心。

在此基礎上，高通和多家演算法提供商聯合推出了多個利用 AI Engine 的應用最佳化，比如商湯科技和曠視 Face++提供的多種預先訓練的用於背景虛化、面部解鎖、場景識別的神經網路，虹軟提供的單攝和雙攝演算法，創通聯達針對人工智慧視覺用例和終端提供完整的解決方案，而騰訊、百度等雲服務廠商也在利用 AI Engine 進行應用最佳化。

目前支援高通 AI Engine 的 SoC 有驍龍 845、835、820、660、710，早在三月份釋出的 X21 上，vivo 就使用了驍龍 600 的 AI Engine 引擎，這也是行業最早使用 AI Engine 的智慧手機之一。而相比起驍龍 660，NEX 旗艦版上採用的驍龍 845 在 AI 效能上又有了數倍的提升，為 NEX 的 AI 功能提供了更加充裕的硬體基礎。

除了高通，在 NEX 的 AI 方案中，還可以看到很多行業頭部「玩家」的名字。

在語音方面，vivo NEX 搭載了由「婁氏公司」提供的聲音採集、話筒、音響等硬體處理晶片，這讓 NEX 成為全球唯一一家配置語音硬體晶片的手機，為 Jovi 智慧語音助手的體驗打下了更好的硬體基礎。此外，vivo 還與國內的訊飛和百度達成合作，來提高 NEX 的自然語言理解能力，讓 NEX 可以識別複雜的語音指令。

以解決使用者需求為出發點的實用派 AI

過去一年裡，手機行業有兩個趨勢最為顯著，一個是屏佔比的不斷提高，一個是全面的 AI 化。

相比起屏佔比提高帶來的視覺衝擊，手機 AI 帶來的體驗要「隱性」不少，甚至在一些手機廠商前期對 AI 的過度宣傳下，一度被不少消費者認為是個「噱頭」。不過在高通、海思等上游廠商以及 vivo 等手機廠商的聯合推動下，手機 AI 正在快速發展，AI 對使用者日常體驗的加成正在越來越明顯。

在這一波的手機 AI 大潮中，vivo 是行動最早、重視程度最高的廠商之一。在保持技術前瞻性的同時，vivo 在 AI 應用上更加強調解決使用者的實際需求。

這次 NEX 上搭載的 Jovi 智慧語音助手和 Jovi 智慧識屏就是兩個典型的應用，語音助手和識屏都不是開創性的功能，不過透過和 AI 的結合，vivo 把它落地成了更多實用的功能，讓使用者可以透過方便地按下手機側面的獨立按鍵，透過語音或識屏的方式更高效地完成很多日常生活中的高頻操作。

NEX 的 Jovi 體現了 vivo 這家樂於和使用者溝通的手機廠商在產品研發時對使用者的「關懷」，而對於現在的手機 AI 來說，這種實用派 AI 可能也是目前最合適的落腳點了。