由騰訊優(yōu)圖主辦，騰訊云、騰訊 Ai Lab 和極客邦協(xié)辦，主題為「智變未來-淺談人工智能技術(shù)應(yīng)用與實踐」的技術(shù)沙龍活動 3 月 23 日在北京舉辦，沙龍上來自騰訊、intel 的五位嘉賓就技術(shù)、產(chǎn)品、實踐和應(yīng)用等 Ai 話題展開分享。

活動一開始，騰訊優(yōu)圖產(chǎn)品負(fù)責(zé)人周可菁先為我們帶來《計算機(jī)視覺技術(shù)在智慧零售中的實踐與應(yīng)用》的分享。

近年來，隨著網(wǎng)上銷售增速放緩，網(wǎng)購競爭正式步入存量階段。2016 年智慧零售的提出，進(jìn)一步說明人們消費結(jié)構(gòu)在轉(zhuǎn)型，變得更注重線下真實體驗。同一時間，技術(shù)的快速進(jìn)步有效降低了落實智慧零售的所需成本。

智慧零售，即是以人為核心的線上—線下聯(lián)動，在場景數(shù)據(jù)化+數(shù)據(jù)網(wǎng)絡(luò)化的基礎(chǔ)上，實現(xiàn)全景數(shù)據(jù)化的洞察，從而提升商業(yè)運營效率。在此之中，計算機(jī)視覺主要扮演人-貨-場三者聯(lián)系的關(guān)鍵紐帶，從到店-逛店-購買，完成知人知面知心的AI 賦能。

周可菁簡單介紹了計算機(jī)視覺在線下運營不同階段的功能，以及所涉及技術(shù)：

過店-進(jìn)店

目的：運營、防盜

涉及技術(shù)：人臉檢測、人臉屬性分析、大規(guī)模人臉檢索

逛店

目的：細(xì)粒度客流統(tǒng)計、精準(zhǔn)定位客群屬性、軌跡熱區(qū)

涉及技術(shù)：人頭體追蹤技術(shù)方案、人體ReID 技術(shù)方案

收銀

涉及技術(shù)：人臉識別+活體檢測

第二位分享的是騰訊優(yōu)圖的AI 應(yīng)用研究高級研究員王川南，其題目為《從硬件到算法——騰訊優(yōu)圖AI 終端產(chǎn)品實踐》。

隨著計算機(jī)視覺技術(shù)的逐步成熟，催生越來越多的計算機(jī)視覺 + 硬件需求，并且廣泛被應(yīng)用至各行各業(yè)中去。由此詳細(xì)介紹了活體檢測技術(shù)的演進(jìn)之路：最初期的數(shù)字語音（唇動+語音）到后來的動作交互防翻拍，17 年優(yōu)圖推出首創(chuàng)的光線活體技術(shù)，通過屏幕發(fā)出隨機(jī)光信號同時采集圖像，可以驗證是否為人臉的三維形狀和質(zhì)感。乃至最新的 3D 活體檢測技術(shù)的廣泛應(yīng)用。

即便是效果最佳的 3D 檢測方案，在具體落地時依舊遇到不少的困難，尤其是要能適應(yīng)各種復(fù)雜光照環(huán)境，保證人臉區(qū)域的清晰，在 isp、分辨率、幀率、深度精度以及工作距離上都有相應(yīng)的要求，需要我們一起努力攻克解決。

此外，為了在讓軟件能夠更好地與硬件進(jìn)行適配，這就要求我們必須對算法終端的性能進(jìn)行優(yōu)化。為此，騰訊優(yōu)圖研發(fā)了移動端高性能前向計算框架 NCNN 以及深度學(xué)習(xí)推斷框架 RapidNet，兩者皆由騰訊優(yōu)圖自主開發(fā)，其中前者已對外開源。

NCNN 是一個為手機(jī)端極致優(yōu)化的高性能神經(jīng)網(wǎng)絡(luò)前向計算框架，其主要優(yōu)勢體現(xiàn)在：

支持卷積神經(jīng)網(wǎng)絡(luò)，支持多輸出和多分支結(jié)構(gòu)，可計算部分分支

ARM NEON 匯編級良心優(yōu)化，計算速度極快

精細(xì)的內(nèi)存管理和數(shù)據(jù)結(jié)構(gòu)設(shè)計，內(nèi)存占用極低

支持多核并行計算加速，ARM BIG.LITTLE cpu 調(diào)度優(yōu)化

可擴(kuò)展的模型設(shè)計，支持 8bit 量化和半精度浮點存儲，可導(dǎo)入 caffe 模型

而 RapidNet 則是一款深度學(xué)習(xí)推斷框架，同時擁有跨平臺、高性能、模型壓縮、代碼裁剪等眾多突出優(yōu)勢。其在各個平臺提供了統(tǒng)一的接口調(diào)用，以及同步的優(yōu)化策略。面對異構(gòu)網(wǎng)絡(luò)，RapidNet 可以有效發(fā)揮硬件加速技術(shù)，并保證多核 CPU/GPU 的任務(wù)調(diào)度。至于面對量化難點，RapidNet 可以確保手勢檢測、跟蹤等模型效果在大部分機(jī)型上提升 20%—40%，同時精度降低平均在 0.5 % 以內(nèi)。

隨后，來自騰訊 AI Lab 的高級研究員金明杰為我們帶來《基于 AI Lab 語音技術(shù)的應(yīng)用與實踐》的分享。

語音是人的聲音，機(jī)器要想理解人的聲音，通常使用的是音頻信號。而音頻信號是一個有規(guī)律的聲波的頻率、幅度變化信息載體，其關(guān)注的核心要素是采樣率、量化位數(shù)以及編碼算法。常見的語音技術(shù)展現(xiàn)形式可以分為兩種：一種是語音到目標(biāo)的信息，一種是給定信息到語音。涉及技術(shù)主要包括語音喚醒、聲紋識別、語音識別、語音活動檢測以及語音合成等。

以音箱產(chǎn)品為例，音箱通過前端接收人們說話的信號，再經(jīng)過語音喚醒，各種前端技術(shù)處理過猴，音箱把信號傳到云端，讓云端做聲紋識別和語音識別。在識別成文字后，進(jìn)而轉(zhuǎn)至語義理解，通過文本處理的方式進(jìn)行意圖識別，然后調(diào)用功能模塊，讓用戶可以聽歌曲、獲得天氣預(yù)報、聽有聲書等等，最后才是回復(fù)術(shù)語。

語音喚醒主要看 3 個指標(biāo)：FA（誤喚醒）、FR（未喚醒）以及 EER（FA 等于 FR 的狀態(tài)）。具體操作流程上，首先是要確定建模單元，然后通過一個已經(jīng)訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)訓(xùn)練模型進(jìn)行訓(xùn)練。為了保證喚醒效果，過程中我們需要保證模型在說話內(nèi)容符合時序延續(xù)、說話語序等條件的情況下才能被喚醒，至于如何進(jìn)行設(shè)置，就屬于產(chǎn)品經(jīng)驗層面的東西。語音喚醒的常見結(jié)構(gòu)主要可以分為兩種：單喚醒模型和雙喚醒模型——前者結(jié)構(gòu)簡單，然而模型復(fù)雜功耗高，一些小芯片可能會抗不??；后者結(jié)構(gòu)復(fù)雜，功耗較低，而且可以把部分喚醒模型放在云端，可避免誤喚醒情況的出現(xiàn)。

至于在前段技術(shù)方面，主要會通過麥克風(fēng)陣列來達(dá)到以下效果：

語音增強(qiáng)/去混響

聲源定位

回聲消除

語音識別技術(shù)是把人類的語音中的詞匯內(nèi)容轉(zhuǎn)換成計算機(jī)可讀的輸入，即是將音頻信號發(fā)送到云端，云端作為解碼器將會識別出結(jié)果。

解碼器負(fù)責(zé)把音頻信號轉(zhuǎn)化成建模單元的部分是聲學(xué)模型，目前比較常見的有：

DNN 網(wǎng)絡(luò)——下面輸入層，中間 N 個隱層，上面輸出層。它的計算量相對較小，非常容易部署，基本上所有的設(shè)備都可以搞定。

CLDNN 網(wǎng)絡(luò)——C 就是卷積網(wǎng)絡(luò)，L 是 LSTM 網(wǎng)絡(luò)，D 就是 DNN。這個網(wǎng)絡(luò)的優(yōu)點是快速收斂，快速達(dá)到比較好的識別效果。

最后，金明杰也為我們展望了一下語音產(chǎn)品的發(fā)展，目前有待完善的部分包括：

方言、方普

多語種混合

變聲

多人說話

活動最后，來自騰訊云大數(shù)據(jù)及人工智能產(chǎn)品中心高級產(chǎn)品經(jīng)理周吉成帶來《騰訊云人臉核身技術(shù)原理與最佳實踐》的分享。

所謂的人臉核身技術(shù)，換句話說即是實名、實人：實名，就是你的名字是合法有效的。實人，是要證明你是你。

早期我們都有這種體驗，比如說去銀行、運營商開卡都需要本人到現(xiàn)場，領(lǐng)養(yǎng)老退休金的，年紀(jì)已經(jīng)很大了，還要去社保局親自做實人證明，這些成本都非常高。此外，網(wǎng)絡(luò)辦事在當(dāng)下已經(jīng)很普遍，然而要想進(jìn)行網(wǎng)上身份驗證依然非常困難，更別說還有身份冒用的問題，以及線下場景遇到檢查卻沒帶身份證的情況。因此，無論央行、運營商還是保險行業(yè)都提倡利用 OCR 技術(shù)運用至業(yè)務(wù)流程中以提升效率，這是國內(nèi)人臉技術(shù)的應(yīng)用背景。

活體檢測方面，最典型的流程是通過遠(yuǎn)程進(jìn)行核身——第一步是身份證 OCR 識別，然后系統(tǒng)提示讀數(shù)字，以證明是在場的人，最后再錄制視頻給出最終結(jié)果，在這過程中系統(tǒng)會進(jìn)行照片比對。這個流程會嵌入到很多業(yè)務(wù)環(huán)節(jié)里，比如說身份證更新或者身份證號更改。

總的來說，活體核驗技術(shù)是一個不斷演化的過程，活體算法在落地實際場景時，實際上是一個用戶體驗與安全性上兩者相互妥協(xié)的過程。比如早期做動作交互，用戶就對此表示厭惡，認(rèn)為這種驗證模式特別傻；后來微眾銀行做讀數(shù)字，雖然安全性有所提升，用戶依然不買賬；這才有了后來的「激光守衛(wèi)」——通過屏幕反光做活體檢測以及更高安全級別的紅外、3D 結(jié)構(gòu)光照。

核身從某種程度上也要做多種模式的融合，才能有更高的安全性，即便如此，依然免不了遭遇很多「攻擊」。遇到這種情況，純粹依賴底層算法是不現(xiàn)實的。其他可考慮的方案就包括接入渠道層面做安全控制、后端風(fēng)控、人工審核或者多種活體模式的組合。