摘要

繼去年 5 月在行業(yè)率先推出首款面向物聯(lián)網的 AI 芯片??雨燕（Swift）及其系統(tǒng)解決方案之后，1月2日，國內領先的人工智能企業(yè)云知聲在京召開新聞發(fā)布會，正式公布了其多模態(tài) AI 芯片戰(zhàn)略與規(guī)劃。會上同步曝光了其正在研發(fā)中的多款定位不同場景的 AI芯片，包括第二代物聯(lián)網語音 AI 芯片雨燕 Lite、面向智慧城市的支持圖像與語音計算的多模態(tài) AI 芯片海豚（Dolphin），以及面向智慧出行的車規(guī)級多模態(tài) AI 芯片雪豹（Leopard）。

繼去年 5 月在行業(yè)率先推出首款面向物聯(lián)網的 AI 芯片??雨燕（Swift）及其系統(tǒng)解決方案之后，1月2日，國內領先的人工智能企業(yè)云知聲在京召開新聞發(fā)布會，正式公布了其多模態(tài) AI 芯片戰(zhàn)略與規(guī)劃。會上同步曝光了其正在研發(fā)中的多款定位不同場景的 AI芯片，包括第二代物聯(lián)網語音 AI 芯片雨燕 Lite、面向智慧城市的支持圖像與語音計算的多模態(tài) AI 芯片海豚（Dolphin），以及面向智慧出行的車規(guī)級多模態(tài) AI 芯片雪豹（Leopard）。

5G 推動 AIoT 落地，多模態(tài) AI 芯成必然

云知聲創(chuàng)始人/CEO 黃偉認為，當前我們正處于 5G 爆發(fā)的邊緣，5G 與人工智能的結合將真正促使萬物智聯(lián)（AIoT）的落地與實現(xiàn)?？梢灶A見的是，未來巨量的多維數(shù)據(jù)（如語音、圖像、視頻等）集中處理與邊緣式分布計算的需求，勢必將進一步挑戰(zhàn) AI 底層支持硬件??芯片的計算能力。

與此同時，AIoT 場景下人工智能應用對于端云互動有著強需求。強大的云會讓端能力更強，而強大的端則可提升數(shù)據(jù)處理的實時性和有效性，進而增強云的能力。二者需要緊密結合，這要求對芯片設計和云端架構進行統(tǒng)一考量。傳統(tǒng)的通用方案架構由于在高實時性、高智能化場景中的算力有限，且無法平衡好成本、功耗、安全性等諸多現(xiàn)實需求，因此具備多維度 AI 數(shù)據(jù)集中處理能力的多模態(tài) AI 芯片將成必由之路。

黃偉同時指出，面向 5G 萬物智聯(lián)時代，人工智能服務需提供更加場景化的解決方案，云+芯一體化的服務模式將成為行業(yè)主流。基于此，他進一步對傳統(tǒng) SOC（System On Chip）概念提出全新定義，其中 S 代表不同的 AI 服務能力即 Skills，O 代表云端與邊緣側的互動 On/off Cloud，C 代表具備智能處理能力的 AI 芯片。

從 IVM 到雨燕，云知聲的造芯之路

云知聲 2014 年開始切入物聯(lián)網 AI 硬件芯片方案（IVM），并于 2015 年開始形成量產出貨，其中家居領域客戶覆蓋格力、美的、海爾、長虹、海信、華帝等幾乎所有國內一線家電廠商。在深入場景提供服務的過程中，為彌補通用芯片方案在給定成本和功耗條件下的能效比問題，以及在邊緣算力、多模態(tài) AI 數(shù)據(jù)處理方面的能力短板，2015 年云知聲正式啟動自研 AI 芯片計劃。

去年 5 月16 日，云知聲正式發(fā)布了旗下耗時近三年自主研發(fā)打造的首款物聯(lián)網 AI 芯片。該芯片采用云知聲自主 AI 指令集，擁有具備完整自主知識產權的 DeepNet1.0、uDSP（數(shù)字信號處理器），并支持DNN/LSTM/CNN等多種深度神經網絡模型，性能較通用方案提升超 50 倍。

發(fā)布芯片后僅四個月，云知聲便選擇將基于雨燕的解決方案進行開源，于去年 9 月正式推出智能家居、智能音箱的兩套標桿解決方案。通過"云端芯"結合，提供給客戶與合作伙伴面向具體場景的軟硬件一體化 Turnkey 解決方案，可讓客戶站在更高的設計起點、以更低的成本，在更短的時間周期內打造出更穩(wěn)定可靠的產品。同時，開源的方案也可確?？蛻艋谝烟峁┑?AI 能力自行設計其它各種長尾產品形態(tài)，構建更為豐富的 AIoT 生態(tài)。

目前，基于雨燕芯片的全棧解決方案已導入的各類方案商及合作伙伴已超過 10 家，包括美的、奧克斯、海信、京東、360、中國平安、硬蛋科技等，相關產品最早將于Q1 量產上市。

物聯(lián)網 AI 芯片的多模態(tài)演進之路

在第一代 UniOne 芯片雨燕的發(fā)布會上，云知聲聯(lián)合創(chuàng)始人李霄寒曾指出， UniOne 并不是一顆芯片，而是一系列芯片，代表了云知聲對于物聯(lián)網 AI 芯片發(fā)展戰(zhàn)略的整體構想。在今日舉行的云知聲 2019 多模態(tài) AI 芯片戰(zhàn)略發(fā)布會上，李霄寒再次從三方面論證了物聯(lián)網多模態(tài) AI 芯片的必要性。他認為，當前物聯(lián)網產品線的 AI 芯片越來越明顯地體現(xiàn)出三個趨勢：

首先是場景化。芯片設計正在由原來的片面追求 PPA ，即性能（Power）、功耗（Performance）和面積（Area）逐漸演變成基于軟硬一體，甚至包括云端服務的方式來解決某個垂直領域的具體問題，芯片本身上升成為整個解決方案中的重要部分，而非唯一；

其次，端云互動。在物聯(lián)網的不同應用場景下，海量終端設備要實現(xiàn)功能智能化必須端云配合，即形成邊緣算力和云端算力的動態(tài)平衡。端云互動的命題需要 AI 芯片的強有力支持，進一步也深刻影響到芯片的設計，以及最終的交付；

再者，數(shù)據(jù)多模態(tài)。在以 5G 驅動的萬物智聯(lián)場景下，芯片所接觸到的數(shù)據(jù)維度將由原來的單一化走向多元化，芯片所需處理的數(shù)據(jù)也由單模態(tài)變成多模態(tài)，這對芯片尤其是物聯(lián)網人工智能芯片的設計提出了新的挑戰(zhàn)。

結合以上三點，李霄寒認為，物聯(lián)網 AI 芯片的最終呈現(xiàn)形式將不再是一個單一的硬件，而必然是承載著邊緣能力與云端能力的多模態(tài) AI 軟硬一體解決方案。

云知聲多模態(tài) AI 芯片技術布局

為實現(xiàn)多模態(tài) AI 芯片的戰(zhàn)略落地，目前云知聲已在加速技術布局，并在機器視覺方面取得飛速進展。其中，面向機器視覺的輕量級圖像信號處理器已可實現(xiàn)在不依賴外部內存的情況下，在 30 fps 的速率下實時對傳感器的圖片進行預處理，以進一步提高后續(xù)機器視覺處理模塊的處理速度和效果。借助基于人臉信息分析的多模態(tài)技術，已可實現(xiàn)人臉/物體識別、表情分析、標簽化、唇動狀態(tài)跟蹤等功能，可為產品交互和用戶體驗提供更多的可玩性和靈活性。

尤為值得一提的是，云知聲多模態(tài)人工智能核心 IP??DeepNet2.0 的發(fā)布，標志著云知聲人工智能處理核心由 1.0 語音時代全面邁入 2.0 融合語音、圖像等處理能力的多模態(tài)時代。DeepNet2.0 可兼容 LSTM/CNN/RNN/TDNN 等多種推理網絡，支持可重構計算與 Winograd 處理，最高可配置算力達 4T，達行業(yè)一流水平。目前云知聲 DeepNet2.0 已在 FPGA 上得到驗證，將在 2019 年落地的全新多模態(tài) AI 芯片海豚（Dolphin）上落地。

除此之外，在圖像與芯片技術的產學研合作方面，云知聲還與杜克大學所領導的美國自然科學基金旗下唯一人工智能計算中心??ASIC 達成深度合作，致力于 AI 芯片算法壓縮與量化技術,以及非馮新型 AI 芯片計算架構研究，將進一步為云知聲多模態(tài) AI 芯片戰(zhàn)略的推進夯實基礎。

三款在研芯片曝光，2019 年啟動量產

在首款量產芯片雨燕已有大批客戶導入，占領市場先發(fā)優(yōu)勢的背景下，2019 年云知聲在芯片落地規(guī)劃方面仍將保持積極態(tài)度。

李霄寒透露，在持續(xù)迭代升級現(xiàn)有雨燕芯片的性能與服務之外，目前云知聲多款面向不同方向的芯片也已在研發(fā)中，包括適用性更廣的超輕量級物聯(lián)網語音 AI 芯片雨燕 Lite，集成云知聲最先進神經網絡處理器 DeepNet2.0，可面向智慧城市場景提供對語音和圖像等多模態(tài)計算支持的多模態(tài) AI 芯片海豚（Dolphin），以及與吉利集團旗下生態(tài)鏈企業(yè)億咖通科技共同打造的面向智慧出行場景的多模態(tài)車規(guī)級 AI 芯片雪豹（Leopard）。以上三款芯片計劃于 2019 年啟動量產。

目前，依托在家居、車載等真實場景下豐富的產品經驗，以及具備先發(fā)優(yōu)勢的 AI 芯片能力，云知聲將業(yè)務覆蓋到包括智能家居、智能汽車、智能兒童機器人、智慧酒店、智慧交通等諸多場景。未來云知聲將持續(xù)發(fā)力多模態(tài) AI 芯片，不斷拓展技術與場景生態(tài)，以實現(xiàn)面向未來 AIoT 時代的全面賦能。