潮科技 | 索尼發(fā)布全球首款具有AI處理功能的智能視覺傳感器

圖 | MEMS

編者按：本文來自微信公眾號“MEMS”（ID：MEMSensor），作者麥姆斯咨詢，原文題目《索尼發(fā)布全球首款具有AI處理功能的智能視覺傳感器》，36氪經(jīng)授權(quán)發(fā)布，略有刪減。

據(jù)麥姆斯咨詢報道，近日，索尼（Sony）公司宣布即將發(fā)布兩款智能視覺傳感器：IMX500和IMX501，這是全球首款配備人工智能（AI）處理功能的CMOS圖像傳感器。該CMOS圖像傳感器自身集成AI處理功能，可以實現(xiàn)高速邊緣AI處理和提取必要的應(yīng)用數(shù)據(jù)。當使用云服務(wù)時，利用該傳感器構(gòu)建的視覺系統(tǒng)可減少數(shù)據(jù)傳輸延遲，解決隱私問題并降低功耗和通信成本。

索尼智能視覺傳感器為廣大應(yīng)用開發(fā)者提供了研發(fā)配備AI功能的攝像頭的機會，通過高速數(shù)據(jù)處理可實時跟蹤目標對象，應(yīng)用領(lǐng)域包括智慧零售、智能安防、智能交通及智慧工業(yè)等，并且有助于構(gòu)建鏈接云服務(wù)的最佳視覺系統(tǒng)。

智能視覺傳感器（左：IMX500；右：IMX501）

圖 | MEMS

物聯(lián)網(wǎng)的普及導(dǎo)致各種各樣的設(shè)備都將連接到“云”，并且從這些設(shè)備獲取的信息可通過云AI處理，這使得云信息處理系統(tǒng)的使用變得司空見慣。但是，在云中處理的信息量不斷增加，帶來了各種問題：數(shù)據(jù)傳輸延遲增加，阻礙了實時信息處理；將個人身份數(shù)據(jù)存儲在云中，造成用戶安全問題；云服務(wù)帶來的其它問題，如電力消耗和通信成本的增加……

索尼智能視覺傳感器由像素陣列芯片（感光功能）和邏輯電路芯片（包括計算和存儲功能）進行3D堆疊而成，是全球第一款在邏輯電路芯片上集成AI圖像分析和處理功能的CMOS圖像傳感器。其中，像素陣列芯片獲取的信號利用傳感器中的AI處理，無需高性能處理器或外部存儲器，從而使邊緣AI系統(tǒng)得以發(fā)展。該傳感器輸出元數(shù)據(jù)（屬于圖像數(shù)據(jù)的語義信息）而不是圖像信息，從而減少數(shù)據(jù)量并解決隱私問題。此外，邊緣AI可以為通用應(yīng)用提供多種功能，例如具有高速AI處理的實時對象跟蹤，也可以根據(jù)用戶需求或系統(tǒng)使用位置等條件，通過重寫內(nèi)部存儲器來選擇不同的AI模型。

圖 | MEMS

像素陣列芯片采用背照式（BSI）工藝，有效像素約為1230萬，可在寬視角下捕捉圖像信息。除了傳統(tǒng)的CMOS圖像傳感器運算電路外，該邏輯電路芯片還集成了索尼專用于AI信號處理的數(shù)字信號處理器（DSP），以及用于AI模型的存儲器。這種配置消除了對高性能處理器或外部存儲器的需求，使其成為邊緣AI系統(tǒng)的理想選擇。

像素陣列芯片獲取的信號先通過ISP（圖像信號處理器）處理，然后在邏輯電路芯片上進行AI處理，提取的信息作為元數(shù)據(jù)輸出，從而減少處理的數(shù)據(jù)量。另外，確保不輸出圖像信息有助于降低安全風險并解決隱私問題。除了傳統(tǒng)CMOS圖像傳感器記錄的圖像信息外，用戶還可以根據(jù)自己的需求和用途選擇數(shù)據(jù)輸出格式，包括ISP格式輸出圖像（YUV/RGB）和ROI（感興趣區(qū)域）特定區(qū)域提取圖像。

圖 | MEMS

當使用傳統(tǒng)CMOS圖像傳感器拍攝視頻時，必須為每個單獨的輸出圖像幀發(fā)送數(shù)據(jù)以進行AI處理，從而導(dǎo)致數(shù)據(jù)傳輸量增加，并且難以提供實時處理。索尼智能視覺傳感器在邏輯電路芯片上執(zhí)行ISP處理和高速AI處理（MobileNet V1的處理時間為3.1毫秒），從而在單個視頻幀中完成整個過程。這種設(shè)計使得“在錄制視頻的同時提供高精度、實時的目標跟蹤功能”成為可能。

圖 | MEMS

用戶能夠?qū)⒆约哼x擇的AI模型寫入嵌入式存儲器中，并可根據(jù)用戶要求或系統(tǒng)使用位置等條件對其進行重寫和更新。例如，當在零售商場安裝集成智能視覺傳感器的多個攝像頭時，應(yīng)用可以橫跨不同的時間、地點（環(huán)境）或目的。當安裝在商場入口時，它可以用來統(tǒng)計訪客數(shù)量；當安裝在商店貨架上時，它可以用來檢測庫存短缺情況；當安裝在商場天花板上時，它可以用于繪制商店訪客熱圖（檢測客戶聚集的位置）等。同時，用戶可以隨時改寫這些攝像頭中的AI模型，比如從“用于檢測熱圖的模型”改成“用于識別消費者行為的模型”。

圖 | MEMS

索尼智能視覺傳感器關(guān)鍵指標：

圖 | MEMS