7月5日，商湯智能產(chǎn)業(yè)研究院發(fā)布《AI傳感器:智能手機(jī)影像新核心》白皮書(shū)，提出在智能手機(jī)市場(chǎng)緩慢步入瓶頸期的趨勢(shì)下，影像功能成為產(chǎn)業(yè)破局焦點(diǎn)，而人工智能軟件與CMOS(圖像傳感器)硬件的融合，更是智能手機(jī)影像能力持續(xù)提升的重要支撐。

      作為全球領(lǐng)先的人工智能軟件公司，商湯科技前瞻開(kāi)展了多元化的智能影像布局，通過(guò)AI算法SDK、AI傳感器、AI ISP三位一體的智能影像解決方案，為智能手機(jī)影像技術(shù)的發(fā)展構(gòu)建新的突破口和競(jìng)逐點(diǎn)。 

      商湯科技聯(lián)合創(chuàng)始人、首席科學(xué)家王曉剛表示，“過(guò)去幾年，AI算法的廣泛應(yīng)用突破了智能手機(jī)影像能力的硬件限制，未來(lái)，AI傳感器將再次定義和引領(lǐng)智能手機(jī)影像發(fā)展的新趨勢(shì)。憑借成熟的AI算法固化技術(shù)，商湯在AI傳感器的技術(shù)領(lǐng)域積累了先發(fā)優(yōu)勢(shì)。我們將持續(xù)開(kāi)拓創(chuàng)新，將AI傳感器的應(yīng)用從智能手機(jī)拓展至自動(dòng)駕駛、元宇宙、智慧城市等更多領(lǐng)域，打開(kāi)‘坡長(zhǎng)雪厚’的藍(lán)海市場(chǎng)，讓AI傳感器成為感知物理世界、構(gòu)建數(shù)字世界的核心感官?！?/p>

智能手機(jī)增長(zhǎng)趨緩，影像技術(shù)成為下一代手機(jī)產(chǎn)品差異化競(jìng)爭(zhēng)力的新突破口

      今年以來(lái)，受到核心零部件短缺以及疫情反復(fù)的影響，智能手機(jī)市場(chǎng)表現(xiàn)相對(duì)低迷。據(jù)信通院數(shù)據(jù)顯示，2022年4月國(guó)內(nèi)手機(jī)市場(chǎng)總體出貨量為1808萬(wàn)部，同比大幅減少34.2%。對(duì)此，諸多手機(jī)廠商開(kāi)始選擇在消費(fèi)偏好體驗(yàn)方面“對(duì)癥下藥”，在手機(jī)外觀、處理器、屏幕顯示、快充技術(shù)、游戲體驗(yàn)、內(nèi)存存儲(chǔ)等能力逐漸趨同的背景下，智能手機(jī)的影像能力成為了當(dāng)前競(jìng)爭(zhēng)的核心要素，以及消費(fèi)者選購(gòu)的重要標(biāo)準(zhǔn)。智能手機(jī)正全面進(jìn)入“影像為王”的時(shí)代。

      CMOS圖像傳感器和ISP(圖像信號(hào)處理器)是影響智能手機(jī)影像能力的兩大關(guān)鍵部件，前者更是塑造手機(jī)影像競(jìng)爭(zhēng)力的核心。隨著智能手機(jī)多攝像頭配置的普及，5000萬(wàn)乃至1億像素分辨率的應(yīng)用，以及非Bayer圖像傳感器需求的旺盛，圖像傳感器技術(shù)得到了前所未有的發(fā)展。很多手機(jī)廠商甚至開(kāi)始與傳感器廠商尋求定制化合作，打造差異化的競(jìng)爭(zhēng)力。

      圖像傳感器的尺寸是影像成像質(zhì)量的關(guān)鍵因素之一，然而智能手機(jī)纖薄的外形，使得手機(jī)圖像傳感器的尺寸天然存在物理上限。白皮書(shū)指出，過(guò)去幾年，在AI算法驅(qū)動(dòng)的計(jì)算攝影，以及更強(qiáng)大的處理器、專用圖像信號(hào)和神經(jīng)處理單元的加持下，智能手機(jī)的影像能力依然得到了持續(xù)提升。

      然而，在傳統(tǒng)的解決方案中，圖像傳感和AI算法的運(yùn)行在不同的硬件上完成，圖像傳感器提供圖像信號(hào)，而處理器或者AI加速芯片執(zhí)行人工智能算法。白皮書(shū)指出，這種方案在強(qiáng)調(diào)低功耗和能效比的移動(dòng)設(shè)備中，將會(huì)造成能耗資源的浪費(fèi)，并且難以處理一些需要常開(kāi)的應(yīng)用場(chǎng)景。在此趨勢(shì)下，人工智能賦能的圖像傳感器成為破題之道，引領(lǐng)CMOS圖像傳感器步入AI時(shí)代。

定格“魔幻時(shí)刻”，AI傳感器讓手機(jī)成為“個(gè)人智能影像工作室”

      憑借領(lǐng)先的原創(chuàng)AI技術(shù)和軟硬件整合能力，商湯不僅在超分辨率、AI超畫(huà)質(zhì)、夜景影像、高動(dòng)態(tài)范圍、超清人像、影像虛化、RGB ToF 3D等關(guān)鍵影像場(chǎng)景積累了大量算法能力，同時(shí)早在2019年，就已經(jīng)與全球領(lǐng)先的圖像傳感器廠商開(kāi)展緊密合作，將AI算法和傳感器硬件直接融合，推動(dòng)CMOS圖像傳感器發(fā)展進(jìn)入人工智能軟件定義的時(shí)代，將成像系統(tǒng)的整體能力推向新的高度。

      商湯AI傳感器可以借助AI技術(shù)，最大化地發(fā)揮原始光信號(hào)的價(jià)值。在終端設(shè)備獲取視覺(jué)信號(hào)的伊始，AI傳感器就可以進(jìn)行優(yōu)化和處理，增強(qiáng)真實(shí)世界感知、提高圖像和視頻的質(zhì)量、豐富內(nèi)容細(xì)節(jié)，同時(shí)還最大限度地降低了設(shè)備功耗，并增強(qiáng)了數(shù)據(jù)安全性。在提升圖像質(zhì)量的前提下，商湯的AI傳感器還支持固化算法的可控可調(diào)，快速適配不同規(guī)格和工藝制成的傳感器以及ISP芯片平臺(tái)，實(shí)現(xiàn)高效的輕量化部署。

      憑借AI算法、AI傳感器和AI ISP的三位一體，商湯實(shí)現(xiàn)了AI技術(shù)對(duì)整個(gè)智能手機(jī)智能影像系統(tǒng)的一體化賦能。一方面，通過(guò)AI技術(shù)充分挖掘鏡頭模組、各種新型傳感器等硬件的潛力，最大化利用成像設(shè)備的底層特性，實(shí)現(xiàn)最優(yōu)的成像質(zhì)量；另一方面，利用AI技術(shù)將成像系統(tǒng)中的各個(gè)獨(dú)立部件有機(jī)結(jié)合在一起，充分聯(lián)動(dòng)，使原本獨(dú)立運(yùn)作的成像模塊成為協(xié)同合作的成像平臺(tái)。

      得益于AI軟件與硬件的緊密融合，用戶可以獲得拍攝質(zhì)量的全面提升，拍攝場(chǎng)景的全面拓展。例如，通過(guò)AI對(duì)多種光源的時(shí)域、空域、頻域不同特性的學(xué)習(xí)，了解自然光譜特性，進(jìn)而根據(jù)實(shí)際應(yīng)用場(chǎng)景，帶來(lái)AI降噪、AI超分辨率，提升成像質(zhì)量;在特殊拍攝模式下，AI夜景增強(qiáng)、AI人像增強(qiáng)，更為智能手機(jī)賦予了多樣的“魔幻場(chǎng)景”。這些體驗(yàn)，讓搭載了AI傳感器的智能手機(jī)，成為每個(gè)人專屬的“個(gè)人智能影像工作室”，消費(fèi)者日常使用時(shí)，便可輕松拍出媲美專業(yè)影像器材的高質(zhì)量作品。

超分辨率效果對(duì)比：左圖為傳統(tǒng)方案拍攝效果，右圖為商湯賦能

AI超畫(huà)質(zhì)效果對(duì)比：左圖為傳統(tǒng)方案拍攝效果，右圖為商湯賦能拍攝效果

夜景影像效果對(duì)比：左圖為傳統(tǒng)方案拍攝效果，右圖為商湯賦能拍攝效果

大幅降低世界建模成本，AI傳感器將成“元宇宙”的必經(jīng)之路

      面向未來(lái)，AI傳感器的價(jià)值不僅在于提升智能手機(jī)的影像能力，它更將成為機(jī)器“認(rèn)知”世界的基礎(chǔ)設(shè)施，為更多物聯(lián)網(wǎng)終端賦予智能感知與內(nèi)容增強(qiáng)的能力。在全球40億手機(jī)用戶的龐大基數(shù)下，AI傳感器的廣泛應(yīng)用，將大幅降低世界建模成本，成為連接物理世界與虛擬世界的橋梁，加速“元宇宙”的構(gòu)建。在新興應(yīng)用場(chǎng)景中，AI傳感器也將扮演重要角色。例如，在智能汽車領(lǐng)域，AI傳感器將成為車輛感知世界的核心部件；在智慧城市領(lǐng)域，AI傳感器更將為挖掘視頻信息的價(jià)值發(fā)揮重要作用。

      Gartner 數(shù)據(jù)顯示，2022年CMOS圖像傳感器的出貨量將會(huì)超84億顆，到2026年則會(huì)超過(guò)107億顆，成長(zhǎng)為百億出貨量規(guī)模的半導(dǎo)體細(xì)分市場(chǎng)。秉承在AI傳感器技術(shù)領(lǐng)域的長(zhǎng)期布局，商湯將緊密攜手合作伙伴，加速AI傳感器的市場(chǎng)滲透，共同以AI軟件重新“定義”圖像傳感器趨勢(shì)，賦予硬件更多創(chuàng)新可能性。

      如需獲取《AI傳感器:智能手機(jī)影像新核心》白皮書(shū)，敬請(qǐng)關(guān)注商湯科技公眾號(hào)，或點(diǎn)擊以下鏈接直接下載：AI傳感器:智能手機(jī)影像新核心

本網(wǎng)站及其公眾號(hào)為公益性網(wǎng)絡(luò)平臺(tái)，所發(fā)圖文僅供傳播信息、介紹知識(shí)、說(shuō)明問(wèn)題之用；相關(guān)版權(quán)歸原作者所有，轉(zhuǎn)載請(qǐng)務(wù)必注明出處和作者。

稿件一經(jīng)選用，即視為作者同意本網(wǎng)免費(fèi)將其使用于本網(wǎng)或與本網(wǎng)有合作關(guān)系的非贏利性各類出版物、互聯(lián)網(wǎng)與手機(jī)端媒體及專業(yè)學(xué)術(shù)文庫(kù)等。

由稿件引起的著作權(quán)問(wèn)題及其法律責(zé)任由作者自行承擔(dān)。

了解更多動(dòng)態(tài)，請(qǐng)掃描二維碼，關(guān)注我們的微信公眾號(hào)：