智能終端的圖像功能日益豐富,各種好玩的、有趣的圖像效果層出不窮。不可避免的,復雜的圖像處理算法以及AI深度學習功能的集成,對手機性能和續(xù)航能力的要求也越來越高。
紫光展銳2019年8月發(fā)布的4G移動平臺虎賁T618,8核架構,集成了視覺信息處理器(以下簡稱VDSP),將更好的滿足高要求的邊緣視覺和AI處理需求。
多個VDSP,有啥不一樣?VDSP不僅能針對圖像和AI處理任務加速運算,為性能加速,同時會顯著降低終端的功耗。
先來張簡潔明了的規(guī)格表重溫下虎賁T618:
可以看到,AI的參數(shù)一欄,虎賁T618配置了具有強大運算能力的專用VDSP,可以更好的解決復雜的Camera視覺和AI處理任務。
VDSP最重要的特性是支持寬向量的SIMD(單指令多數(shù)據(jù)),VDSP能通過一條指令來并行處理大量的數(shù)據(jù)流,圖像處理、視頻處理、計算視覺、虛擬現(xiàn)實、增強現(xiàn)實等功能的實現(xiàn)都需要用到這一點。在獲得高性能計算的情況下,VDSP還具有低功耗優(yōu)勢,與ISP(圖像信號處理)結合,可獲得更多差異化的性能體驗,比如HDR(高動態(tài)范圍圖像)和FDR(全動態(tài)范圍圖像)。
通過專門的VDSP相比通過CPU來處理圖像和視頻等大數(shù)據(jù)流,兩者能有多大差異?速度和功耗兩方面都有顯示優(yōu)勢。以經(jīng)典輕量級圖像語義分割模型deeplabV3模型為例,(這是一種非常先進的基于深度學習的圖像語義分割方法,可對物體進行像素級分割)。
輸入分辨率為512×512,實測VDSP和CPU的不同功耗及性能數(shù)據(jù)如下:
從測試數(shù)據(jù)可以看出,對密集乘加運算:4個 CPU核心全速運行帶來的功耗,大約是1個VDSP核全速運行的4倍。VDSP處理模型速度快2.5倍。能效比上,VDSP是CPU 4核的10倍!
虎賁T618不僅針對AI應用,在HDR、實時美顏、語義分割等應用上,性能上有更好的提升;①ST618提供的實時人像背景替換,滿足了趣味換景、視頻會議濾除換景等個性化需求。
虎賁T618由VDSP加持可提供實時美顏,滿足短視頻實時美顏需求,再加上HDR/FDR算法加速,可以拍出高動態(tài)、高清晰度的超高畫質(zhì)圖像。