“橫看成嶺側成峰，遠近高低各不同。”這兩句詩形象地概括了移步換形、造化萬千的廬山風景，廬山的一峰一嶺一丘壑，游人所處的位置不同，看到的景物也各不相同。人類視覺感知的一個關鍵點是將視覺場景解析為物體，并進一步解析為物體的各個局部，從而形成部分 - 整體層次結構。結構化視覺作為人們?nèi)菀桌斫獾纳窠?jīng)網(wǎng)絡語言，對于大腦的推理決策活動提供著基礎支撐。
場景的結構化，通俗理解就是將我們所看到的一草一木，一樓一隅進行抽絲剝繭，疊層解刨分析。場景結構化描述是對場景的語義化理解，場景分割可以完成場景圖像中視覺要素的識別、檢測和分割，通過部分 - 整體層級結構誘導出豐富的語義概念和關系，從而在解釋和組織視覺信息方面，以及視覺感知和推理的泛化方面發(fā)揮著重要作用。
智慧眼場景理解引擎，依托于星辰人工智能中臺，基于深度學習算法構建了多層神經(jīng)網(wǎng)絡，模仿人腦的機制來分析和理解圖像，可以從大規(guī)模數(shù)據(jù)中學習逐漸抽象的層次化特征，從而建立場景圖像到語義類別的映射，使計算機能夠充分理解場景內(nèi)容進行推理活動。
場景理解引擎具有預訓練、輕量級、時序性特點。
預訓練
利用大規(guī)模無監(jiān)督數(shù)據(jù)進行訓練的預訓練模型有著非常好的泛化性，只需在小規(guī)模標注數(shù)據(jù)上進行微調(diào)，就可以在相應任務上有所提高。場景理解引擎依托于AI底層基座星辰人工智能中臺，涵蓋圖像應用各類場景模型，囊括智慧眼底層算法，支持可視化的模型效果評估，海量GPU資源分布式訓練，預置模型調(diào)參及作業(yè)建模方式、自研高精度模型，不必從頭開始構建，可以節(jié)省用戶大量時間和成本。
輕量級
為了達到高精度的視覺感知，目前市場上的場景算法傾向于使用較大較深的神經(jīng)網(wǎng)絡結構，導致計算復雜度高、場景分割速度慢、限制了智能引擎在自動駕駛、視頻監(jiān)控、移動平臺等場景中的應用。場景理解引擎基于快速和輕量級智能引擎，可以有效解決碎片設備之間的差異，不同訓練框架的差異，實現(xiàn)快速的在端側部署運行。
時序性
面對非靜態(tài)的場景圖像，視頻中的物體由于拍攝角度、快速運動和部分遮擋等原因常常表現(xiàn)得模糊和多樣，這使得對視頻結構化分析難度較大。場景理解引擎利用多維循環(huán)神經(jīng)網(wǎng)絡、概率圖模型和注意力機制等算法，可以通過挖掘時序上下文信息中的時序連續(xù)性提升場景分析精度，以云邊協(xié)同視頻結構化分析方法，在突發(fā)事件預警、上報、響應、指揮等各個環(huán)節(jié)實現(xiàn)及時有效的可視化指揮，滿足突發(fā)事件現(xiàn)場實時圖像傳送和視頻會商的快速響應需求。
場景理解引擎在泛安防、金融、醫(yī)療、工業(yè)、政務等領域得到廣泛應用。
在醫(yī)療領域，一方面，根據(jù)醫(yī)學檢測圖識別腫瘤、皮膚、心臟以及眼科等疾病，輔助醫(yī)生高效完成診斷，提升基層醫(yī)療機構診斷水平。另一方面，通過使用細粒度場景識別理解模型，計算機視覺、傳感器和視頻流讓很多安全性應用在臨床和居家環(huán)境中變?yōu)榭赡?，為醫(yī)護工作者擴展了監(jiān)測病人的能力，包括ICU中的患者監(jiān)測、診所中的行為監(jiān)測、異常事件監(jiān)控等。
在交通領域，針對目標模態(tài)多變、類型多樣、動靜混存的復雜場景，場景理解引擎通過對視頻/圖像資源進行深度學習分析，形成抽象、歸納、分析的結果，對人、車、物、行為等進行智能判斷。
智慧眼承建的長沙市交通運輸局TOCC項目，通過“視頻+AI”形成了一套強大的交通視覺感知系統(tǒng)，基于結構化交通場景理解，對公交、出租、軌道、公路和水運等全行業(yè)狀況進行實時監(jiān)測，以標準化和規(guī)范化的管理體系為保障，服務于交通綜合業(yè)務輔助與決策、行業(yè)監(jiān)測與預警、應急指揮與調(diào)度、綜合服務協(xié)調(diào)與管理等工作。交通運輸局依托TOCC全面實時監(jiān)測的功能，可進行現(xiàn)場調(diào)度指揮，30分鐘內(nèi)可召開全市交通系統(tǒng)的連線會議，實現(xiàn)了看得見、聽得到、指揮得動的功能。智慧信控系統(tǒng)“站崗”路口，紅綠燈會思考，視頻AI獲取實時車流和人流信息，綜合平衡車輛通行和行人過街需求進而智能研判，再也不用空等紅燈。此項目獲評“新型智慧城市十大典型應用案例”，獲得行業(yè)專家的高度認可。
在城市數(shù)字化應用中，紛繁復雜的口岸現(xiàn)場，實現(xiàn)異常旅客監(jiān)控、高溫旅客監(jiān)控、安檢圖像監(jiān)控、應急與可視化。至關緊要的安防場景，實現(xiàn)行李物品智能審圖，智能安檢系統(tǒng)能夠?qū)σ巡渴鸬?/span>X光安檢機具獲取的百余類圖像進行實時動態(tài)分析，并對限制攜帶物品進行實時動態(tài)預警和數(shù)據(jù)推送。
智慧眼場景理解引擎，正在解鎖更多場景，為機器與人之間的交互方式提供更多可能。未來，智慧眼將繼續(xù)深化“AI+”的應用，以星辰人工智能中臺為創(chuàng)新載體，深入賦能場景，不斷增強數(shù)字化與智能化能力，打造可視、可感、可分析、可決策的新型城市智能體。
湘ICP備20003263號-1