大模型引領新一輪的技術變革，創(chuàng)新的火花正在變革中孕育。近日，智慧眼發(fā)明專利版圖再度擴容，在圖文、音頻、視頻等原生多模態(tài)方面取得新的突破進展，將進一步為多元化場景賦能。
原生多模態(tài)之路
1、基于多模態(tài)的醫(yī)療大模型構建方法及其相關設備
專利摘要：本發(fā)明公開了一種基于多模態(tài)的醫(yī)療大模型構建方法及其相關設備，通過包含多模態(tài)轉換器T、提示管理器M、對話引擎L、任務控制器H和多模態(tài)基座模塊MMF，多模態(tài)基座模塊MMF至少包括一個醫(yī)療基礎模塊態(tài)基座MFMs的醫(yī)療大模型，采用模態(tài)分析、模型分配、下游任務結果返回、模態(tài)轉換歸一和響應生成五個階段，同時處理融合多種模態(tài)數據并充分利用了多種模態(tài)數據之間的關聯(lián)，實現(xiàn)多模態(tài)任務的快速處理，提高了針對人工智能任務的智能化處理程度和處理效率。
該發(fā)明專利的創(chuàng)新性主要體現(xiàn)在提升多模態(tài)數據處理能力、智能化任務處理效率、強化醫(yī)療基礎模塊支持、提高人工智能任務的智能化程度以及促進醫(yī)療決策支持和技術創(chuàng)新等方面。
腫瘤檢測準確率UP
2、基于圖文多模態(tài)融合的腫瘤檢測系統(tǒng)、方法、設備及介質
專利摘要：本申請公開了一種基于圖文多模態(tài)融合的腫瘤檢測系統(tǒng)、方法、設備及存儲介質，涉及醫(yī)學人工智能檢測領域，包括：電子病歷特征抽取模塊、圖像特征抽取模塊、特征融合模塊、腫瘤檢測模塊。電子病歷特征抽取模塊獲取電子病歷的文本特征向量；圖像特征抽取模塊獲取電子計算機斷層掃描圖像特征向量、核磁共振圖像特征向量以及活檢病理圖像特征向量；特征融合模塊獲取融合后特征向量；腫瘤檢測模塊用于檢測腫瘤概率。
本申請通過充分學習患者自身表現(xiàn)癥狀主訴信息、電子計算機斷層掃描、核磁共振、病理活檢圖像四個模態(tài)的數據，充分吸收融合四個模態(tài)有效特征，使得肝腫瘤檢測達到了更高的準確率。
睡眠監(jiān)測與分析精細化
3、一種基于音頻的睡眠分期的方法、系統(tǒng)、終端及存儲介質
專利摘要：本申請?zhí)峁┮环N基于音頻的睡眠分期的方法、系統(tǒng)、終端及存儲介質，涉及音頻領域，特別是涉及一種基于音頻的睡眠分期的方法，所述方法包括：獲取預設時長的睡眠分期的音頻數據；對所述音頻數據進行特征提取，得到特征數據，其中，所述特征數據包括梅爾譜特征數據、頻譜質心特征數據、聲譜衰減特征數據及音頻色度特征數據；將所述梅爾譜特征數據，輸入預先訓練好的音頻事件向量提取模型，得到音頻事件向量；對所述特征數據進行特征拼接，得到拼接特征數據；將所述拼接特征數據和所述音頻事件向量，輸入預先訓練好的睡眠分期模型，得到睡眠分期結果。本申請能夠提高睡眠分期的準確性。
該發(fā)明專利的體現(xiàn)在提高睡眠分期的準確性、提供全面的睡眠分期解決方案、促進音頻技術在醫(yī)療領域的應用、優(yōu)化睡眠監(jiān)測和分析流程以及增強用戶體驗等方面。
真誠主動對話必殺技
4、一種主動式對話大模型構建裝置、方法、設備及存儲介質
專利摘要：本申請公開了一種主動式對話大模型構建裝置、方法、設備及存儲介質，涉及模型構建領域，包括：模型確定模塊用于基于生成式預訓練Transformer模型確定預設提問模型和預設診斷模型；訓練集構建模塊用于將用戶真實病歷信息輸入預設提問模型以生成假樣本，基于假樣本和真樣本構建第一訓練集；控制器訓練模塊用于將第一訓練集輸入初始控制器，以利用對抗訓練方法并基于預先構建的目標函數對初始控制器的參數進行梯度更新得到目標控制器；大模型構建模塊用于基于預設提問模型、預設診斷模型和目標控制器構建主動式對話大模型以進行問診對話。
本申請通過構建主動式對話大模型，以對用戶進行主動提問獲取更多用戶信息，提高問診結果的準確性。
病歷生成效率提升
5、病歷摘要生成方法、裝置、計算機設備及介質
本發(fā)明公開了一種病歷摘要生成方法、裝置、設備及介質，包括：對病歷文本進行聚類，得到若干類別的聚類文本；將每類聚類文本輸入到初始病歷摘要生成模型中，初始病歷摘要生成模型包括初始教師模型、初始學生模型和判別模型；采用初始教師模型對每類聚類文本進行摘要生成，得到標注訓練集，采用標注訓練集對初始學生模型進行參數微調，得到微調學生模型；通過判別模型對初始教師模型和微調學生模型的模型效果進行評測，根據評測結果，確定混合訓練集，采用混合訓練集對初始病歷摘要生成模型進行迭代訓練，得到目標病歷摘要生成模型；采用目標病歷摘要生成模型對接收到的病歷文本進行摘要生成，提升了病歷摘要生成的精準度。
通過創(chuàng)新的病歷摘要生成技術，提升了病歷摘要生成的精準度。
促進數據互聯(lián)互通
6、一種大模型知識蒸餾低秩適應聯(lián)邦學習方法、電子設備及可讀存儲介質
專利摘要：本發(fā)明提供的大模型知識蒸餾低秩適應聯(lián)邦學習方法，是通過在各個客戶端內部署學生模型和教師模型，同時在各個客戶端相連接的中央服務端內部署同結構的學生模型；在各個客戶端內，基于學生模型、教師模型和預設本地數據，計算獲取教師模型的總損失和學生模型的總損失；通過學生模型的總損失和低秩適應方法計算獲取低秩梯度矩陣并上傳至中央服務端；通過中央服務端內的學生模型聚合后的參數梯度矩陣，更新學生模型參數，重復多次直至教師模型收斂。
相比于現(xiàn)有技術，本方法通過低秩適應方法分解參數梯度矩陣，可以顯著減少聯(lián)邦學習時客戶端和服務端之間的通訊參數量，極大地提高了通訊效率。
2024年上半年，智慧眼憑借其在人工智能領域的深厚底蘊，成功獲得了近30項與砭石大模型相關的授權發(fā)明專利，彰顯了其在AI原生創(chuàng)新方面的強大實力。未來，智慧眼將堅持AI原生思維，不斷強化大模型的多模態(tài)協(xié)作處理能力，進一步挖掘醫(yī)療AI市場潛力，從而引領整個產業(yè)向更高水平的創(chuàng)新與高質量發(fā)展邁進。
湘ICP備20003263號-1