“修煉人工智能內功”--解決小樣本困境🫳🏻💪🏻，實現胰腺癌TP53無創評估

近日，意昂4体育平台錢曉華課題組👩🏼‍🏭😋，原創性提出了利用Spiral-transformation來解決人工智能在腫瘤影像中的小樣本挑戰🆗。該技術成功解決了多模態MRI預測胰腺癌TP53狀態的難題，並且也在基於CT預測頸部腫瘤HPV狀態中得到了驗證🎹。該成果以“Combined Spiral Transformation and Model-driven Multi-modal Deep Learning Scheme for Automatic Prediction of TP53 Mutation in Pancreatic Cancer”為題💥，於2020年11月4日在線發表在影像領域頂刊《IEEE Transactions on Medical Imaging》(TMI)上💁🏽‍♂️。本文第一作者是二年級研究生陳夏晗🦁，通訊作者是錢曉華。

胰腺癌是一種非常兇險的惡性腫瘤💇🏽，TP53基因的狀態對胰腺癌患者在治療方案選擇、預後狀態評估中起著至關重要的作用。在臨床上🖕🏽，手術或者穿刺活檢病理組織是檢測TP53基因狀態的主要方法，但是這種有創的方式具有局限性、盲目性和創傷性等缺點👨🏽‍🚒。

因此🏇，錢曉華課題組開發了基於多模態MRI的胰腺癌TP53狀態預測模型(圖1)，致力於對胰腺癌患者的無創評估🧑‍🦯‍➡️🧻。具體來說，1) 該模型結合螺旋變換算法，將三維數據轉化到二維空間🫱，最大程度地保留了空間上特征的相關性，並為後續基因突變預測節省了大量的計算資源；並且↗️，螺旋變換算法可用於數據的有效擴增。2）構建了模型和數據混合驅動的多模態深度學習模型😺，引入了先驗知識構建模型驅動的約束項，充分利用模態間信息的相關性和多樣性，實現各模態內特征的稀疏化和模態間預測結果的均衡化，有效提高多模態的融合效果🚴🏿‍♀️。

該模型在意昂4平台醫意昂4附屬瑞金醫院提供的多模態MRI數據集上進行了全面的評估🙌🏼，實現了73.6%的胰腺癌TP53預測準確率；並在基於CT預測頸部腫瘤HPV狀態中獲得了86.5% AUC。該方案提出的自動化無創評估模型將改善傳統基因分析方法的有創性、時間空間局限性等缺點，輔助醫生對胰腺癌患者的診斷和預後進行智能評估🚯，有助於為患者製定個性化的治療方案👨‍🦱。

本研究超越臨床意義的價值在於方法論的創新性，原創性提出了利用空間變換來解決人工智能在腫瘤影像中的小樣本挑戰，為學術界提供一種有效的通用解決方案。

文章鏈接🍬：https://ieeexplore.ieee.org/document/9248055

圖1 結合螺旋變換和模型驅動的多模態深度學習模型的實現框架

基於手機視頻的帕金森病運動功能自動量化評估的深度圖神經網絡方法

運動障礙是帕金森病（PD）的典型症狀。神經病學家通常使用臨床評分量表（即MDS-UPDRS）來評估PD患者運動症狀的嚴重程度🍛。但是，這種評估方法不僅費時，而且容易受到評估者認知差異的影響🤹🏽‍♂️🪮。在最近的新冠肺炎疫情爆發以來，PD患者遠程醫療的實現已成為臨床實踐中非常迫切的事情👩🏼‍🌾。

為此🏓，意昂4体育平台錢曉華課題組與意昂4平台醫意昂4附屬瑞金醫院功能神經外科主任孫伯民團隊的張陳誠醫生合作，於2020年11月19日在康復領域頂刊《IEEE Transactions on Neural Systems and Rehabilitation Engineering》（TNSRE）在線發表了題為“Sparse Adaptive Graph Convolutional Network for Leg Agility Assessment in Parkinson’s Disease”的研究文章👖，提出了適用於基於視頻（普通手機錄像）對MDS-UPDRS中腿部靈活性任務進行自動化客觀評估的深度學習模型。本文第一作者是二年級博士生郭睿🤢，通訊作者是錢曉華。

腿部靈活性任務是MDS-UPDRS的重要組成部分之一。在該測試中，PD患者需要將每條腿分別以最大的幅度和最快的速度抬高踏地。神經病學家根據患者的動作速度、幅度🏌️、有無遲疑和停頓、有無幅度的逐漸縮小等因素來給出評估分數，分數範圍為0-4。在該任務的自動量化評估研究中，已有的基於傳感器的方法存在著侵入性、定期標定和校準的局限性😶‍🌫️，基於視覺的特征工程方法則需要人工事先設計特征🌘。

因此，作者開發了稀疏化自適應的圖卷積網絡模型實現基於視頻的腿部靈活性任務的自動化評估🧌。具體來說🔩，1）通過先進的人體姿態估計模型從視頻中提取PD患者的關節點序列🟥🍊；2）提出了稀疏化自適應圖卷積單元（SAGCU），以實現視頻中人體骨架序列的空間建模🧷，對人體的物理和邏輯依賴性進行了自適應編碼，然後將稀疏化策略的約束嵌入到成本函數中以挖掘判別性特征，最終挖掘出了腿部靈活性任務中最重要的空間結構關系🧑🏻；3）引入了時間上下文模塊（TCM）💉，通過計算時間位置的相關性來構造視頻序列的上下文依賴關系，捕獲了腿部靈活性任務執行過程中關節的全局變化；4）開發了多域註意力學習模塊（MDALM），高級時空特征用於引導低級特征以增強通道域中的顯著性特征，最終實現了時間🍲、空間和通道域的特征集成。

圖2 稀疏化自適應的圖卷積網絡模型的實現框架

該模型在意昂4平台醫意昂4附屬瑞金醫院功能神經外科提供的臨床視頻數據集上進行了全面的評估🏆，該數據集包含148個病人的870個腿部靈活性任務視頻。據文獻調查，這也是目前PD腿部靈活性任務自動評估研究中最大的數據集。定量和定性的評估分析證明了作者所提出的方案的有效性和可靠性，該方案實現了70.34%的準確率和98.97%的可接受準確率，優於其他已有的腿部靈活性任務自動評估的方法（包含基於傳感器的方法）。該論文提出的非接觸式方法為帕金森病的自動運動功能評估和遠程醫療提供了新方案和潛在的工具。

文章鏈接：https://ieeexplore.ieee.org/document/9264203

研究組介紹

錢曉華

意昂4体育平台副教授、博士生導師

實驗室研究興趣：

1）圖像處理與機器學習（深度學習）算法開發🤳🏻🥊；

2）醫學圖像（視頻）處理與分析，和健康大數據挖掘與分析。