站長之家 8月5日 消息:盡管人工智能（AI）系統(tǒng)取得了重大進展，但大多數現有的最先進(SOTA)系統(tǒng)都是單模態(tài)單任務系統(tǒng)，這對開發(fā)醫(yī)療人工智能系統(tǒng)提出了挑戰(zhàn)，因為醫(yī)療任務本質上是多模態(tài)且模式豐富 涵蓋文本、成像、基因組學等。
為了彌補這一差距，在一篇新論文《Towards Generalist Biomedical AI》中，來自 Google Research 和 Google DeepMind 的研究團隊提出了 Med-PaLM Multimodal （Med-PaLM M），這是一種大型多模態(tài)生成模型，可以處理多模態(tài)生物醫(yī)學數據，包括臨床數據 語言、成像和基因組學使用一組模型權重，無需任何特定于任務的修改。
該團隊將他們的主要貢獻總結如下:
MultiMedBench 的管理我們推出了 MultiMedBench，這是一種新的多模式生物醫(yī)學基準，涵蓋醫(yī)學成像、臨床文本和基因組學等多種模式，具有14項不同的任務，用于訓練和評估通用生物醫(yī)學 AI 系統(tǒng)。
Med-PaLM M，通用生物醫(yī)學人工智能系統(tǒng)的首次演示我們推出 Med-PaLM M，這是一個單一多任務、多模式生物醫(yī)學人工智能系統(tǒng)，可以執(zhí)行醫(yī)學圖像分類、醫(yī)學問答、視覺問答、放射學報告生成和總結、 基因組變異調用，以及更多具有相同模型權重的集合。
Med-PaLM M 中新穎的新興能力的證據 除了任務績效的定量評估之外，我們還觀察到零樣本醫(yī)學推理、新醫(yī)學概念和任務的泛化以及跨任務的積極遷移的證據。
Med-PaLM M 輸出的人工評估 除了自動化指標之外，我們還對 Med-PaLM M 跨不同模型尺度生成的胸部 X 射線報告進行放射科醫(yī)生評估。
該團隊首先提出了 MultiMedBench，解決缺乏全面的多模態(tài)醫(yī)療基準的問題，這是一種多模態(tài)生物醫(yī)學基準，涵蓋廣泛的多模態(tài)數據源，用于衡量通用生物醫(yī)學人工智能處理從視覺問題到各種醫(yī)療任務的能力 應答、報告生成、醫(yī)學圖像分類等。
接下來，研究人員利用 MultiMedBench 通過微調 PaLM-E 模型并將其與生物醫(yī)學領域對齊來開發(fā) Med-PaLM M。 通用生物醫(yī)學人工智能模型將多模式醫(yī)療數據作為輸入，同時使用一組模型參數對其進行處理，并且能夠執(zhí)行多項任務。
更具體地說，該團隊通過使用指令調整同時使用不同任務的混合來訓練模型，添加純文本的“一次性示例”以使模型與指令保持一致，并微調 PaLM 的預訓練變體 E 在 MultiMedBench 任務上獲得生成的 Med-PaLM M 模型。
在他們的實證研究中，評估了 Med-PaLM M 在 MultiMedBench 中的所有任務。 Med-PaLM M 在所有任務上都表現接近或超過基線的 SOTA，同時還表現出強大的零樣本泛化能力。
據團隊所知，Med-PaLM M是通用生物醫(yī)學人工智能系統(tǒng)的首次嘗試，團隊相信他們的工作代表了通用生物醫(yī)學人工智能發(fā)展的關鍵一步。