IT之家 4 月 30 日消息,聯(lián)發(fā)科 4 月 28 日官宣,旗下 AI 研究小組日前發(fā)布了全球首個繁體中文 AI 大型語言模型(LLM)。
這一多語言模型名為 BLOOM-zh,號稱在大多數(shù)繁體中文基準測試中優(yōu)于其前身,同時保持其英語能力。
聯(lián)發(fā)科表示,BLOOM-zh 起源于 BigScience 于 2022 年推出的開源 BLOOM 模型,團隊對 BLOOM 進行了額外的繁體中文和英文 74 億個 token 的擴展預訓練,涵蓋了新聞、書籍、百科全書、教材、口語等多個領域。為了展示 BLOOM-zh 的特性,現(xiàn)有的和新創(chuàng)建的基準場景都用于評估性能。
此外,聯(lián)發(fā)科的 AI 研究小組在 ICLR 國際表征學習大會上發(fā)表了一篇論文,詳細介紹了其使用 Fisher-Legendre(FishLeg)優(yōu)化的新算法,可以比以前更快、更可靠地訓練 AI 模型。該研究是與英國劍橋大學的神經動力學和控制組合作進行的。聯(lián)發(fā)科 AI 研究小組將在 5 月 1 日的 ICLR 會議上展示這項成果。