《大陸產業》百川智能大模型 北大、清華使用

【時報-台北電】大陸大模型百家爭鳴，創辦搜尋引擎搜狗的王小川也投入該領域，其公司百川智能15日推出70億參數量的中英文預訓練大模型baichuan-7B，包括北京、清華等名校已使用該模型進行研究。

搜狗過去一直在大陸的搜尋與AI市場上與百度競爭，而當前全球湧現AIGC（人工智慧生成內容）狂熱，使王小川在2021年離開搜狗後，如今又率領前搜狗團隊投身大模型研發。

界面新聞報導，百川智能在15日推出大模型baichuan-7B，已在Hugging Face、Github、Model Scope等平台發表，北京大學和北京清華大學已使用該模型進行研究相關工作。

百川智能指出，該模型較其他同參數規模的開源中文預訓練模型，數據量提高逾50％。baichuan-7B在構建預訓練語料庫方面以中文語料為基礎，同時融合英文數據，並透過模型來為數據品質打分篩選。在內容多樣性方面，利用自研超大規模LSH群集系統和語意群集系統，構建含有1.2兆token的預訓練數據。

百川智能表示，baichuan-7B也為提升訓練效率進行改良，並且在開源模型窗口上，開放更長的處理長度，使該模型的應用場景更加廣泛。

王小川4月宣布，攜5,000萬美元的啟動資金和前搜狗營運長茹立雲聯合創辦百川智能，並招聘前搜狗、百度、華為、微軟等數十位AI人才，這是該公司首次公布產品進度。王小川表示，發表開源模型是公司成立兩個月後重要里程碑。免費商用的開源方式及在中文上的優異表現，獲北京與清華兩高校多項研究的青睞。(新聞來源 : 工商時報一楊日興／綜合報導)