騰訊混元參戰(zhàn)大模型：“幻覺率”可降低30%，多個指標(biāo)超越GPT3.5

“百模大戰(zhàn)”新增又一巨頭：騰訊官宣參戰(zhàn)。

9月7日，在2023騰訊全球數(shù)字生態(tài)大會上，騰訊正式發(fā)布混元大模型，并宣布通過騰訊云對外開放。

資料顯示，騰訊混元大模型是騰訊自研的一款通用大模型，目前已經(jīng)接入騰訊50多個業(yè)務(wù)測試，包括騰訊云、騰訊廣告、騰訊游戲、騰訊金融科技、騰訊會議、騰訊文檔、微信搜一搜、QQ瀏覽器等業(yè)務(wù)和產(chǎn)品。

【資料圖】

值得注意的是，這并非是騰訊首次公開大模型相關(guān)進展。此前6月19日，騰訊曾發(fā)布依托騰訊云TI平臺打造行業(yè)大模型精選商店，提供MaaS（Model-as-a-Service）一站式服務(wù)，構(gòu)建專屬大模型及智能應(yīng)用。

“大模型競爭還在馬拉松的第一公里，這個行業(yè)太新了，不存在清晰的市場份額或占比。”9月7日，在接受澎湃新聞等媒體采訪時，騰訊集團高級執(zhí)行副總裁、云與智慧產(chǎn)業(yè)事業(yè)群CEO湯道生坦言，“大家動不動就喜歡發(fā)布通用大模型，在我看來這條路有點走偏了，不能解決產(chǎn)業(yè)實際問題和痛點。”

對于大模型落地前景，他也直言：“有些前沿投入和布局，可能要3到5年才能看到商業(yè)回報，現(xiàn)在談大模型的商業(yè)前景還為時過早。”

騰訊的大模型“路線圖”

今年上半年，多家大廠扎堆發(fā)布大模型，“百模大戰(zhàn)”一度成為輿論焦點，而騰訊一直到9月份才發(fā)布通用大模型，似乎顯得有些姍姍來遲。

“騰訊做大模型只看自己，不看別人。”9月7日，對于發(fā)布時間，騰訊副總裁蔣杰向澎湃新聞記者坦言，“混元大模型在騰訊內(nèi)部已經(jīng)內(nèi)測很久，在推出時間上，沒有考慮過和同行進行賽跑。”

從基本參數(shù)來看，目前騰訊混元的參數(shù)規(guī)模超千億，預(yù)訓(xùn)練語料超2萬億tokens，具備中文創(chuàng)作能力，復(fù)雜語境下的邏輯推理能力，以及任務(wù)執(zhí)行能力。

和其他模型相比，混元大模型的特點和優(yōu)勢是什么？澎湃新聞記者梳理發(fā)現(xiàn)，其最大特點是在解決“幻覺”能力上表現(xiàn)較為突出。所謂的“幻覺”，指的是大模型在回答提問時會出現(xiàn)答非所問、胡說八道的現(xiàn)象，騰訊混元大模型在預(yù)訓(xùn)練階段通過“探真”算法進行事實修正，實測幻覺率可以降低30%-50%。

“其他廠商往往會通過知識圖譜或是搜索外掛來讓大模型的檢索能力變得更加準(zhǔn)確，但使用外掛會導(dǎo)致新的幻覺出現(xiàn)，因此騰訊決定在大模型預(yù)訓(xùn)練階段就解決這個問題。”蔣杰表示。

此外，混元大模型還具備超長文本的處理能力，能夠提供超過4000字的長文回答，而在同樣的命題下只能提供超過1000字的問答。在數(shù)據(jù)源頭方面，蔣杰介紹，騰訊做小模型、大模型甚至大語言模型，都不會使用個人隱私數(shù)據(jù)。此外，騰訊的內(nèi)容產(chǎn)品，也為騰訊混元大模型提供了大規(guī)模、多樣化的語料庫，能夠?qū)W習(xí)到各類應(yīng)用場景中的語言知識和語境理解能力。

在具體指標(biāo)上，混元大模型在多個指標(biāo)上超越了，包括代碼子項、STEM子項、高考題子項和數(shù)學(xué)子項上，但和GPT-4還有距離。蔣杰表示，國內(nèi)的廠商在做大語言模型的時候，需要循序漸進，腳踏實地做好每一項技術(shù)突破，并且坦誠面對和國際廠商在技術(shù)上的一些差距。

外界好奇的是，為何騰訊在推出行業(yè)大模型后再次推出通用大模型？

此前湯道生曾提到，通用大模型可以在100個場景中，解決70%-80%的問題，但未必能100%滿足企業(yè)某個場景的需求。相比盲目使用通用大模型，企業(yè)基于行業(yè)大模型構(gòu)建自己的專屬模型，也許是更優(yōu)的選項。模型參數(shù)比通用大模型少，訓(xùn)練和推理的成本更低，優(yōu)化也更容易。

對此，湯道生告訴澎湃新聞記者，推出時間較晚是因為騰訊一直在研發(fā)和應(yīng)用的過程中。其實騰訊內(nèi)部早已開始內(nèi)測混元大模型，但在沒有經(jīng)歷充分的應(yīng)用融合和實踐前不會對外公布其具體進展，最終公布的成品，是經(jīng)過充分打磨后的，但依然會不斷更新和迭代。

大模型商業(yè)化究竟路在何方？

在“百模大戰(zhàn)”的熱度略有減退后，大模型的實際落地效能成為外界考量的重點。

談到混元大模型未來商業(yè)前景時，蔣杰坦言，在To B（企業(yè)）端產(chǎn)生商業(yè)收入還有待探索，因為目前混元大模型在面對成熟度和復(fù)雜任務(wù)的處理能力還不夠全面，因此對于較多專業(yè)場景不能充分解鎖，應(yīng)用有待完善。

“混元大模型一開始就不是為了發(fā)布而發(fā)布，而是根據(jù)騰訊自身應(yīng)用，例如微信、QQ等進行相關(guān)研發(fā)和匹配，提供互相深度融合的能力，才能抵消大模型背后的高昂設(shè)備、訓(xùn)練和人力成本。”蔣杰表示。

此前，百度智能云副總裁朱也在接受澎湃新聞記者在內(nèi)的媒體采訪時曾表示：“從衡量大模型本身的商業(yè)價值角度看，如果應(yīng)用不起來，整個大模型很難持續(xù)下去，確實是需要投入，整個生態(tài)起來、應(yīng)用繁榮很重要。我們判斷，偏向于營銷服務(wù)、辦公提效這兩個場景，可能會首先實現(xiàn)大規(guī)模落地，我認(rèn)為接下來幾個月能夠看到應(yīng)用逐漸落地，規(guī)模逐漸增大。”

對于大模型研發(fā)的高額成本，湯道生透露，騰訊內(nèi)部對于資源分配有傾斜性，混元大模型是騰訊內(nèi)部最重要的項目之一，因此會以第一優(yōu)先級進行考慮，目前公司內(nèi)部的人員配置和資源合作“跑得很順利”，但大模型的競爭尚在馬拉松的第一公里，可能要到3到5年后才能看到相應(yīng)回報。

就在不久前，百度宣布“文心一言”向全社會全面開放，還將開放一批經(jīng)過全新重構(gòu)的AI原生應(yīng)用，讓廣大用戶充分體驗生成式AI的理解、生成、邏輯、記憶四大核心能力。

混元大模型是否也將對外開放？對此，蔣杰表示，是否提供C端（消費者端）服務(wù)僅僅是時間和選擇的問題，“目前我們還是側(cè)重在內(nèi)部應(yīng)用場景中做嘗試，TO C與否只是一種‘開關(guān)’，做好自身能力、提高準(zhǔn)確性才是我們最為關(guān)注的。”

標(biāo)簽：