“百模”賽事正酣 路徑演變多端

過去的三個月里，大模型如雨后春筍般涌現(xiàn)。根據(jù)《中國人工智能大模型地圖研究報告》不完全統(tǒng)計，目前國內(nèi)已經(jīng)發(fā)布了79個參數(shù)規(guī)模在10億以上的大模型，可以說“百模大戰(zhàn)”已經(jīng)開始了。

行業(yè)沸騰的背后，各家模型實(shí)力究竟如何？大模型技術(shù)未來將會如何演進(jìn)？它會為我們的生活帶來哪些改變？近日，在舉辦的“21科技峰會·潮起AIGC：大模型崛起”閉門研討會上，多位業(yè)內(nèi)專家、企業(yè)代表圍繞技術(shù)演進(jìn)、應(yīng)用創(chuàng)新以及行業(yè)監(jiān)管等方向進(jìn)行了深入討論。

(資料圖片僅供參考)

對于此輪AI技術(shù)的爆發(fā)，中國信通院云大所內(nèi)容科技部副主任劉碩認(rèn)為，以大模型為代表的深層次AI技術(shù)，目前應(yīng)用場景還比較局限，結(jié)合相關(guān)企業(yè)進(jìn)展來看，行業(yè)總體上仍然處于發(fā)展的早期階段。關(guān)于AI技術(shù)可能存在的一些誤判，在于長期內(nèi)低估以及短期內(nèi)高估。

一方面，大模型技術(shù)潛力在業(yè)界已經(jīng)有了相當(dāng)充足的論證，未來在產(chǎn)業(yè)技術(shù)革新上的推動價值不能忽視。另一方面，大量企業(yè)機(jī)構(gòu)一窩蜂地投入到大模型研發(fā)上，也可能會產(chǎn)生擠占其它需要長期探索的技術(shù)所需資源的問題。

算力成“繞不開”的門檻

2018年6月，OpenAI發(fā)布了GPT-1，至目前迭代到GPT-4，是當(dāng)前最為強(qiáng)大的語言模型，在GPT-1發(fā)布兩個月后，谷歌發(fā)布了BERT模型，在參數(shù)量上，3億的BERT遠(yuǎn)超1.2億的GPT-1。

此后，F(xiàn)acebook（Meta）、百度等國內(nèi)外研究團(tuán)隊也隨之跟進(jìn)，紛紛加入大模型研發(fā)的隊伍中，大語言模型的時代大幕也正式揭開。

在此背景下，大模型參數(shù)量開始指數(shù)級增長：2019年2月發(fā)布的GPT-2參數(shù)量增長至15億；2020年5月發(fā)布GPT-3參數(shù)量更是飆升至1750億。直至今日，GPT-3不僅能夠生成流暢自然的文本，還能完成問答、翻譯、創(chuàng)作小說等一系列NLP（自然語言處理）任務(wù)，甚至能進(jìn)行簡單的算術(shù)運(yùn)算。

參數(shù)規(guī)模狂飆的同時，AI的算力需求也在飛速增長。簡單來說，大模型算力需求主要分布在訓(xùn)練和推理兩個環(huán)節(jié)，其中訓(xùn)練算力占據(jù)大頭，根據(jù)OpenAI的公開數(shù)據(jù)，ChatGPT訓(xùn)練算力消耗達(dá)到3640PF-days，也就是說按照每秒計算一千萬億次的速度，需要計算3640天。

以英偉達(dá)針對AI訓(xùn)練提供的DGX A100系統(tǒng)為例，該服務(wù)器包含8張A100芯片并可提供5PetaFLOP的算力。微軟在2019年與OpenAI達(dá)成合作關(guān)系后，其為OpenAI構(gòu)建的AI超級計算機(jī)配備了上萬張A100芯片。

在供不應(yīng)求的情況下，目前單張A100芯片售價就已經(jīng)達(dá)到近10萬元，在大模型訓(xùn)練環(huán)節(jié)，僅芯片這一項硬件投資規(guī)模就達(dá)到10億元。

盡管諸多行業(yè)玩家嘗試以更小的參數(shù)量的模型追平ChatGPT，但業(yè)界公認(rèn)只有千億參數(shù)規(guī)模以上的大模型，才可能“涌現(xiàn)”出大模型獨(dú)有的泛化能力。

多位與會嘉賓也在會上表示了認(rèn)同，算力成為大模型競賽中幾乎無法繞開的門檻。

“對于打造大模型，我們說從0分到60分很簡單，60分到80分也沒那么難。但是從80分到90分，甚至再往前走的時候，投入就會非常巨大，如果要對標(biāo)GPT-4這類模型，對算力、調(diào)優(yōu)、部署以及團(tuán)隊的工程經(jīng)驗等一系列環(huán)節(jié)，都提出了極高的要求。”中興通訊首席發(fā)展官崔麗表示。

未來如何演進(jìn)

多位與會嘉賓共同認(rèn)為，更大參數(shù)、更多模態(tài)仍然會是未來大模型技術(shù)的重要進(jìn)化方向。

目前，ChatGPT屬于NLP領(lǐng)域的單模態(tài)模型，盡管擅長理解和生成文本，但不支持從文本生成圖片、音頻、視頻等功能，升級至GPT-4之后，開始轉(zhuǎn)向多模態(tài)，支持輸入圖像或文本后生成文本。另一邊，在視覺創(chuàng)作領(lǐng)域掀起革命的模型，也僅支持文到圖的單一跨模態(tài)功能。因此，打通各種模態(tài)能力，實(shí)現(xiàn)任意模態(tài)之間轉(zhuǎn)化，成為大模型的未來發(fā)展的重要方向。

在AI技術(shù)爆發(fā)的過程中，另一個不容忽視的趨勢是，GPT-4等頂尖模型都在走向封閉。

“從GPT-3開始，OpenAI不再開源模型和代碼，過程中更關(guān)鍵的數(shù)據(jù)處理和微調(diào)技術(shù)細(xì)節(jié)全部沒有。到GPT-4發(fā)布時，OpenAI更是明確宣布架構(gòu)、硬件、訓(xùn)練、數(shù)據(jù)構(gòu)建、訓(xùn)練方法等技術(shù)細(xì)節(jié)全都不再公開，在大模型上迅速跟進(jìn)的谷歌也是一樣，第一代PaLM模型還有很多信息提供出來，到PaLM-2也同樣的開始不完全公開，包括最近一段時間，也有很多消息講谷歌未來會推遲或減少相關(guān)論文的發(fā)表。”華為昇思MindSpore營銷總監(jiān)戴金偉在會上表示。

而在崔麗看來，未來大模型發(fā)展路線上將會是開源和閉源并存，OpenAI在自身發(fā)展到一定階段后，出于某些考量選擇了閉源，但這不意味著未來大模型會完全走向封閉，值得注意的是，以Meta、Hugging Face為代表的開源勢力也同樣在不斷壯大與飛速進(jìn)步。

“一方面，OpenAI等企業(yè)會繼續(xù)向著通用人工智能的方向努力，延承‘暴力美學(xué)’，做更大的模型、更多的參數(shù)、更多的模態(tài)，探索大模型的天花板，另一個方向是針對GPT-4的黑盒去倒推，雖然像開源模型這些開放資源，目前的效果可能會差一些，但在大幅度降低大模型技術(shù)的參與門檻后，探索垂直場景下GPT-4能力復(fù)現(xiàn)也很值得嘗試。”崔麗分析指出。

今年2月底，Meta開源了參數(shù)量從70億到650億不等的LLaMA系列大模型，迅速點(diǎn)燃開源社區(qū)的創(chuàng)新熱情，斯坦福大學(xué)、加州大學(xué)伯克利分校等機(jī)構(gòu)陸續(xù)推出了Alpaca、Vicuna等多個開源大模型，開源社區(qū)內(nèi)迅速聚集起“羊駝”生態(tài)。

“雖然目前以GPT-4為代表的閉源模型目前處于領(lǐng)先，但在垂直場景等方面，迭代更快、成本更低的開源模型也完全有機(jī)會做出優(yōu)勢。”崔麗分析表示。

尋找商業(yè)閉環(huán)

“我們回看IT時代，CPU剛出來的時候，大家都覺得這個東西計算能力很強(qiáng)，于是想著把各種業(yè)務(wù)問題轉(zhuǎn)換成計算問題，到今天AIGC涌現(xiàn)，所以我們看大家都在想辦法把實(shí)際業(yè)務(wù)問題變成一個chat問題。”有參會嘉賓表示。

亞馬遜云科技資深解決方案架構(gòu)師經(jīng)理、數(shù)據(jù)分析專家郭立表達(dá)了同樣的觀點(diǎn)，“在一些基礎(chǔ)的UI設(shè)計以及代碼工作中，已經(jīng)能夠看到大模型展現(xiàn)出很強(qiáng)的可替代性，我們只需把需求要告訴ChatGPT，它就能夠輸出高質(zhì)量代碼等內(nèi)容，這就讓未來的工作方式變成了怎樣去精準(zhǔn)定義問題，從招聘角度有可能未來演變成公司傾向于招一個能夠把事情講清楚的員工。”

與此同時，大模型對于內(nèi)容的理解，使得在涉及處理海量信息的問題上，AI應(yīng)用的想象空間也在極速擴(kuò)容。盡管在降本增效的方向上，新能力涌現(xiàn)的AI并不缺少落地場景，但多位與會嘉賓共同指出，構(gòu)建商業(yè)閉環(huán)仍然是AI技術(shù)落地的核心。

云從科技數(shù)據(jù)研究院院長姜迅認(rèn)為，AIGC帶來的是范式的變化，“過去每一個任務(wù)都需要做單獨(dú)訓(xùn)練，這導(dǎo)致AI公司陷入一個困境：盡管能看到各行各業(yè)對于AI技術(shù)的需求，比如監(jiān)測雞屎顏色來判斷雞的健康情況、檢驗螺絲釘有沒有裂紋等等，但這些小的需求沒有辦法建立起正的商業(yè)循環(huán)，干了就虧，不干又感覺錯過了一個機(jī)會。”也有與會嘉賓將此形容為“為了喝一口水，挖了一口井”。

“預(yù)訓(xùn)練大模型其實(shí)很好地解決了這個問題，我們確定了基礎(chǔ)模型以后，只需要在這個基礎(chǔ)上加入新的知識，原有投入得到了保護(hù)，同時隨著大量的模型開源，行業(yè)問題也可以基于這些開源模型以更低的成本去做，對于整個社會的算力資源也是一種保護(hù)。”姜迅在會上表示。

“雖然很多實(shí)際場景問題都能夠用AI解決，但問題是客戶愿意在這上面花多少錢，像檢驗螺絲釘有沒有裂紋，客戶的預(yù)算頂破天也就二十萬，遠(yuǎn)遠(yuǎn)不夠覆蓋AI團(tuán)隊的支出。AI用起來不劃算是傳統(tǒng)行業(yè)AI技術(shù)落地緩慢的主要原因。而AI之所以在互聯(lián)網(wǎng)、金融等行業(yè)走得更快，是因為廣告推薦精準(zhǔn)度以及風(fēng)險控制效果提升一兩個點(diǎn)，都會為企業(yè)帶來巨大的收益，所以我們看AI的應(yīng)用市場呈現(xiàn)明顯的兩極分化。單純講降本增效是有些理想化，更多應(yīng)該圍繞主營業(yè)務(wù)，探索AI技術(shù)能夠帶來哪些實(shí)質(zhì)性經(jīng)營價值。”戴金偉進(jìn)一步分析指出。

“百模大戰(zhàn)”

隨著各個領(lǐng)域的大模型涌現(xiàn)，與會嘉賓們也分享了諸多關(guān)于“百模大戰(zhàn)”的思考。

盡管在GPT-3以前的版本中，Open AI選擇了開源，模型的基本結(jié)構(gòu)都已經(jīng)通過論文等方式公開，但各廠商由于在工程實(shí)踐方面的差距，包括在數(shù)據(jù)的清洗、標(biāo)注以及模型的微調(diào)、訓(xùn)練方法等方面，仍需要長時間的研發(fā)投入和經(jīng)驗積累。如何判斷各家的技術(shù)優(yōu)劣以及與頭部模型的差距？

有與會嘉賓指出，相比于更加權(quán)威的專業(yè)測試題庫，支撐各個廠家“通用領(lǐng)域追平ChatGPT、垂直領(lǐng)域反超GPT-4”說法的數(shù)據(jù)樣本遠(yuǎn)遠(yuǎn)不足。

“比如GPT-3在論文里公布了TriviaQA的測試結(jié)果，TriviaQA里面包含六十多萬道不同領(lǐng)域的題目，對于這樣一些值得參考的成績，我們目前卻沒有看到其它廠商們公布自家模型的相關(guān)測試結(jié)果，如果僅憑一些單點(diǎn)測試，其實(shí)沒有辦法判斷與OpenAI之間真實(shí)的差距。”上述與會嘉賓表示。

另一位智能駕駛行業(yè)的與會嘉賓則分享了垂直行業(yè)對大模型技術(shù)的思考，“在每一個行業(yè)的應(yīng)用場景里，都會積累很多技術(shù)秘密，這個過程中沉淀下來的東西就已經(jīng)可以進(jìn)行高中低頻的分析。中高頻需求其實(shí)是相對固定的，通過適當(dāng)?shù)牟眉糇尨竽Ｐ透玫慕鉀Q實(shí)際問題，是一個比較可行的路徑。比如我們認(rèn)為語音可能取代按鍵成為未來人車交互的主流方式，而出行場景中的語音交互最需要的是快速高效響應(yīng)，在本地化部署的過程中，我們的思路也是通過蒸餾和裁剪大模型，犧牲部分推理能力以換取更好的理解能力。”

在與會嘉賓們看來，未來更加關(guān)注實(shí)現(xiàn)某種功能的最低算力需求是多少，以及在硬件范圍內(nèi)能夠提供哪些能力？同時也會加強(qiáng)邊緣側(cè)和端側(cè)的計算水平。

監(jiān)管如何引導(dǎo)

另一方面，在全球范圍內(nèi)，各經(jīng)濟(jì)體也在逐步重視對AIGC的監(jiān)管力度，其中也不乏企業(yè)與監(jiān)管間的沖突。

歐盟在5月11日通過《AI法案》提案的談判授權(quán)草案，禁止“對人類安全造成不可接受風(fēng)險的AI系統(tǒng)”，并要求AI公司對其算法保持人為控制，提供技術(shù)文件，且為高風(fēng)險應(yīng)用建立風(fēng)險管理系統(tǒng)。

而作為此輪技術(shù)革命的領(lǐng)頭羊，OpenAI CEO Sam Altman卻在近日公開表示，如果無法遵守歐盟即將出臺的AI法規(guī)，該公司可能會考慮退出歐洲市場，“目前的歐盟AI法案草案將會造成過度監(jiān)管的情況，但我們聽說它將回調(diào)。”

在預(yù)防技術(shù)風(fēng)險之外，也有業(yè)內(nèi)觀點(diǎn)指出，此輪AI產(chǎn)業(yè)仍處在發(fā)展初期，不應(yīng)該追求零風(fēng)險而犧牲發(fā)展效率。APUS高級技術(shù)總監(jiān)朱傳奇則聯(lián)想到2018年歐盟出臺的GDPR（《通用數(shù)據(jù)保護(hù)條例》），有統(tǒng)計數(shù)據(jù)顯示受GDPR影響的公司平均預(yù)計利潤下降8.1%，對于中小企業(yè)來說，既要面臨合規(guī)成本問題，還要在與大企業(yè)的競爭劣勢下做創(chuàng)新，受到影響更加明顯，如何在監(jiān)管中照顧到中小企業(yè)發(fā)展是未來非常值得思考的問題。

一直以來，國內(nèi)應(yīng)用層創(chuàng)新更加活躍已成業(yè)內(nèi)共識。劉碩卻注意到，以GPT為代表的大模型出來以后，國外的AIGC應(yīng)用層出不窮，國內(nèi)由于缺乏相對成熟的接口產(chǎn)品以及監(jiān)管層面的原因，反倒要落后一些。

“我們應(yīng)該從工具視角去看待AI，技術(shù)落地應(yīng)用時，大廠的價值觀就非常重要，因為它有更多的資源、技術(shù)和先發(fā)優(yōu)勢，在這種情況下可以建立一些相對嚴(yán)格的規(guī)則去引導(dǎo)行業(yè)有序發(fā)展。相比之下，對于中小企業(yè)可以提供更加寬松的監(jiān)管環(huán)境，會讓行業(yè)發(fā)展創(chuàng)新變得更加多元和富有生命力。”崔麗表示。

業(yè)內(nèi)對于AI監(jiān)管也有諸多討論。3月29日，圖靈獎得主Yoshua Bengio、馬斯克等人聯(lián)名發(fā)表公開信，呼吁所有AI實(shí)驗室立即暫停訓(xùn)練比GPT-4更強(qiáng)大的AI系統(tǒng)，為期至少6個月，以確保人類能夠有效管理其風(fēng)險。

這也引來Meta首席人工智能科學(xué)家楊立昆等行業(yè)大牛的批評，并將AI威脅論視為蒙昧主義。

“由于過往對于技術(shù)進(jìn)步的預(yù)期往往是線性的，當(dāng)GPT-4以指數(shù)級成長的速度出現(xiàn)時，讓幾乎所有人都始料不及，”與會嘉賓談到，“AI總有一天會超過人類的認(rèn)知和智慧，到那時對人類生存就必然構(gòu)成潛在威脅，舉個可能不太恰當(dāng)?shù)睦樱?dāng)機(jī)器人覺得生銹是一件很討厭的事情，于是決定把空氣里的氧氣抽干凈，人類肯定不能接受，因此將機(jī)器和人類的價值觀對齊，一直是一項艱難且極其重要的研究課題。”

標(biāo)簽：