(資料圖)
ChatGPT是一款由美國OpenAI公司開發(fā)的自然語言人機交互應用，擁有接近人類水平的語言理解和生成能力，是迄今為止人工智能領域最成功的產(chǎn)品和歷史上用戶增長速度最快的應用程序。ChatGPT依賴大模型、大數(shù)據(jù)、大算力支撐，其出現(xiàn)標志著通用人工智能的起點和強人工智能的拐點，是里程碑式的技術進步，將引發(fā)新一輪人工智能革命。
國內(nèi)人工智能“大模型”已具備一定基礎，但與ChatGPT還存在一定差距，其背后面臨數(shù)據(jù)、算力和創(chuàng)新環(huán)境等深層次制約。需從戰(zhàn)略高度重視ChatGPT引發(fā)的新一輪人工智能革命，瞄準大模型、整合大數(shù)據(jù)、布局大算力，實施包容審慎監(jiān)管，為新事物發(fā)展留足空間，加快搶占未來科技競爭制高點。
ChatGPT具有里程碑意義
將引發(fā)新一輪人工智能革命
ChatGPT （Chat Generative Pre-trained Transformer，聊天生成型預訓練轉換模型） 是一款由美國OpenAI公司開發(fā)的自然語言人機交互應用，擁有接近人類水平的語言理解和生成能力，因其出色的回答問題、創(chuàng)作內(nèi)容、編寫代碼等能力，使得人們直觀真切地體會到人工智能技術進步帶來的巨大變革和效率提升，上線5天用戶突破100萬，兩個月活躍用戶突破1億，是迄今為止人工智能領域最成功的產(chǎn)品和歷史上用戶增長速度最快的應用程序。 ChatGPT是一個經(jīng)過長期技術儲備、通過大量資源投入、帶有一定成功偶然性的人工智能“核爆點”。 ChatGPT的發(fā)展經(jīng)歷了3個階段 （如下圖所示） ，前期GPT-1 （2018年） 、GPT-2 （2019年） 、GPT-3 （2020年） 等版本已經(jīng)投入了大量資源 （包括購買高性能芯片、雇傭數(shù)據(jù)標注人員、占用計算資源等） ，效果并不理想，后期在采用“基于強化學習的人類反饋學習”技術后發(fā)生“蝶變”，迅速成為爆款應用。 圖ChatGPT發(fā)展路徑 ChatGPT關鍵在于“三大支撐”。 一是“大模型” 。全稱是“大語言模型” （Large Language Model） ，指參數(shù)量龐大 （目前規(guī)模達千億級） 、使用大規(guī)模語料庫進行訓練的自然語言處理模型，是ChatGPT的“靈魂”。 二是“大數(shù)據(jù)” 。GPT-1使用了約7000本書籍訓練語言模型。GPT-2收集了Reddit平臺 （美國第五大網(wǎng)站，功能類似于國內(nèi)的百度貼吧） 800多萬個文檔的40GB文本數(shù)據(jù)。GPT-3使用維基百科等眾多資料庫的高質(zhì)量文本數(shù)據(jù)，數(shù)據(jù)量達到45TB，是GPT-2的1150倍。 三是“大算力” 。以GPT-3為例，其參數(shù)量達1750億，采用1萬顆英偉達V100 GPU組成的高性能網(wǎng)絡集群，單次訓練用時14.8天，總算力消耗約為3640PF-days （假如每秒進行一千萬億次計算，需要3640天） 。 ChatGPT標志著里程碑式的技術進步。 一是在最具挑戰(zhàn)性的自然語言處理領域實現(xiàn)了革命性突破。 相比視頻、圖像、語音等，自然語言的語法、語義、邏輯復雜，存在多樣性、多義性、歧義性等特點。文本數(shù)據(jù)稀缺，通常表現(xiàn)為非結構化的低質(zhì)量數(shù)據(jù)。自然語言處理任務種類繁多，包括語言翻譯、問答系統(tǒng)、文本生成、情感分析等。因此，長期以來自然語言處理被認為是人工智能最具挑戰(zhàn)性的領域。ChatGPT不僅實現(xiàn)了高質(zhì)量的自然語言理解和生成，并且能夠進行零樣本學習和多語言處理，為自然語言處理領域帶來了前所未有的突破。 二是標志著通用人工智能的起點。 在此之前，人工智能在不同場景應用需要訓練不同模型。而ChatGPT利用單一大模型即可完成人機對話、機器翻譯、編碼測試等多種任務，已經(jīng)具備通用人工智能的一些核心技術和特征：能夠自動化地學習各種知識、信息，不斷自我優(yōu)化；充分理解和流暢表達人類語言，邏輯推理強，實現(xiàn)了具備一般人類智慧的機器智能；擁有一定的自適應和遷移學習能力，可以適用于多種應用場景和任務。 三是代表著強人工智能的拐點。 ChatGPT證明了大模型的學習和進化能力，將推動強人工智能 （機器擁有知覺和意識，有真正的推理和解決問題的能力） 加速演進。目前大模型智能程度已接近人類水平，甚至一些業(yè)界人士認為，將來會逐漸產(chǎn)生自我認知和感知，進而出現(xiàn)意識并且超越人類。 全球通用人工智能技術加速演進。ChatGPT涉及到“三大”中的“大模型”是核心和獨門秘籍。當前，隱藏在ChatGPT背后的“大模型”正越來越多進入人們的視野。 國際上已掀起從“大煉模型”到“煉大模型”的技術熱潮。 OpenAI公司將繼續(xù)推進ChatGPT的模型演進，目前已發(fā)布多模態(tài)預訓練大模型GPT-4，實現(xiàn)了幾個方面躍升：強大的圖像識別能力；文字輸入上限提升到2.5萬字；回答問題準確性明顯提高；可以生成創(chuàng)意文本、歌詞，實現(xiàn)風格變化等。谷歌創(chuàng)設了1370億參數(shù)級大型自然語言對話模型LaMDA。當前正加快推出基于LaMDA的聊天機器人Bard，并動員全公司開展內(nèi)測。微軟與英偉達合作推出了5300億參數(shù)的MT-NLG模型，與兩家公司之前各自的系統(tǒng)相比，優(yōu)點在于更加擅長各種自然語言任務，例如自動生成句子、問答、閱讀和推理、詞義消岐等。Meta公司復現(xiàn)了GPT-3，并對所有社區(qū)免費開放。以ChatGPT為代表的人工智能大模型滲透到各行各業(yè)，將引發(fā)新一輪人工智能革命。從本質(zhì)上看，ChatGPT是一個“大模型” （參數(shù)量巨大的概率模型） ，其成功實踐充分證明了作為通用技術的大模型在人類社會各個方面布局應用的潛力。 一是成功探索了大模型的商業(yè)模式。 ChatGPT已經(jīng)應用于商用搜索引擎和辦公軟件，嵌入GPT-3.5的微軟必應搜索引擎可以更好理解和響應用戶查詢，提供更準確的搜索結果，嵌入GPT-4的Office軟件大幅提升了辦公效率。 二是短期來看大模型將替代服務業(yè)的一些工作。 ChatGPT可以完成各類文本生成任務，替代行政管理人員、科研人員、法律行業(yè)人士、媒體從業(yè)者、客服人員的部分工作。能夠編碼、檢測安全漏洞，替代軟件工程師的一些工作?？梢愿哔|(zhì)量完成語言間的轉換，替代翻譯人員的部分工作。 三是隨著大模型不斷滲透，人們的生產(chǎn)生活方式將發(fā)生深刻變革。 在不久的將來，廣泛開發(fā)應用的大模型將以超出人類的速度和準確性來執(zhí)行自動化生產(chǎn)、智能制造任務，賦能交通、醫(yī)療、金融等各個行業(yè)。這將會引發(fā)以強人工智能和通用人工智能為代表的新一輪智能革命，大幅提高生產(chǎn)效率，帶來經(jīng)濟、社會和產(chǎn)業(yè)的深刻變革。
表ChatGPT主要應用場景
我國人工智能“大模型”
現(xiàn)狀與面臨的問題
國內(nèi)大模型已具備一定基礎，但與ChatGPT還存在一定差距。一是百度自主研發(fā)的“文心”大模型，參數(shù)規(guī)模達2600億，已在能源、金融、制造等領域發(fā)布了11個行業(yè)大模型。二是阿里達摩院推出10萬億參數(shù)的多模態(tài)M6大模型。三是華為與鵬城實驗室合作開發(fā)的盤古大模型，是首個全開源2000億參數(shù)中文預訓練語言模型，在知識問答、知識檢索、知識推理、閱讀理解等文本生成領域表現(xiàn)突出。四是北京智源人工智能研究院推出1.75萬億參數(shù)的悟道2.0，可以同時處理中英文和圖片數(shù)據(jù)。浪潮和中科院也分別推出了相應的大模型等。 從技術能力來看，專家判斷當前國內(nèi)技術比ChatGPT主要差在大模型環(huán)節(jié)，包括清洗、標注、模型結構設計、訓練推理的技術積累。ChatGPT背后是文本/跨模態(tài)大模型、多輪對話、強化學習等多技術的融合創(chuàng)新，而國內(nèi)大部分科技企業(yè)、科研院所多聚焦垂直應用，缺乏多技術融合創(chuàng)新能力。從落地應用來看，國內(nèi)頭部企業(yè)均表示已開展相關技術研發(fā)或部分模型進入內(nèi)測階段，但仍未出現(xiàn)與ChatGPT抗衡的大模型產(chǎn)品。加之大模型的訓練成本較高，技術應用面臨著億元級研發(fā)投入和海量訓練試錯，國內(nèi)企業(yè)投入嚴重不足，研發(fā)推廣和產(chǎn)業(yè)落地整體落后于海外。 差距背后存在深層次制約因素，或使中美“大模型”差距進一步拉大，主要表現(xiàn)為三個“缺少”： 缺少高質(zhì)量訓練數(shù)據(jù)。 GPT-3模型訓練需要的語料75%是英文，3%是中文，還有一些西班牙文、法文、德文等語料集，這些學習語料可通過公開數(shù)據(jù) （如維基百科、百度百科、微博、知乎等） 、開源數(shù)據(jù)集、網(wǎng)頁爬?。? 訓練GPT-3爬取了31億個網(wǎng)頁，約3000億詞） 、私有數(shù)據(jù)集 （如OpenAI的WebText數(shù)據(jù)集，收集了Reddit平臺上的800萬篇高贊文章，約150億詞） 等方式獲取。這些語料中，英文語料公開數(shù)據(jù)更多、質(zhì)量更高。中文開源高質(zhì)量數(shù)據(jù)少，特別是構建通用領域大模型的百科類、問答類、圖書文獻、學術論文、報紙雜志等高質(zhì)量中文內(nèi)容。同時，國內(nèi)專業(yè)數(shù)據(jù)服務還處于起步階段，可用于人工智能模型訓練的經(jīng)過加工、清洗、標注的高質(zhì)量數(shù)據(jù)集還相對匱乏。缺少高質(zhì)量訓練數(shù)據(jù)已成為國內(nèi)大模型訓練的核心痛點。 缺少充足的智能算力支撐。 一是大模型訓練和運營算力成本高昂。訓練階段，目前業(yè)界測算ChatGPT訓練成本約為1000萬美元，為研發(fā)擁有部分ChatGPT能力的大模型，至少需要上千張A100訓練卡。運營階段，ChatGPT云計算成本每日約200萬美元。二是缺乏大規(guī)模并行計算工程能力。滿足大模型訓練的算力需求不僅需要數(shù)量巨大的高性能GPU，更需要面向人工智能高度優(yōu)化的云計算平臺和相應的工程能力。三是采購國外先進GPU受限，國產(chǎn)算力尚未成熟到支撐大模型研發(fā)。國產(chǎn)智能芯片不僅在算力、帶寬等性能上同英偉達A100、H100芯片有差距 （這兩款都在美方對華禁售之列） ，支持自然語言處理和大模型訓練的算子庫也不夠成熟，國產(chǎn)替代仍有軟硬適配等技術問題尚待持續(xù)優(yōu)化與解決。四是人工智能算力市場和服務市場“碎片化”加劇。全國多地主導建設近百個智算中心，形成一個個孤立破碎的人工智能算力和服務小市場，中國大市場優(yōu)勢被消解。缺少適合大模型研發(fā)特點的機制。 一是力量分散。人工智能大模型具有長周期、重投入、高風險等特點。國內(nèi)企業(yè)、高校在“大模型”“大數(shù)據(jù)”“大算力”等方面各有側重，研發(fā)力量分散，資源缺乏整合，沒有與OpenAI技術實力對標的企業(yè)。二是資金投入不足，企業(yè)受盈利壓力很難長期維持高投入。政府項目的支持力度與所需投入相比仍顯乏力，決策周期長。三是領軍人才和核心團隊缺乏。ChatGPT團隊共87人，絕大多數(shù)擁有世界名校學歷和知名企業(yè)工作經(jīng)歷。而國內(nèi)人工智能頂級人才分散在不同機構中，很難形成掌握核心技術并且有強大工程能力和項目經(jīng)驗的領軍人物和團隊。
相關政策建議
人工智能大模型具有重要的戰(zhàn)略意義，是未來科技競爭的制高點，也是重要的智能基礎設施。需從戰(zhàn)略高度重視ChatGPT引發(fā)的新一輪人工智能革命，從算法、算力、數(shù)據(jù)等方面加快布局和突破，構建包容創(chuàng)新的監(jiān)管環(huán)境，積極應對新一輪人工智能科技競爭。 一是瞄準通用人工智能“大模型”發(fā)力，加快推動大規(guī)模應用。 基于通用數(shù)據(jù)集的大模型是人工智能走向商業(yè)化應用落地的重要手段，將帶動新的產(chǎn)業(yè)和服務應用范式。建議加快自然語言處理、計算機視覺以及多模態(tài)大模型攻關。同時，在細分領域構筑優(yōu)勢，進一步深耕垂直領域，從實際場景中積累行業(yè)數(shù)據(jù)和知識，加快孵化人臉識別、音頻生產(chǎn)、財務分析、法律服務、教育培訓等行業(yè)大模型，逐步完善模型架構、提升參數(shù)數(shù)量，推進應用落地。 二是整合“大數(shù)據(jù)”，聚焦打造專業(yè)數(shù)據(jù)服務。 訓練大模型需要優(yōu)質(zhì)的大數(shù)據(jù)集合，有些數(shù)據(jù)還需要人工標注。收集和清洗數(shù)據(jù)是一項耗時較長的基礎性工作，其質(zhì)量直接決定模型的智能程度。建議加快推動數(shù)據(jù)資源整合共享和開發(fā)利用。ChatGPT的成功因素之一是擁有大量的優(yōu)質(zhì)訓練數(shù)據(jù)。我國具備海量數(shù)據(jù)和豐富應用場景，建議進一步促進圖書、期刊和傳統(tǒng)行業(yè)的優(yōu)質(zhì)數(shù)據(jù)開放，激發(fā)數(shù)據(jù)要素活力。制定政府公共數(shù)據(jù)資源開放清單，開展數(shù)據(jù)資源開放試點，優(yōu)先開放高價值、低敏感、數(shù)據(jù)量大的民生公共數(shù)據(jù)，逐步開放公共數(shù)據(jù)庫、專業(yè)數(shù)據(jù)庫等。培育專業(yè)數(shù)據(jù)服務商，培育壯大數(shù)據(jù)采集、標注、清洗等服務產(chǎn)業(yè)。擴大優(yōu)質(zhì)數(shù)據(jù)供給，特別是加快推進歷年來中文圖書、紙質(zhì)文獻等的數(shù)字化，搭建用于人工智能大模型訓練的優(yōu)質(zhì)數(shù)據(jù)集，擴大面向人工智能大模型的數(shù)據(jù)供給。 三是布局“大算力”，聚焦建立算力統(tǒng)一大市場。 充分發(fā)揮市場機制的作用，堅決遏制低水平、不可持續(xù)、缺乏商業(yè)閉環(huán)的智算中心盲目建設，避免算力市場和人工智能服務市場的碎片化。支持圍繞云計算建設的各類行業(yè)訓練數(shù)據(jù)集、人工智能訓練平臺，形成從理論模型創(chuàng)新、模型工程化到場景化服務的技術和商業(yè)閉環(huán)，構建統(tǒng)一、開放、有序的人工智能產(chǎn)業(yè)大生態(tài)。建立人工智能計算資源共享名錄，支持各省市超算中心、算力平臺、行業(yè)訓練數(shù)據(jù)集、人工智能訓練平臺等人工智能基礎設施資源開放共享。 四是支持以頭部企業(yè)為主體，推動形成人工智能“大模型”攻堅合力。 加大對頭部企業(yè)開展大模型核心技術攻關的支持力度，發(fā)揮重點企業(yè)和研究機構的數(shù)據(jù)、算力、算法和人才優(yōu)勢，聯(lián)合產(chǎn)業(yè)鏈上下游企業(yè)、高校院所、新型研發(fā)機構，協(xié)同開展科研攻關，加快推出國產(chǎn)大模型拳頭產(chǎn)品。五是實施包容審慎的監(jiān)管，為新生事物發(fā)展留足空間。 類ChatGPT產(chǎn)品作為新生事物，不可能十全十美，鼓勵發(fā)展是主旋律。ChatGPT初期也會不斷“犯錯誤”，但其自身也逐步建立了技術機制，針對內(nèi)容、倫理等相關風險進行了過濾與阻斷，經(jīng)過用戶反饋、專家機制優(yōu)化迭代后逐步成熟完善。依托優(yōu)良的網(wǎng)絡環(huán)境，豐富的內(nèi)容治理經(jīng)驗，以及完善的AI監(jiān)管框架，我國完全具備對于以ChatGPT為代表的人工智能大模型技術治理自信。因此，面對可能出現(xiàn)倫理、數(shù)據(jù)、輿情等風險，要建立容錯機制，實行沙盒監(jiān)管和敏捷治理，實現(xiàn)規(guī)范與發(fā)展的動態(tài)平衡。
關鍵詞：
責任編輯：Rex_23
