創(chuàng )投大咖說(shuō)·專(zhuān)訪(fǎng)陳朝暉博士：預訓練大模型在行業(yè)中的應用

       陳朝暉博士，江蘇省雙創(chuàng )人才、滿(mǎn)幫集團首席科學(xué)家 ，負責滿(mǎn)幫大數據平臺和數據創(chuàng )新業(yè)務(wù)。加入滿(mǎn)幫前，為阿里云大數據人工智能研究員，負責城市大腦數據資源平臺和算法的研發(fā)和交付。加入阿里云之前是硅谷創(chuàng )業(yè)公司Celential.ai的聯(lián)合創(chuàng )始人。陳朝暉畢業(yè)于西安交通大學(xué)，在美國哈佛大學(xué)工程和應用科學(xué)學(xué)院獲得PhD，曾長(cháng)期在硅谷Oracle，Yahoo，eBay等知名互聯(lián)網(wǎng)企業(yè)擔任技術(shù)研發(fā)和技術(shù)管理工作。

　　前言：

　　人工智能技術(shù)的發(fā)展與成功應用已經(jīng)成為21世紀科技領(lǐng)域最大的新現象。從目前的進(jìn)展來(lái)看，科學(xué)地理解人工智能原理已經(jīng)超出了現有科學(xué)體系的范疇。顯然，人工智能是人類(lèi)科學(xué)技術(shù)發(fā)展的產(chǎn)物，人工智能科學(xué)也將是人類(lèi)科學(xué)進(jìn)步與發(fā)展必然實(shí)現的目標。

　　大型語(yǔ)言模型是包含了數百億以上模型參數的深度神經(jīng)元網(wǎng)絡(luò )，它使用自回歸學(xué)習方法通過(guò)大量無(wú)標注文本、圖像進(jìn)行訓練。自2018年以來(lái)，Google、OpenAI、Meta、百度、華為等公司和研究機構都相繼發(fā)布了包括BERT，ChatGPT等在內多種模型，并在幾乎所有自然語(yǔ)言處理任務(wù)中都表現出色。2019年大模型呈現爆發(fā)式的增長(cháng)，2022年11月ChatGPT 3.5發(fā)布，用戶(hù)可以使用自然語(yǔ)言與系統交互，從而實(shí)現包括問(wèn)答、分類(lèi)、摘要、翻譯、聊天等各種任務(wù)。

　　隨著(zhù)ChatGPT火爆出圈，AI領(lǐng)域又迎來(lái)了新的一輪投資熱潮。大模型展現出了強大的對人類(lèi)自然語(yǔ)言以及世界知識的掌握和理解能力，通過(guò)多模態(tài)數據的增強，它同時(shí)還具備了對圖形、圖像、音頻數據的理解和推理能力，這引發(fā)了人們對于大模型技術(shù)和應用的廣泛關(guān)注。創(chuàng )投集團邀請到了滿(mǎn)幫集團首席科學(xué)家陳朝暉博士，和我們一同解讀預訓練大模型在各行業(yè)中的影響。

　　創(chuàng )投集團：預訓練大模型持續火爆，在A(yíng)I領(lǐng)域為什么會(huì )形成這樣的熱點(diǎn)?

　　陳朝暉博士：基于信息檢索的知識問(wèn)答系統很早就有嘗試，與谷歌同期在硅谷有一家創(chuàng )業(yè)公司PowerSet，直接從各類(lèi)網(wǎng)頁(yè)內容中總結出答案反饋給用戶(hù)。谷歌也基于相似的理念推出了自己的知識搜索服務(wù)(Knowledge Search)集成在自己的網(wǎng)頁(yè)搜索結果頁(yè)面中。本世紀初算力與存儲的爆發(fā)式增長(cháng)促進(jìn)了機器學(xué)習中神經(jīng)元網(wǎng)絡(luò )規模的大幅提升，各類(lèi)基于深度學(xué)習的模型取得了重要的突出。OpenAI經(jīng)過(guò)了一個(gè)相當長(cháng)的研發(fā)歷程，從ChatGPT 1.0一直持續投入，堆積了在過(guò)去看來(lái)天量的計算資源，直到最近推出目前最新的ChatGPT 4.0 Turbo。最新的大模型展現出了對人類(lèi)對話(huà)深度的理解能力，除了知識整合之外，還具備了很高的推理邏輯性。在特定領(lǐng)域，通過(guò)海量數據的學(xué)習，模型已然形成了超出普通人類(lèi)的理解和推理能力。OpenAI團隊自己也表示對ChatGPT所涌現出的“智力”無(wú)法完全理解?？梢员容^確定地說(shuō)，大部分行業(yè)都將面臨大模型的重塑和改造。

　　創(chuàng )投集團：大模型相較于傳統機器學(xué)習有哪些異同點(diǎn)?

　　陳朝暉博士：機器學(xué)習早期研究的主要工作大量聚集在特征維度的提取和選擇上，這些維度包括自然屬性特征、統計特征和各類(lèi)人類(lèi)根據業(yè)務(wù)場(chǎng)景主觀(guān)設計的特征或者說(shuō)標簽。深度學(xué)習實(shí)現了特征自動(dòng)化抽取，但仍然依賴(lài)一個(gè)復雜的優(yōu)化過(guò)程，特別是訓練數據集合的選擇。而預訓練大模型通過(guò)大量地“投喂”通用數據，捕捉到了語(yǔ)料中存在的統計意義上的規律。傳統的機器學(xué)習方法，遇到新問(wèn)題通常需要重新構建完整的訓練數據集，與此不同的是，預訓練大模型由于有事前巨量預訓練的支撐，對于各個(gè)垂類(lèi)領(lǐng)域通常只需要相對少量數據和提示詞(prompting)訓練，就可以有不錯表現。深度學(xué)習為大模型的研究帶來(lái)了巨大的推動(dòng)力，大模型當前所展現的能力主要受益于以下幾個(gè)關(guān)鍵因素的推動(dòng)：1)大規模、多模態(tài)訓練數據集合;2)近乎無(wú)限的超強計算能力(成本不低);3)使用更為先進(jìn)學(xué)習框架，例如Transformer架構就比之前的CNN卷積神經(jīng)元網(wǎng)絡(luò )更容易提取上下文注意力(Attention)。

　　創(chuàng )投集團：基于大模型的盈利模式有哪些?

　　陳朝暉博士：大模型的商業(yè)變現非常重要，與巨大的投入成本相比，當前的收入能否覆蓋各項成本支出仍未可知。目前，我們可知的主要商業(yè)落地的方法如下：1)基于通用大模型的基礎服務(wù)：算法服務(wù)調用可以作為標準化的產(chǎn)品進(jìn)行售賣(mài)，形成類(lèi)似于云計算資源的服務(wù)提供商。這一部分各個(gè)大模型會(huì )在廠(chǎng)商服務(wù)的比較中表現出優(yōu)勢，國外如OpenAI、國內如智譜AI等都表現的不錯。2)部分領(lǐng)域也會(huì )出現垂類(lèi)大模型應用，通過(guò)對行業(yè)/產(chǎn)業(yè)知識、問(wèn)題的適配，提供特定領(lǐng)域的專(zhuān)項服務(wù)。例如Stability AI推出的文生圖和圖生圖，公司在對輸出圖片結果質(zhì)量上的控制占據了明顯的技術(shù)優(yōu)勢，因此吸引了一批用戶(hù)。3)各個(gè)細分行業(yè)企業(yè)內部也會(huì )基于各類(lèi)開(kāi)源預訓練大模型，構建各自賽道上的大模型應用，幫助行業(yè)消減人力成本和溝通成本。大模型的價(jià)值目前主要還體現在“降本”這一側，能否因為大模型的推動(dòng)產(chǎn)生新的業(yè)務(wù)需求，這也是一個(gè)非常值得關(guān)注的領(lǐng)域。目前看這方面的進(jìn)展還比較有限。

　　創(chuàng )投集團：結合您所從事的行業(yè)，請介紹在大模型如何得到運用?

　　陳朝暉博士：滿(mǎn)幫集團是國內最大的公路貨運車(chē)貨匹配信息平臺，積累了大量運輸場(chǎng)景的數據包括貨、車(chē)、路、人、場(chǎng)五個(gè)方面。不同于滴滴等客運平臺的直接派單機制，貨運訂單的達成存在更長(cháng)時(shí)間的溝通過(guò)程。目前公路貨運下單平均單價(jià)約2000元，在交易過(guò)程中，貨主和車(chē)主的決策流程更重，因此交易的摩擦成本相應的也更高。據滿(mǎn)幫內部統計，車(chē)主方面為每單貨運信息大約要支付200元的發(fā)現成本，貨主為每單貨運也要承擔約40元的調度成本，其中還有不菲的時(shí)間支出。因此滿(mǎn)幫從提升溝通效率、降低行業(yè)交易成本出發(fā)，正在研發(fā)基于大語(yǔ)言模型的司機智能助理和貨主智能助理，幫助雙方進(jìn)行交易前期的信息匹配和交互，提升撮合效率，如果按公路客運每年20億單量預估，僅這一項將有望為行業(yè)降低千億成本。

　　創(chuàng )投集團：您對大模型的未來(lái)發(fā)展趨勢有什么展望?

　　陳朝暉博士：從技術(shù)能力角度，大模型和算力互相促進(jìn)發(fā)展的循環(huán)已經(jīng)得到初步驗證，未來(lái)隨著(zhù)更多高質(zhì)量、結構化數據的投入，大模型可能會(huì )迎來(lái)超出人類(lèi)預期的能力躍升。在模型層方面，到今年年底，國內有幾家成熟的頭部通用大模型廠(chǎng)商的能力可以達到 ChatGPT 3.5的水平。預計明年，應該會(huì )出現進(jìn)入到大規模商用的階段的大模型。從應用角度，目前來(lái)看這一輪預訓練大模型的發(fā)展，至少?lài)鴥葟S(chǎng)商的產(chǎn)品，還沒(méi)有來(lái)到屬于它的“iPhone”時(shí)刻。目前看，除了降本增效，提供一部分溝通能力之外，預訓練大模型引發(fā)的新需求空間也非常值得期待?？傊?，我們應當為大模型能力的爆發(fā)式增長(cháng)做好心理建設、能力管控等各方面的準備工作。我個(gè)人對大模型的未來(lái)的能力以及它所能引發(fā)的產(chǎn)業(yè)革命的前景是非常樂(lè )觀(guān)的。但與此同時(shí)，大模型的倫理、法理、安全性規范也是非常值得關(guān)注的領(lǐng)域。

　　感謝陳朝暉博士的分享。我們相信，通過(guò)用戶(hù)反饋和實(shí)踐創(chuàng )新反哺大模型，將進(jìn)一步夯實(shí)基礎大模型技術(shù)，推動(dòng)大模型的場(chǎng)景化落地。

　　來(lái)源：投資四部張蘇榮

　　審核：薛瑤

　　發(fā)布：尤異