創(chuàng )投大咖說(shuō)·專(zhuān)訪(fǎng)陳朝暉博士:預訓練大模型在行業(yè)中的應用
發(fā)布時(shí)間:
2024-01-15
來(lái)源:

陳朝暉博士,江蘇省雙創(chuàng )人才、滿(mǎn)幫集團首席科學(xué)家 ,負責滿(mǎn)幫大數據平臺和數據創(chuàng )新業(yè)務(wù)。加入滿(mǎn)幫前,為阿里云大數據人工智能研究員,負責城市大腦數據資源平臺和算法的研發(fā)和交付。加入阿里云之前是硅谷創(chuàng )業(yè)公司Celential.ai的聯(lián)合創(chuàng )始人。陳朝暉畢業(yè)于西安交通大學(xué),在美國哈佛大學(xué)工程和應用科學(xué)學(xué)院獲得PhD,曾長(cháng)期在硅谷Oracle,Yahoo,eBay等知名互聯(lián)網(wǎng)企業(yè)擔任技術(shù)研發(fā)和技術(shù)管理工作。
前言:
人工智能技術(shù)的發(fā)展與成功應用已經(jīng)成為21世紀科技領(lǐng)域最大的新現象。從目前的進(jìn)展來(lái)看,科學(xué)地理解人工智能原理已經(jīng)超出了現有科學(xué)體系的范疇。顯然,人工智能是人類(lèi)科學(xué)技術(shù)發(fā)展的產(chǎn)物,人工智能科學(xué)也將是人類(lèi)科學(xué)進(jìn)步與發(fā)展必然實(shí)現的目標。
大型語(yǔ)言模型是包含了數百億以上模型參數的深度神經(jīng)元網(wǎng)絡(luò ),它使用自回歸學(xué)習方法通過(guò)大量無(wú)標注文本、圖像進(jìn)行訓練。自2018年以來(lái),Google、OpenAI、Meta、百度、華為等公司和研究機構都相繼發(fā)布了包括BERT,ChatGPT等在內多種模型,并在幾乎所有自然語(yǔ)言處理任務(wù)中都表現出色。2019年大模型呈現爆發(fā)式的增長(cháng),2022年11月ChatGPT 3.5發(fā)布,用戶(hù)可以使用自然語(yǔ)言與系統交互,從而實(shí)現包括問(wèn)答、分類(lèi)、摘要、翻譯、聊天等各種任務(wù)。
隨著(zhù)ChatGPT火爆出圈,AI領(lǐng)域又迎來(lái)了新的一輪投資熱潮。大模型展現出了強大的對人類(lèi)自然語(yǔ)言以及世界知識的掌握和理解能力,通過(guò)多模態(tài)數據的增強,它同時(shí)還具備了對圖形、圖像、音頻數據的理解和推理能力,這引發(fā)了人們對于大模型技術(shù)和應用的廣泛關(guān)注。創(chuàng )投集團邀請到了滿(mǎn)幫集團首席科學(xué)家陳朝暉博士,和我們一同解讀預訓練大模型在各行業(yè)中的影響。
創(chuàng )投集團:預訓練大模型持續火爆,在A(yíng)I領(lǐng)域為什么會(huì )形成這樣的熱點(diǎn)?
陳朝暉博士:基于信息檢索的知識問(wèn)答系統很早就有嘗試,與谷歌同期在硅谷有一家創(chuàng )業(yè)公司PowerSet,直接從各類(lèi)網(wǎng)頁(yè)內容中總結出答案反饋給用戶(hù)。谷歌也基于相似的理念推出了自己的知識搜索服務(wù)(Knowledge Search)集成在自己的網(wǎng)頁(yè)搜索結果頁(yè)面中。本世紀初算力與存儲的爆發(fā)式增長(cháng)促進(jìn)了機器學(xué)習中神經(jīng)元網(wǎng)絡(luò )規模的大幅提升,各類(lèi)基于深度學(xué)習的模型取得了重要的突出。OpenAI經(jīng)過(guò)了一個(gè)相當長(cháng)的研發(fā)歷程,從ChatGPT 1.0一直持續投入,堆積了在過(guò)去看來(lái)天量的計算資源,直到最近推出目前最新的ChatGPT 4.0 Turbo。最新的大模型展現出了對人類(lèi)對話(huà)深度的理解能力,除了知識整合之外,還具備了很高的推理邏輯性。在特定領(lǐng)域,通過(guò)海量數據的學(xué)習,模型已然形成了超出普通人類(lèi)的理解和推理能力。OpenAI團隊自己也表示對ChatGPT所涌現出的“智力”無(wú)法完全理解??梢员容^確定地說(shuō),大部分行業(yè)都將面臨大模型的重塑和改造。
創(chuàng )投集團:大模型相較于傳統機器學(xué)習有哪些異同點(diǎn)?
陳朝暉博士:機器學(xué)習早期研究的主要工作大量聚集在特征維度的提取和選擇上,這些維度包括自然屬性特征、統計特征和各類(lèi)人類(lèi)根據業(yè)務(wù)場(chǎng)景主觀(guān)設計的特征或者說(shuō)標簽。深度學(xué)習實(shí)現了特征自動(dòng)化抽取,但仍然依賴(lài)一個(gè)復雜的優(yōu)化過(guò)程,特別是訓練數據集合的選擇。而預訓練大模型通過(guò)大量地“投喂”通用數據,捕捉到了語(yǔ)料中存在的統計意義上的規律。傳統的機器學(xué)習方法,遇到新問(wèn)題通常需要重新構建完整的訓練數據集,與此不同的是,預訓練大模型由于有事前巨量預訓練的支撐,對于各個(gè)垂類(lèi)領(lǐng)域通常只需要相對少量數據和提示詞(prompting)訓練,就可以有不錯表現。深度學(xué)習為大模型的研究帶來(lái)了巨大的推動(dòng)力,大模型當前所展現的能力主要受益于以下幾個(gè)關(guān)鍵因素的推動(dòng):1)大規模、多模態(tài)訓練數據集合;2)近乎無(wú)限的超強計算能力(成本不低);3)使用更為先進(jìn)學(xué)習框架,例如Transformer架構就比之前的CNN卷積神經(jīng)元網(wǎng)絡(luò )更容易提取上下文注意力(Attention)。
創(chuàng )投集團:基于大模型的盈利模式有哪些?
陳朝暉博士:大模型的商業(yè)變現非常重要,與巨大的投入成本相比,當前的收入能否覆蓋各項成本支出仍未可知。目前,我們可知的主要商業(yè)落地的方法如下:1)基于通用大模型的基礎服務(wù):算法服務(wù)調用可以作為標準化的產(chǎn)品進(jìn)行售賣(mài),形成類(lèi)似于云計算資源的服務(wù)提供商。這一部分各個(gè)大模型會(huì )在廠(chǎng)商服務(wù)的比較中表現出優(yōu)勢,國外如OpenAI、國內如智譜AI等都表現的不錯。2)部分領(lǐng)域也會(huì )出現垂類(lèi)大模型應用,通過(guò)對行業(yè)/產(chǎn)業(yè)知識、問(wèn)題的適配,提供特定領(lǐng)域的專(zhuān)項服務(wù)。例如Stability AI推出的文生圖和圖生圖,公司在對輸出圖片結果質(zhì)量上的控制占據了明顯的技術(shù)優(yōu)勢,因此吸引了一批用戶(hù)。3)各個(gè)細分行業(yè)企業(yè)內部也會(huì )基于各類(lèi)開(kāi)源預訓練大模型,構建各自賽道上的大模型應用,幫助行業(yè)消減人力成本和溝通成本。大模型的價(jià)值目前主要還體現在“降本”這一側,能否因為大模型的推動(dòng)產(chǎn)生新的業(yè)務(wù)需求,這也是一個(gè)非常值得關(guān)注的領(lǐng)域。目前看這方面的進(jìn)展還比較有限。
創(chuàng )投集團:結合您所從事的行業(yè),請介紹在大模型如何得到運用?
陳朝暉博士:滿(mǎn)幫集團是國內最大的公路貨運車(chē)貨匹配信息平臺,積累了大量運輸場(chǎng)景的數據包括貨、車(chē)、路、人、場(chǎng)五個(gè)方面。不同于滴滴等客運平臺的直接派單機制,貨運訂單的達成存在更長(cháng)時(shí)間的溝通過(guò)程。目前公路貨運下單平均單價(jià)約2000元,在交易過(guò)程中,貨主和車(chē)主的決策流程更重,因此交易的摩擦成本相應的也更高。據滿(mǎn)幫內部統計,車(chē)主方面為每單貨運信息大約要支付200元的發(fā)現成本,貨主為每單貨運也要承擔約40元的調度成本,其中還有不菲的時(shí)間支出。因此滿(mǎn)幫從提升溝通效率、降低行業(yè)交易成本出發(fā),正在研發(fā)基于大語(yǔ)言模型的司機智能助理和貨主智能助理,幫助雙方進(jìn)行交易前期的信息匹配和交互,提升撮合效率,如果按公路客運每年20億單量預估,僅這一項將有望為行業(yè)降低千億成本。
創(chuàng )投集團:您對大模型的未來(lái)發(fā)展趨勢有什么展望?
陳朝暉博士:從技術(shù)能力角度,大模型和算力互相促進(jìn)發(fā)展的循環(huán)已經(jīng)得到初步驗證,未來(lái)隨著(zhù)更多高質(zhì)量、結構化數據的投入,大模型可能會(huì )迎來(lái)超出人類(lèi)預期的能力躍升。在模型層方面,到今年年底,國內有幾家成熟的頭部通用大模型廠(chǎng)商的能力可以達到 ChatGPT 3.5的水平。預計明年,應該會(huì )出現進(jìn)入到大規模商用的階段的大模型。從應用角度,目前來(lái)看這一輪預訓練大模型的發(fā)展,至少?lài)鴥葟S(chǎng)商的產(chǎn)品,還沒(méi)有來(lái)到屬于它的“iPhone”時(shí)刻。目前看,除了降本增效,提供一部分溝通能力之外,預訓練大模型引發(fā)的新需求空間也非常值得期待??傊?,我們應當為大模型能力的爆發(fā)式增長(cháng)做好心理建設、能力管控等各方面的準備工作。我個(gè)人對大模型的未來(lái)的能力以及它所能引發(fā)的產(chǎn)業(yè)革命的前景是非常樂(lè )觀(guān)的。但與此同時(shí),大模型的倫理、法理、安全性規范也是非常值得關(guān)注的領(lǐng)域。
感謝陳朝暉博士的分享。我們相信,通過(guò)用戶(hù)反饋和實(shí)踐創(chuàng )新反哺大模型,將進(jìn)一步夯實(shí)基礎大模型技術(shù),推動(dòng)大模型的場(chǎng)景化落地。
來(lái)源:投資四部張蘇榮
審核:薛瑤
發(fā)布:尤異
相關(guān)附件