【ZiDongHua 之智能自動化收錄關(guān)鍵詞:大模型  AI   人工智能   ChatGPT 】
  
  AI模型掀起“大小之爭”,誰將取勝?
  
  過去一年,大模型因其驚人的創(chuàng)造力和廣泛的適用性成為全球矚目的焦點(diǎn),每次迭代更新都牽動著市場的心弦。與過去各大廠商在各自領(lǐng)域不斷迭代的小模型相比,大模型憑借其強(qiáng)大的泛化能力和豐富的生成內(nèi)容,令人們深思:大模型能否全面取代小模型,成為賦能生產(chǎn)、生活的唯一工具?
  
  從“小作坊”到“流水線”,大模型讓 AI 研發(fā)更簡單
  
  在大模型興起之前,AI 研發(fā)的第一階段范式是“從頭開始”,每個(gè)模型都針對特定應(yīng)用場景需求進(jìn)行訓(xùn)練。這一階段需要優(yōu)秀的產(chǎn)品經(jīng)理給出準(zhǔn)確需求,并投入巨量資源,包括高質(zhì)量的訓(xùn)練數(shù)據(jù)、強(qiáng)大的算力,以及具備扎實(shí)專業(yè)知識和協(xié)同合作能力的深度學(xué)習(xí)算法團(tuán)隊(duì)。然而,這種傳統(tǒng)的定制化、作坊式的模型開發(fā)方式導(dǎo)致小模型無法復(fù)用和積累,使得 AI 落地面臨高門檻、高成本和低效率難題。
  
  
  
  資料來源: 2023•黑馬AIGC峰會 智源研究院
  
  2014年,預(yù)訓(xùn)練模型+微調(diào)的遷移學(xué)習(xí)技術(shù)的出現(xiàn),成為了 AI 研發(fā)的第二階段范式。該范式主要利用訓(xùn)練好的基礎(chǔ)預(yù)訓(xùn)練模型,進(jìn)行二次微調(diào)訓(xùn)練。相較先前的范式,能夠節(jié)省5-10倍的人力、算力和數(shù)據(jù)量。然而,此方法擴(kuò)展性不佳,模型難以跨領(lǐng)域或場景泛化。在復(fù)雜場景下,需要訓(xùn)練多個(gè)模型。
  
  
  資料來源:2023•黑馬AIGC峰會 智源研究院
  
  近幾年來,大模型技術(shù)的發(fā)展讓 AI 研發(fā)進(jìn)入第三階段范式,即基礎(chǔ)大模型+應(yīng)用提示。億級參數(shù)以上的大模型能從各種場景數(shù)據(jù)中提煉出通用能力,形成具有泛化能力的模型底座。通過直接調(diào)用 API,大模型能快速輸出所需結(jié)果,不再需要微調(diào)訓(xùn)練。這使得 AI 研發(fā)更加高效,模型生產(chǎn)從“作坊式”升級為“流水線”。因此,許多研究力量開始集中于大模型,認(rèn)為它能全面賦能生產(chǎn)生活。
  
  事實(shí)上,僅靠基礎(chǔ)大模型+應(yīng)用提示并不能滿足產(chǎn)業(yè)落地需求。實(shí)踐證明,對于特定或新任務(wù),即使通過多輪提示讓大模型輸出所需結(jié)果,它仍“記不住”過程。若將完整提示加到每次調(diào)用中,可能超出大模型上下文能力,且導(dǎo)致推理開銷增大、效果難以控制。
  
  不僅如此,大模型+應(yīng)用提示的數(shù)據(jù)來源往往是公開資料,質(zhì)量低、專業(yè)度不足,有時(shí)甚至?xí)o出錯(cuò)誤或誤導(dǎo)性信息,更適用于泛化能力要求高、通用能力要求高、精度要求低的廣域場景。而在精度要求高、泛化能力要求低的窄域場景中,大模型+應(yīng)用提示可能無法提供足夠的競爭力。
  
  此外,很多實(shí)際任務(wù)和特定場景缺乏充足的數(shù)據(jù),或者并不需要大量數(shù)據(jù)。當(dāng)面對少量標(biāo)注數(shù)據(jù)時(shí),大模型容易過擬合,導(dǎo)致性能下降。同時(shí),在計(jì)算資源有限的場景,如各類終端設(shè)備上,大模型的能力也受到限制。
  
  在現(xiàn)有的技術(shù)條件下,單純依賴大模型并不能解決所有問題。預(yù)訓(xùn)練小模型結(jié)合遷移學(xué)習(xí)訓(xùn)練的第二階段范式,仍然在很多場景中發(fā)揮著不可替代的作用。
  
  深耕細(xì)分領(lǐng)域,小模型的六大差異化優(yōu)勢
  
  工信部數(shù)據(jù)顯示,截至大模型爆發(fā)前的2022年,國內(nèi)有近4000家 AI 企業(yè)分別在各自的領(lǐng)域內(nèi)不斷優(yōu)化小模型。這些小模型已廣泛部署于各個(gè)行業(yè),顯著提升了社會整體的生產(chǎn)效率。
  
  2022年中國AI軟件算法下游場景分布
  
  與大模型相比,小模型的訓(xùn)練數(shù)據(jù)量與參數(shù)量較少,這為它帶來了諸多差異化優(yōu)勢。
  
  01
  
  速度更快,效率更高
  
  小模型需要的資源少,訓(xùn)練和預(yù)測速度快,能在配置低的硬件上運(yùn)行;
  
  02
  
  具備靈活性和可定制性
  
  小模型能適應(yīng)各種場景,可以通過調(diào)整模型來提高準(zhǔn)確率;
  
  03
  
  具備安全性和隱私保護(hù)能力
  
  小模型處理的數(shù)據(jù)量小,不需要在云端處理,本地運(yùn)行更安全;
  
  04
  
  資源消耗和成本低
  
  小模型的存儲和帶寬需求少,成本低,適合在邊緣設(shè)備上運(yùn)行;
  
  05
  
  數(shù)據(jù)質(zhì)量和數(shù)量要求低
  
  小模型對數(shù)據(jù)要求不高,即便低質(zhì)少量也可以使用;
  
  06
  
  易于部署和升級
  
  小模型可以根據(jù)生產(chǎn)環(huán)境的需求進(jìn)行調(diào)整。
  
  如果說大模型的特點(diǎn)是“通用”,那么小模型的優(yōu)勢就在于“專精”,可以滿足特定場景、特定任務(wù)的需求。以計(jì)算機(jī)視覺領(lǐng)域?yàn)槔?,小模型已在多個(gè)實(shí)際場景中實(shí)現(xiàn)商業(yè)化應(yīng)用,包括泛安防(如人臉識別閘機(jī))、互聯(lián)網(wǎng)(如用戶匹配)、金融(如身份核驗(yàn))、工業(yè)(如缺陷檢測)和醫(yī)療(如輔助診斷)等。
  
  當(dāng)前,從發(fā)展階段來看,大模型在商業(yè)應(yīng)用中的落地仍處在早期階段,而小模型則占據(jù)市場的主導(dǎo)地位。大模型的優(yōu)勢在于其泛用性強(qiáng),并能夠基于用戶反饋持續(xù)優(yōu)化自身性能。相反,小模型雖然泛用性相對較弱,但卻能填補(bǔ)行業(yè)落地"最后一公里"的需求空白。
  
  在此背景下,以應(yīng)用落地為核心訴求,大模型和小模型協(xié)同發(fā)展,或?qū)⒊蔀槲磥硪欢螘r(shí)間內(nèi)的主流趨勢。
  
  大小模型并駕齊驅(qū),推動AI普惠加速落地
  
  AI 的普及和實(shí)際應(yīng)用,成本是核心問題。通過大小模型的協(xié)同并驅(qū),可以更好地發(fā)揮各自的優(yōu)勢,從而實(shí)現(xiàn)成本的降低和效率的提高。
  
  大模型的優(yōu)勢,在于其廣泛適用性和自我優(yōu)化能力,因此可以通過預(yù)訓(xùn)練和微調(diào)為企業(yè)定制百億級大模型。同時(shí),利用蒸餾和剪枝等技術(shù),將大模型的知識和認(rèn)知能力輸出到小模型中,或從大模型中抽取十億級小模型,以輕量化小模型向下游場景賦能。
  
  小模型在行業(yè)實(shí)施中具有前瞻性,能加速大模型的收斂,并評估大模型的樣本價(jià)值。其核心任務(wù)是將行業(yè)知識導(dǎo)入大模型。短期來看,小模型在行業(yè)應(yīng)用中具有不可替代的地位,負(fù)責(zé)實(shí)際應(yīng)用的推理與執(zhí)行環(huán)節(jié)?;谡鎸?shí)場景數(shù)據(jù)的訓(xùn)練,小模型能向大模型反饋更具針對性的模型算法,從而提升大模型的能力。
  
  資料來源:華東政法大學(xué)《人工智能通用大模型(ChatGPT)的進(jìn)展、風(fēng)險(xiǎn)與應(yīng)對》
  
  作為智能行業(yè)的領(lǐng)軍企業(yè),聯(lián)想早在去年就提出了混合智能(Hybrid AI)概念,認(rèn)為混合智能將會在各行各業(yè)落地應(yīng)用,推動 AI 普惠。聯(lián)想混合智能是指大型的公共大模型和小型的企業(yè)級大模型、個(gè)人大模型的混合應(yīng)用,共同構(gòu)建一個(gè)混合 AI 框架,讓企業(yè)和個(gè)人沒有后顧之憂地享受大小模型帶來的效率紅利。
  
  去年12月,聯(lián)想又在與IDC發(fā)布的業(yè)內(nèi)首份《AIPC產(chǎn)業(yè)(中國)白皮書》中表示,大小模型并用的混合 AI,對承載小型的“個(gè)人大模型”的終端的交互能力、智能算力、應(yīng)用場景、安全保護(hù)等都提出了更高要求,PC 以各方面表現(xiàn)出的優(yōu)異性能,成為AI普惠的首選終端。
  
  與此同時(shí),聯(lián)想率先推出了全球首款 AI PC?;谠诜?wù)器領(lǐng)域的經(jīng)驗(yàn),以及“端、邊、云、網(wǎng)、智”的新 IT 能力積累,聯(lián)想的 AI PC 產(chǎn)品會搭載大模型壓縮技術(shù),從而具備本地運(yùn)行“個(gè)人大模型”的能力,可以實(shí)現(xiàn)公共大模型與個(gè)人大模型兩者間精準(zhǔn)地實(shí)時(shí)切換。
  
  在隨后的幾個(gè)月內(nèi),聯(lián)想不遺余力的推出十余款 AI PC,加速 AI 在 PC 領(lǐng)域的應(yīng)用和普及。此外,還發(fā)布了天禧AI生態(tài)“四端一體”戰(zhàn)略,意在全面整合內(nèi)嵌AI 技術(shù)的終端設(shè)備,讓混合 AI 在更多終端普及。該戰(zhàn)略中首次亮相的個(gè)人智能體,進(jìn)一步優(yōu)化了用戶與 AI 的交互體驗(yàn),讓 AI 技術(shù)更貼近用戶日常生活。
  
  未來,聯(lián)想將承擔(dān)起行業(yè)生態(tài)組織者的使命,以場景需求為基礎(chǔ)面向用戶整合產(chǎn)業(yè)資源,繼續(xù)探索小模型與終端設(shè)備的深度融合,對用戶的體驗(yàn)“總負(fù)責(zé)”。