【ZiDongHua 之自動化學院派收錄關(guān)鍵詞：機器學習 人工智能 大模型 】
　　
　　SLeM：機器學習自動化的一種實現(xiàn)方法 | NSR封面文章
　　
　　《國家科學評論》(National Science Review，NSR) 最近發(fā)表了由西安交通大學數(shù)學與統(tǒng)計學院徐宗本院士、束俊副教授、孟德宇教授撰寫的觀點文章：Simulating Learning Methodology (SLeM): An Approach to Machine Learning Automation。
　　
　　這篇文章介紹了課題組提出的基于“模擬學習方法論”（SLeM）的機器學習新型范式和執(zhí)行框架，特別介紹了課題組發(fā)展的SLeM基礎理論與算法體系。這一理論框架為機器學習自動化提供了一個可行的實現(xiàn)途徑。該文將作為封面文章收錄于NSR“機器學習自動化”專題。
 
　　
　　人工智能的發(fā)展及其廣泛應用面臨越來越復雜的場景，這對人工智能從數(shù)據(jù)到學習再到應用的整個環(huán)節(jié)都提出了新的挑戰(zhàn)。然而現(xiàn)有的以機器學習為代表的人工智能技術(shù)在數(shù)據(jù)樣本、學習過程、環(huán)境任務等層面高度依賴人工預設，造成“人工”決定“智能”的現(xiàn)狀，難以滿足現(xiàn)實問題中通常呈現(xiàn)的數(shù)據(jù)少/概念多、適用模型/算法依問題變化、開放環(huán)境/動態(tài)任務等本質(zhì)特性，這些問題已對現(xiàn)有機器學習體系帶來了嚴峻挑戰(zhàn)。
　　
　　針對以上問題，一個自然的解決途徑是實現(xiàn)減少人工干預的自主智能方法，提高機器智能對動態(tài)開放環(huán)境和復雜多變?nèi)蝿盏淖赃m應學習能力，即實現(xiàn)所謂的機器學習自動化（Machine Learning Automation, Auto6ML），可以概括為以下六個“自”的任務目標：
　　
　　數(shù)據(jù)/樣本層面：樣本自生成，數(shù)據(jù)自選擇；
　　
　　模型/算法層面：模型自構(gòu)建，算法自設計；
　　
　　環(huán)境/任務層面：任務自切換，環(huán)境自適應。
　　
　　具體來說，一是實現(xiàn)數(shù)據(jù)自動化生成與篩選，能夠根據(jù)目標任務需要或少量元數(shù)據(jù)（標準、高質(zhì)量數(shù)據(jù)）的引導，實現(xiàn)訓練數(shù)據(jù)或標記的自動生成，以及從海量非高質(zhì)量數(shù)據(jù)中自動選擇對學習目標有所增益而剔除對其有所損害的樣本；二是實現(xiàn)模型/算法自動化構(gòu)建與設計，能夠根據(jù)目標任務需要自動解析完成任務所需的“功能塊”，并以最優(yōu)方式加以組裝形成所需的深度網(wǎng)絡架構(gòu)，或者自動調(diào)節(jié)網(wǎng)絡重要的“功能塊”，能夠根據(jù)問題（數(shù)據(jù)）自適應設定誤差項和正則項等優(yōu)化目標，自動學習機器學習模型訓練算法的運算規(guī)則與算法超參數(shù)等；三是實現(xiàn)機器學習技術(shù)能夠處理復雜多變?nèi)蝿?、適應動態(tài)開放環(huán)境，能夠使用統(tǒng)一的模型框架完成復雜多變?nèi)蝿盏淖赃m應學習, 能夠持續(xù)從動態(tài)環(huán)境中學習，可以不斷擴展自身的能力并提高可靠性，能夠自適應地完成新任務。
　　
　　實現(xiàn)以上研究目標涉及對機器學習過程中的數(shù)據(jù)（采集、生成、選擇）、模型（學習機架構(gòu)、損失函數(shù))、算法等要素的調(diào)控和設計。這些要素的設計可以理解為對機器學習各個環(huán)節(jié)所涉及超參的有效設置，即機器學習的學習方法論學習。
　　
　　基于此，文章介紹了題為“模擬學習方法論”（SLeM）的機器學習范式和執(zhí)行框架，給出學習任務、學習方法的嚴格定義，進而把學習方法論建模成從學習任務到學習方法的映射，并使用SLeM元學習機來模擬實現(xiàn)這一映射。
 
　　
　　通過從學習任務層次提煉與抽取這一元學習機，可實現(xiàn)對數(shù)據(jù)、模型、損失、算法等機器學習要素針對變化任務的自動化設計和調(diào)控，從而為機器學習自動化提供一個可行的實現(xiàn)途徑。
　　
　　文中還介紹了三種SLeM的實現(xiàn)方法，以及課題組研究并實踐的機器學習自動化算法簇，展現(xiàn)了該SLeM框架在解決實際問題上的有效性。
　　
　　最后，文章指出了SLeM未來值得的研究方向：
　　
　　適應更加復雜的自動化問題/場景的SLeM方法?，F(xiàn)有的SLeM方法僅實現(xiàn)了機器學習各個要素的自動化，這與Auto6ML的目標還有很大差距。特別是，在SLeM的學習過程中，仍然需要大量的人為干預和選擇。實現(xiàn)具備更強自動化能力且能夠適應更加復雜的自動化問題/場景的SLeM方法，依然是未來研究中的一個重要課題。
　　
　　無限維函數(shù)空間上的學習理論/跨任務泛化（遷移）理論。學習方法論學習本質(zhì)上是函數(shù)空間上的學習問題，需要構(gòu)建在無限維函數(shù)空間上的學習理論，以精確揭示SLeM的內(nèi)在機理；SLeM學習理論揭示了影響學習方法論遷移的要素，為處理實際應用中的多樣任務和動態(tài)環(huán)境提供理論基礎。
　　
　　建立與其他技術(shù)（如大模型）之間的聯(lián)系。大模型及上下文學習技術(shù)通過一種“蠻力出奇跡”的方式實現(xiàn)驚人的任務泛化能力，與學習方法論的任務泛化能力密切相關(guān)，建立它們之間的聯(lián)系，在理論上解釋大模型的任務泛化能力，探索能夠輕量化地實現(xiàn)具備大模型能力的計算模式，對未來研究具有重要價值。