我們提出了基于多模態(tài)查詢的目標(biāo)檢測（MQ-Det），首個同時支持文本描述和視覺示例查詢的開放世界目標(biāo)檢測器。MQ-Det是一種高效的架構(gòu)和預(yù)訓(xùn)練策略設(shè)計，可以同時利用高泛化性的文本描述和高細粒度的視覺示例來對圖像中的目標(biāo)進行查詢檢測，即多模態(tài)查詢。MQ-Det將視覺示例查詢整合到現(xiàn)有的基于語言查詢的檢測器中，并提出了一種即插即用的門控感知器模塊來將視覺信息插入文本描述。為了解決凍結(jié)檢測器帶來的學(xué)習(xí)惰性問題，我們提出了一種以視覺為條件的掩碼語言預(yù)測策略。MQ-Det的簡單而有效的架構(gòu)和訓(xùn)練策略設(shè)計與目前大多數(shù)基于語言查詢的目標(biāo)檢測器兼容，因此具備廣泛的適用性。實驗結(jié)果表明，多模態(tài)查詢能夠大幅度推動開放世界目標(biāo)檢測。例如，MQ-Det通過多模態(tài)查詢在基準數(shù)據(jù)集LVIS上將目前最先進的開集檢測器GLIP提升了約7.8% AP，而無需進行任何下游微調(diào)；同時，其將13個小樣本下游任務(wù)平均提高了6.3% AP。完成以上這些提升僅需要在GLIP基礎(chǔ)上進行額外的3%的調(diào)制訓(xùn)練時間。

 

　　圖片

 

　　論文鏈接：

 

　　https://arxiv.org/abs/2305.18980

 

　　代碼鏈接：

 

　　https://github.com/YifanXu74/MQ-Det

 

　　10. 基于全局指導(dǎo)視頻解碼器的連續(xù)非自回歸視頻生成方法

 

　　GLOBER: Coherent Non-autoregressive Video Generation via GLOBal Guided Video DecodER

 

　　作者：孫銘真，王衛(wèi)寧，秦子涵，孫家輝，陳思涵，劉靜

 

　　視頻生成需要同時具備全局一致性和局部真實性。本文提出了一種新穎的非自回歸方法 GLOBER，首先生成全局特征以獲取綜合性的全局引導(dǎo)，然后基于全局特征合成視頻幀以生成連貫的視頻。具體而言，我們提出了一個視頻自編碼器，其中視頻編碼器將視頻編碼成全局特征，而建立在擴散模型上的視頻解碼器以非自回歸方式解碼全局特征并合成視頻幀。為了實現(xiàn)最大的靈活性，我們的視頻解碼器通過標(biāo)準化的幀索引來解碼時間信息，從而能夠自由合成任意子視頻片段。此外，我們引入了一種新穎的對抗損失，以提高合成視頻幀之間的全局一致性和局部真實性。最后，我們采用基于擴散的視頻生成器來擬合視頻編碼器輸出的全局特征的分布，從而執(zhí)行視頻生成任務(wù)。大量實驗證明了我們提出的方法的有效性和高效性，且本方法在多個基準數(shù)據(jù)集中取得了新的最優(yōu)性能。

 

　　圖片

 

　　相關(guān)鏈接：

 

　　http://arxiv.org/abs/2309.13274

 

　　11. 一種面向復(fù)雜時空因果關(guān)系的多模態(tài)視頻跟蹤評估基準

 

　　A Multi-modal Global Instance Tracking Benchmark (MGIT): Better Locating Target in Complex Spatio-temporal and Causal Relationship

 

　　作者：胡世宇，張岱凌，武美奇，豐效坤，李旭宸，趙鑫，黃凱奇

 

　　因果推理是人類決策中的重要能力之一，如人類在觀看長時視頻時可以準確定位復(fù)雜場景中的目標(biāo)位置。然而，目前算法仍缺乏這種能力，現(xiàn)有跟蹤算法雖然可以在短視頻序列中持續(xù)定位目標(biāo)，但在高挑戰(zhàn)性的長視頻序列中卻缺乏魯棒性。為評估智能體長時因果推理能力，本文構(gòu)建了一種面向復(fù)雜時空因果關(guān)系的多模態(tài)視頻跟蹤評估基準MGIT，主要創(chuàng)新如下：（1）構(gòu)建了一個長時視頻文本雙模態(tài)數(shù)據(jù)集，該數(shù)據(jù)包含150段總計203萬幀的長視頻序列，單段時長為現(xiàn)有基準的5-22倍；此外，每段視頻均包含一套參考人類認知結(jié)構(gòu)的層級化多粒度語義標(biāo)簽，總計7.8萬詞。（2）設(shè)計了一套多模態(tài)跟蹤任務(wù)評測機制并對現(xiàn)有算法進行評估。實驗結(jié)果表明現(xiàn)有跟蹤算法缺乏長文本處理能力和模態(tài)對齊能力，無法進行長時因果推理，與人類的跟蹤能力仍有較大差距。綜上，本工作提供了高質(zhì)量的實驗環(huán)境和評測系統(tǒng)，能幫助研究者從多模態(tài)的視角去理解視頻推理能力，并為算法的設(shè)計和評估提供支持。

 

 

　　圖1. 多模態(tài)單目標(biāo)跟蹤基準MGIT構(gòu)建框架

 

　　12. 基于自動分組機制的高效合作型多智能體強化學(xué)習(xí)

 

　　Automatic Grouping for Ef?cient Cooperative Multi-Agent Reinforcement Learning

 

　　作者：臧一凡，何金岷，李凱，傅浩波，付強，興軍亮，程健

 

　　自然系統(tǒng)中常見的分組現(xiàn)象對于提高團隊合作效率而言至關(guān)重要。本文提出一種分組學(xué)習(xí)的多智能體強化學(xué)習(xí)方法GoMARL，在沒有任何先驗知識的條件下學(xué)習(xí)自動分組來實現(xiàn)智能體之間的高效合作。不同于直接學(xué)習(xí)聯(lián)合動作價值和個體動作價值之間復(fù)雜關(guān)系的方法，本文以小組作為橋梁建模智能體之間的關(guān)聯(lián)，通過鼓勵小組內(nèi)和小組間的配合來提高整個團隊的工作效率。具體而言，本文將聯(lián)合動作價值分解為小組價值的組合，指導(dǎo)智能體以更細粒度的方式改進策略。GoMARL運用一種自動分組機制來生成動態(tài)組別和相應(yīng)的小組動作價值，并進一步提出一種用于策略學(xué)習(xí)的分層控制，驅(qū)動同一組中的智能體學(xué)習(xí)相似的策略，不同組的智能體學(xué)習(xí)多樣化的策略。本文在星際微操任務(wù)和谷歌足球場景的實驗中驗證了GoMARL的高效性，并通過消融實驗和組件分析展示分組在提升算法性能方面的重要性。

 

　　

 

　　13. 面向高效準確Winograd卷積的全量化方法

 

　　Towards Efficient and Accurate Winograd Convolution via Full Quantization

 

　　作者：陳天奇，許偉翔，陳維漢，王培松，程健

 

　　Winograd算法是一種通過域變換來減少計算量的快速卷積實現(xiàn)。通過對Winograd卷積量化，降低其計算精度，可以進一步加速卷積神經(jīng)網(wǎng)絡(luò)，但這同樣面臨性能損失。針對這一問題，本文通過實驗發(fā)現(xiàn)量化會導(dǎo)致Winograd變換過程的不一致性，并提出以輸出對齊為監(jiān)督信號對變換矩陣統(tǒng)一優(yōu)化。另外，本文首次對Winograd的域變換過程進行全量化，并通過實驗和理論分析發(fā)現(xiàn)量化瓶頸在于輸出變換過程。本文因此提出了一種可分解的量化系數(shù)，該方法更好的兼顧了硬件友好和量化損失。

 

　

 

　　14. ZoomTrack：用于高效視覺跟蹤的目標(biāo)感知非均勻尺寸調(diào)整

 

　　ZoomTrack : Target-aware Non-uniform Resizing for Efficient Visual Tracking

 

　　作者：寇宇同，高晉，李椋，王剛，胡衛(wèi)明，王以政，李兵

 

　　最近，由于輸入尺寸更小或特征提取骨干更輕，Transformer使面向速度的跟蹤器能夠以高速接近最先進（SOTA）的性能，盡管它們?nèi)匀淮蟠舐浜笥谙鄳?yīng)的面向性能的版本。在本文中，我們證明了在較小輸入尺寸的基礎(chǔ)上實現(xiàn)高速跟蹤的同時縮小甚至抹平這一性能差距是可能的。為此，我們非均勻地調(diào)整了裁剪圖像的大小，使其輸入尺寸更小，而目標(biāo)更可能出現(xiàn)的區(qū)域的分辨率卻更高，反之亦然。由此可以解決兩難的問題：既要關(guān)注更大的視野，又要在較小的輸入尺寸下保留更多的目標(biāo)原始信息。我們的非均勻尺寸調(diào)整可以通過二次編程（QP）有效解決，并自然地集成到大多數(shù)基于剪裁的局部跟蹤器中。在五個具有挑戰(zhàn)性的數(shù)據(jù)集上對兩種Transformer跟蹤器（即 OSTrack 和 TransT）進行的綜合實驗表明，我們的方法具有一致的性能提升。特別是，將我們的方法應(yīng)用于面向速度的 OSTrack 版本，在 TNL2K 上的 AUC 甚至比面向性能的對應(yīng)版本高出 0.6%，同時運行速度提高了 50%，節(jié)省了 55% 以上的 MAC。

 

　　

 

　　15. 基于上下文物體和關(guān)系學(xué)習(xí)的3D指代目標(biāo)檢測

 

　　Exploiting Contextual Objects and Relations for 3D Visual Grounding

 

　　作者：楊力，原春鋒，張子琦，祁仲昂，許龑，劉偉，單瀛，李兵，楊偉平，胡衛(wèi)明

 

　　3D指代目標(biāo)檢測是根據(jù)自然語言輸入從三維場景中識別出視覺目標(biāo)的任務(wù)。這項任務(wù)對于使機器人能夠理解并與真實環(huán)境交互起著至關(guān)重要的作用。然而，由于需要捕獲三維上下文信息才能從復(fù)雜的三維場景中分辨出目標(biāo)物體，這項任務(wù)極具挑戰(zhàn)性。同時，缺乏上下文物體和關(guān)系的標(biāo)注進一步加劇了困難。在本文中，我們提出了一種新穎的檢測模型 CORE-3DVG，通過對上下文物體和關(guān)系進行顯式的學(xué)習(xí)來應(yīng)對這些挑戰(zhàn)。我們的方法通過三個連續(xù)的模塊化網(wǎng)絡(luò)來實現(xiàn)3D指代目標(biāo)檢測，包括一個文本引導(dǎo)的物體檢測網(wǎng)絡(luò)、一個關(guān)系匹配網(wǎng)絡(luò)和一個目標(biāo)推理網(wǎng)絡(luò)。在訓(xùn)練過程中，我們引入了偽標(biāo)簽自生成策略和弱監(jiān)督方法，以建立對無標(biāo)注的上下文物體和關(guān)系的顯式學(xué)習(xí)。所提出的技術(shù)通過對上下文物體和關(guān)系的學(xué)習(xí)，使推理網(wǎng)絡(luò)能夠更好地關(guān)注到三維場景中所指代目標(biāo)。我們在具有挑戰(zhàn)性的Nr3D、Sr3D和ScanRefer數(shù)據(jù)集上驗證了我們的方法，取得了最先進的性能。

 

　　16. Bullying10K: 一個大規(guī)模神經(jīng)形態(tài)數(shù)據(jù)集用于隱私保護的暴力識別

 

　　Bullying10K: A Large-Scale neuromorphic Dataset towards Privacy-Preserving Bullying Recognition

 

　　作者：董一廷，李楊，趙東城，申國斌，曾毅

 

　　日常生活中暴力行為的普遍性對個人的身體和精神健康構(gòu)成了重大威脅。在公共場所使用監(jiān)控攝像頭已被證明在主動地阻止和預(yù)防此類事件中是有效的。但由于其廣泛部署，出現(xiàn)了關(guān)于隱私侵犯的擔(dān)憂。為了解決這個問題，我們利用動態(tài)視覺傳感器（DVS）攝像頭來檢測暴力事件并保護隱私，因為它捕捉像素亮度的變化，而不是靜態(tài)圖像。我們構(gòu)建了Bullying10K數(shù)據(jù)集，包括來自現(xiàn)實生活場景的各種動作、復(fù)雜的運動和遮擋。它為評估不同任務(wù)提供了三個基準：動作識別、時間動作定位和姿態(tài)估計。Bullying10K通過提供10,000個事件段，總共120億次事件和255GB的數(shù)據(jù)，平衡了暴力檢測和個人隱私的保護，并對神經(jīng)形態(tài)數(shù)據(jù)集提出了挑戰(zhàn)，將成為訓(xùn)練和開發(fā)保護隱私的視頻系統(tǒng)的寶貴資源。Bullying10K為這些領(lǐng)域的創(chuàng)新方法開辟了新的可能性。

 

　　17. ALIM: 針對噪聲部分標(biāo)簽學(xué)習(xí)調(diào)整標(biāo)簽重要性機制

 

　　ALIM: Adjusting Label Importance Mechanism for Noisy Partial Label Learning

 

　　作者：徐名宇，連政，馮磊，劉斌，陶建華

 

　　噪聲部分標(biāo)簽學(xué)習(xí)（噪聲PLL）是弱監(jiān)督學(xué)習(xí)的一個重要分支。與 PLL 中的真實標(biāo)簽必須隱藏在候選標(biāo)簽集中不同，噪聲 PLL 放寬了這一限制，并允許真實標(biāo)簽可能不在候選標(biāo)簽集中。為了解決這個具有挑戰(zhàn)性的問題，大多數(shù)現(xiàn)有工作嘗試檢測噪聲樣本并估計每個噪聲樣本的真實標(biāo)簽。然而，檢測錯誤是不可避免的。這些錯誤會在訓(xùn)練過程中累積并持續(xù)影響模型優(yōu)化。為此，我們提出了一種具有理論解釋的噪聲 PLL 的新穎框架，稱為“調(diào)整標(biāo)簽重要性機制（ALIM）”。它的目的是通過權(quán)衡初始候選集和模型輸出來減少檢測錯誤的負面影響。ALIM 是一種插件策略，可以與現(xiàn)有 PLL 方法集成。多個基準數(shù)據(jù)集上的實驗結(jié)果表明，我們的方法可以在噪聲 PLL 上實現(xiàn)最先進的性能。

 

　　18.VRA：針對分布外檢測的變分修飾激活方法

 

　　VRA: Variational Rectified Activation for Out-of-distribution Detection

 

　　作者：徐名宇，連政，劉斌，陶建華

 

　　分布外 (OOD) 檢測對于在開放世界中構(gòu)建可靠的機器學(xué)習(xí)系統(tǒng)至關(guān)重要。研究人員提出了各種策略來減少模型對 OOD 數(shù)據(jù)的過度自信。其中，ReAct是處理模型過度自信的典型且有效的技術(shù)，它截斷高激活以增加分布內(nèi)和OOD之間的差距。盡管其結(jié)果很有希望，但這種技術(shù)是最好的選擇嗎？為了回答這個問題，我們利用變分方法來尋找最優(yōu)操作，并驗證了 OOD 檢測中抑制異常低和高激活以及放大中間激活的必要性，而不是像 ReAct 那樣只關(guān)注高激活。這促使我們提出一種名為“變分修飾激活（VRA）”的新技術(shù)，該技術(shù)使用分段函數(shù)模擬這些抑制和放大操作。多個基準數(shù)據(jù)集的實驗結(jié)果表明，我們的方法優(yōu)于現(xiàn)有的事后策略。同時，VRA兼容不同的評分函數(shù)和網(wǎng)絡(luò)架構(gòu)。

 

　　歡迎后臺留言、推薦您感興趣的話題、內(nèi)容或資訊！

 

　　如需轉(zhuǎn)載或投稿，請后臺私信。