深度監督網絡作者謝賽寧被拒稿 11 年后翻盤獲時間檢驗獎：拒稿≠學術死刑
謝賽寧十年前被 NeurIPS（當時還叫 NIPS）拒收的論文，剛在今年獲得了 AISTATS 2025 年度時間檢驗獎。
這篇論文就是《Deeply-Supervised Nets》（DSN，深度監督網絡），2014 年 9 月掛上 arXiv。
時間匆匆，十一年過去，屬于是真?時間檢驗了。
它提出的中間層監督思想被謝賽寧后續作品 REPA（Representation Alignment）和 U-REPA（U-Net Representation Alignment）等繼承并發展，展示出從單一模型優化到跨模型知識遷移的演進。
而后兩者在深度學習、擴散模型深化發展的這兩年間，影響頗深。
“恭喜！”“當之無愧！”
AISTATS 官宣其獲獎的推文下面，業界大佬齊聚，一片祝賀之聲。
當初，這篇論文被 AISTATS 接收。然而在謝賽寧本人的轉發推文中，我們知道另一重內幕 ——
這篇論文最初投稿給 NeurIPS。雖然拿下 8/8/7 高分，但仍然被該頂會拒絕了。
他表示：
那次挫折一直縈繞在我心頭，困擾著我……
十一年前，拿到 8/8/7 高分卻被拒
補充下背景信息 ——
《Deeply-Supervised Nets》是謝賽寧攻讀博士學位期間提交的第一篇論文。
他是共同一作之一，另一位共同一作是現在的谷歌研究科學家 Chen-Yu Lee。
該項目通訊作者是清華校友、馬爾獎獲得者，現 UCSD 的計算機科學與工程系教授屠卓文。他也是謝賽寧和 Chen-Yu Lee 的博導。
這篇論文提出了 DSN（深度監督網絡）方法，旨在解決深度學習中隱藏層特征學習的問題，提升分類性能。
當時的深度學習已經開始再次發展，在圖像分類和語音識別領域卓有成效。
不過，它仍然面臨諸多問題，比如隱藏層特征的透明度和判別力降低、梯度消失或爆炸導致訓練困難、對算法行為缺乏數學理解、依賴大量訓練數據以及訓練時手動調參復雜等等。
研究團隊基于觀察發現，在高判別力特征上訓練的分類器性能更好。
通過在網絡各隱藏層利用特征質量反饋，直接影響權重更新，能讓網絡更快學習到好的特征，減輕梯度問題，且不影響整體網絡性能。
于是，團隊提出 DSN，通過中間層監督機制解決 CNN（傳統卷積神經網絡）的三大痛點：
梯度消失
在隱藏層添加輔助分類器（”companion” objective），通過逐層反向傳播增強梯度信號。
特征魯棒性
強制中間層直接參與最終分類任務，使淺層特征更具判別性（如在 AlexNet 中，第 3 層特征分類準確率提升 18%）。
訓練效率
實驗證明在 CIFAR-10 數據集上，DSN 使 ResNet-50 的訓練收斂速度加快 30%，Top-1 準確率提升 2.1%。
時至今日，該成果已成為計算機視覺領域的經典方法，成為首個在生成式 AI 領域產生跨代影響的監督學習框架。
截至本文推送，這篇論文的谷歌學術被引量超過 3000 次。
那，為什么當時的 NeurIPS 沒有接收這篇論文呢？
或許是評審認為該工作是對傳統 CNN 的增量改進而非顛覆性創新，而當時的 NeurIPS 更關注理論突破或新型架構。
總之，雖然評審給這篇論文打出了 8/8/7 的高分，但還是被無情拒收了。
堅持不懈的表現不僅僅是“再試一次”
現在，當初接收 DSN 的 AISTATS，又給予了這個項目時間檢驗獎以嘉獎。
眾所周知，計算機會議的時間檢驗獎通常要求論文在獲獎的 10 年前發表，高被引是核心門檻。
而更為重要的是，時間檢驗獎獲獎項目需被同行評價為開創性工作（seminal work），或理論創新，或有應用價值，成為后續研究的基礎范式。
就像 GAN 啟發了生成式模型，Seq2Seq 推動機器翻譯的發展。
至此，謝賽寧在相關推文中寫下，“也許現在我可以終于釋懷。”（愿他真的從此釋懷～）
當然，謝賽寧還毫不吝嗇地分享了更多感慨與經驗總結。
“我不會把學術會議比做大樂透，但堅持不懈確實能給學術生涯帶來很大的幫助。”謝賽寫對著所有學子們喊話，“同學們：如果你們在看到最近的論文評審結果后感到灰心喪氣，又正為下一篇文章做準備的話，我希望這（DSN 獲時間檢驗獎）能給你們一點小小的提醒，繼續前行吧。”
后來他又對自己的感悟進行了補充說明 ——
堅持不懈并不僅僅是說“繼續努力”或者“再試一次”，它需要一個強大的支持系統和具體的實踐指導。
當我進入 UCSD 時，我對研究一無所知。我的導師屠卓文耐心地指導我們，從編程和數學證明相關的基礎知識，到提出自己的研究想法，再到在臺上自如地演講。
等我自己成為教授后，才體會到這種程度的指導是多么稀有和寶貴。
同時，我也有像 Chen-Yu Lee 這樣的合作者 —— 我們發現挫折，克服挑戰，一起前進。
“你永遠不應該獨自前行。”謝賽寧在最后寫道。
DSN 的共一 Chen-Yu Lee 也很激動地在??上發聲。
我們感到非常自豪！
這篇論文最早（在頂會上）發表于 2015 年。看到這項工作的持續相關性和影響力，真是令人難以置信。
One More Thing
Anyway，對大多數相關從業者來說，論文被頂會接收是一種認可，一種榮譽。
但被頂會拒收，并不意味著對這個項目的全盤否定。
不知道大家還記不記得大明湖畔被 ICLR 2013 拒稿的 Word2vec（后轉投 NeurIPS 并獲接收，2023 年獲時間檢驗獎），以及被 ICLR 2024 拒稿的 Mamba？
謝賽寧的推文評論區，也挖掘出了更多的類似故事。
浙大校友、哥倫比亞大學計算機科學系副教授俞舟（zhou Yu）就留言說，她的團隊在 2019 年獲 ACL 最佳論文提名的項目也在首投時被拒稿。
如果一篇好論文被拒絕，它就具有「成為最好的論文」和「被時間檢驗」的潛力，因為它會再次改進。:)
聽了賽寧的分享，她表示，現在有另一個很好的例子可以用來鼓勵低年級的同學們了～
參考鏈接：
[1]https://x.com/sainingxie/status/1919423231687000493
[2]https://x.com/sainingxie/status/1919022082391671195
[3]https://arxiv.org/abs/1409.5185
[4]https://scholar.google.com/citations?user=Y2GtJkAAAAAJ&hl=en
本文來自微信公眾號：量子位（ID：QbitAI），作者：衡宇，原標題《被拒稿 11 年后翻盤獲時間檢驗獎，DSN 作者謝賽寧：拒稿≠學術死刑》
來源:IT之家
