1、skip connection

skip connection發(fā)音

英：　　美：

skip connection中文意思翻譯

常見釋義：

跳過(guò)連接

skip connection雙語(yǔ)使用場(chǎng)景

1、If you already have an existing DB2 database, skip this step and proceed directly to step 3 to start configuring your database connection.───如果已經(jīng)有一個(gè)DB 2數(shù)據(jù)庫(kù)，那么可以忽略這一步，直接進(jìn)入步驟3，開始配置數(shù)據(jù)庫(kù)連接。

skip connection相似詞語(yǔ)短語(yǔ)

1、skip───vi.跳躍；跳繩；遺漏；跳讀；vt.跳過(guò)；遺漏；n.跳躍；跳讀；n.(Skip)人名；(英)斯基普

2、carf connection───carf連接

3、connection───n.連接；關(guān)系；人脈；連接件

4、click skip───單擊“跳過(guò)”

5、connection speed───連接速度

6、kennel connection───犬舍連接

7、frame skip───跳幀

8、skip about───跳過(guò)

9、connection point───接點(diǎn)

2、如何理解自動(dòng)化機(jī)器學(xué)習(xí)？

過(guò)去十年，谷歌在人工智能領(lǐng)域的重重突破，有很大一部分和 Quoc Le 有關(guān)。這位出生在越南的谷歌研究員像是一個(gè)人工智能的信徒，堅(jiān)信機(jī)器學(xué)習(xí)能夠解決一切讓人煩惱的問(wèn)題，即使存在失敗的可能性，他也樂(lè)在其中。AutoML 則是他最新的研究方向，也是被認(rèn)為將改變整個(gè)深度學(xué)習(xí)發(fā)展進(jìn)程的技術(shù)。正如此，我們希望從和 Le 的采訪中探尋圍繞在 AutoML 的真相和未來(lái)。

在這場(chǎng)一個(gè)小時(shí)的采訪里，筆者印象最深刻的是下面的兩句話：1. 我們做到了自動(dòng)化機(jī)器學(xué)習(xí)，之后就只是規(guī)?；膯?wèn)題。2. 我預(yù)計(jì)未來(lái)兩年內(nèi)，至少在計(jì)算機(jī)視覺領(lǐng)域內(nèi)，最好的網(wǎng)絡(luò)會(huì)是 AutoML 生成的，而不是人工設(shè)計(jì)的。

作為谷歌大腦的創(chuàng)始成員和 AutoML 的締造者之一，Quoc Le 算得上是人工智能研究領(lǐng)域的原住民了。

2011 年在斯坦福大學(xué)讀博時(shí)，Le 和他的老師吳恩達(dá)以及谷歌大腦的研究人員一起，基于千萬(wàn)張 YouTube 圖像開發(fā)了一個(gè)能夠識(shí)別貓的無(wú)監(jiān)督學(xué)習(xí)系統(tǒng)；2014 年，他將深度學(xué)習(xí)技術(shù)應(yīng)用在自然語(yǔ)言理解任務(wù)上，提出了能將文本轉(zhuǎn)換為向量表征、基于循環(huán)神經(jīng)網(wǎng)絡(luò)的 Seq2Seq 學(xué)習(xí)模型，將機(jī)器翻譯的前沿水平又向前推進(jìn)了一步。這為谷歌之后在自然語(yǔ)言機(jī)器翻譯方面的突破奠定了基礎(chǔ)。

自 2014 年以來(lái)，Le 開始將目光轉(zhuǎn)向了自動(dòng)化機(jī)器學(xué)習(xí)（AutoML）。構(gòu)建機(jī)器學(xué)習(xí)模型的過(guò)程需要反復(fù)的人工調(diào)整：研究者會(huì)在初始的模型上嘗試不同的架構(gòu)和超參數(shù)，在數(shù)據(jù)集上評(píng)估模型的表現(xiàn)，再回頭進(jìn)行修改；這個(gè)過(guò)程會(huì)反復(fù)進(jìn)行，直到達(dá)到最優(yōu)。

Le 認(rèn)為可以把它想成是一個(gè)試錯(cuò)問(wèn)題，繼而通過(guò)機(jī)器學(xué)習(xí)解決：「可以看看強(qiáng)化學(xué)習(xí)以及機(jī)器學(xué)習(xí)下圍棋的方式，基本上就是試錯(cuò)?！?/p>

2016 年，Le 與一位谷歌研究者合作發(fā)表了一篇開創(chuàng)性的論文《Neural Architecture Search with Reinforcement Learning》。其核心思想類似于搭建積木：機(jī)器從一個(gè)定義空間中選取自己所需的組件來(lái)構(gòu)建神經(jīng)網(wǎng)絡(luò)，然后使用一種試錯(cuò)技術(shù)，也就是—強(qiáng)化學(xué)習(xí)—來(lái)提升其準(zhǔn)確度。這種方法得到了令人驚喜的結(jié)果，機(jī)器所生成的模型的表現(xiàn)可媲美人工調(diào)節(jié)的最佳模型。

Le 的研究成果催生了 Google Cloud AutoML，能讓機(jī)器學(xué)習(xí)知識(shí)有限的開發(fā)者也能訓(xùn)練出高質(zhì)量的模型。不出所料，AutoML 迅速成為了今年最熱門的研究主題之一，科技巨頭與創(chuàng)業(yè)公司紛紛跟隨谷歌的腳步，投入這項(xiàng)新技術(shù)。

Google Cloud 在今年年初發(fā)布了 AutoML 視覺，之后又發(fā)布了 AutoML 翻譯和語(yǔ)言

機(jī)器之心近日視頻采訪了 Quoc Le 博士。這位謙遜的 36 歲越南裔人工智能專家談到了他的靈感來(lái)源、AutoML 背后的技術(shù)和前方的道路及其在機(jī)器學(xué)習(xí)領(lǐng)域內(nèi)扮演的重要新角色。這位站在許多變革性技術(shù)背后的人有怎樣的見解呢？請(qǐng)看后文。為了簡(jiǎn)潔和明晰，采訪內(nèi)容進(jìn)行過(guò)適當(dāng)編輯。

在即將于 11 月 9 日 于加利福尼亞州圣何塞舉辦的 AI Frontiers 會(huì)議上，Quoc Le 將發(fā)表主題為「使用機(jī)器學(xué)習(xí)自動(dòng)化機(jī)器學(xué)習(xí)」的演講，特別將關(guān)注神經(jīng)架構(gòu)搜索和自動(dòng)數(shù)據(jù)增強(qiáng) AutoAugment。

靈感

您在何時(shí)開始想要設(shè)計(jì)一種新的神經(jīng)架構(gòu)搜索方法？是什么啟發(fā)了你？

那是在大概 2014 年的樣子，這個(gè)過(guò)程隨時(shí)間逐漸發(fā)生的。我是一位機(jī)器學(xué)習(xí)工程師。當(dāng)你一直以來(lái)都在做神經(jīng)網(wǎng)絡(luò)方面的工作時(shí)，你會(huì)意識(shí)到很多工作都需要人工調(diào)整，也就是人們說(shuō)的「超參數(shù)」——神經(jīng)網(wǎng)絡(luò)的層數(shù)、學(xué)習(xí)率、網(wǎng)絡(luò)中所使用的層的類型。AI 研究者往往會(huì)根據(jù)某些原則開始調(diào)整，然后這些原則會(huì)隨時(shí)間變得不那么有效，他們?cè)賴L試不同的策略。

我關(guān)注了 ImageNet 競(jìng)賽中的某些進(jìn)展，也見證了谷歌的 Inception 網(wǎng)絡(luò)的發(fā)展。我便開始思考我想做些什么，但那時(shí)的想法還不清晰。我喜歡卷積網(wǎng)絡(luò)，但我不喜歡一個(gè)關(guān)于卷積網(wǎng)絡(luò)的事實(shí)：卷積網(wǎng)絡(luò)中的權(quán)重并不彼此共享。所以我就想，也許我應(yīng)該開發(fā)一種全新的機(jī)制，能真正學(xué)會(huì)如何在神經(jīng)網(wǎng)絡(luò)中共享權(quán)重。

隨著我的工作推進(jìn)，我對(duì)此的直觀理解也越來(lái)越多，我開始發(fā)現(xiàn)：研究者們所做的事情是將一些已有的構(gòu)建模塊組合到一起，然后嘗試它們的效果。他們看到準(zhǔn)確度有一定提升。然后就說(shuō)：「很好，也許我剛引入了一個(gè)好想法。試試看保留我剛剛引入的好東西，但用某些新東西替換舊有的部分會(huì)怎樣呢？」他們就這樣繼續(xù)這一過(guò)程，這個(gè)領(lǐng)域的專家可能會(huì)嘗試數(shù)百種架構(gòu)。

在 2016 年左右，我當(dāng)時(shí)在思考如果這個(gè)過(guò)程需要如此之多的試錯(cuò)，那我們就應(yīng)該使用機(jī)器學(xué)習(xí)來(lái)自動(dòng)化，因?yàn)闄C(jī)器學(xué)習(xí)本身也是基于試錯(cuò)的?？梢钥纯磸?qiáng)化學(xué)習(xí)以及機(jī)器學(xué)習(xí)下圍棋的方式，基本上就是試錯(cuò)。

我研究了做成這件事將需要多少真正的計(jì)算資源。我的想法是，如果是一個(gè)人類，那可能會(huì)需要一百個(gè)網(wǎng)絡(luò)來(lái)試錯(cuò)，因?yàn)槿祟愐呀?jīng)有大量直覺知識(shí)和大量訓(xùn)練了。如果你使用算法來(lái)做這件事，那你的速度可能會(huì)慢上一兩個(gè)數(shù)量級(jí)。我認(rèn)為實(shí)際上慢一兩個(gè)數(shù)量級(jí)也不算太差，而且我們已經(jīng)有充足的計(jì)算資源來(lái)做這件事了。所以我決定與一位培訓(xùn)生（Barret Zoph，現(xiàn)在已是谷歌大腦的一位研究者）一起啟動(dòng)這個(gè)項(xiàng)目。

我之前沒想到這會(huì)如此地成功。我當(dāng)時(shí)認(rèn)為我們能做到的最佳結(jié)果可能是人類水平的 80%。但這位培訓(xùn)生非常優(yōu)秀，他實(shí)際上做到了與人類媲美的水平。

許多人告訴我：「你花費(fèi)了如此之多資源，就只為達(dá)到了人類水平？」但我從這個(gè)實(shí)驗(yàn)中看到的是現(xiàn)在我們可以做到自動(dòng)化機(jī)器學(xué)習(xí)。這只是一個(gè)規(guī)模問(wèn)題。所以如果你的規(guī)模更大，你就能得到更好的結(jié)果。我們繼續(xù)開展了第二個(gè)項(xiàng)目，采用了甚至更大的規(guī)模并在 ImageNet 上進(jìn)行了研究，然后開始得到了真正非常出色的結(jié)果。

您有這個(gè)想法有告訴 Jeff Dean 嗎？他是什么反應(yīng)？

嗯，他非常支持。實(shí)際上我也想感謝 Jeff Dean 在這個(gè)想法的初期所提供的幫助。

我記得在 2014 年，有一次和 Jeff 吃了一頓午餐，他也分享了非常類似的看法。他認(rèn)為如果仔細(xì)了解那時(shí)候的深度學(xué)習(xí)研究者所做的事情，就會(huì)發(fā)現(xiàn)他們當(dāng)時(shí)會(huì)花大量時(shí)間來(lái)在超參數(shù)等方面調(diào)整架構(gòu)。我們認(rèn)為一定存在一種自動(dòng)化這一過(guò)程的方法。Jeff 喜歡擴(kuò)展和自動(dòng)化困難的東西，這是大多數(shù)科技人員不愿做的事情。Jeff 給我提供了鼓勵(lì)，我也最終決定去做這個(gè)。

谷歌 AI 負(fù)責(zé)人 Jeff Dean

神經(jīng)架構(gòu)搜索與您之前的研究有何不同？

這不同于我之前在計(jì)算機(jī)視覺領(lǐng)域的工作。這段研究經(jīng)歷源自一個(gè)想法，并且也在隨時(shí)間成長(zhǎng)。我也有過(guò)一些錯(cuò)誤想法。比如，我曾想自動(dòng)化和重建卷積，但那是個(gè)錯(cuò)誤的直覺想法。也許我應(yīng)該接受卷積，然后使用卷積來(lái)構(gòu)建其它東西？這對(duì)我來(lái)說(shuō)是一個(gè)學(xué)習(xí)過(guò)程，但不算太壞。

技術(shù)

研究者或工程師需要哪些種類的組件來(lái)構(gòu)建神經(jīng)網(wǎng)絡(luò)模型？

因應(yīng)用各異，確實(shí)會(huì)有所不同，所以我們先來(lái)看看計(jì)算機(jī)視覺領(lǐng)域——即使是在計(jì)算機(jī)視覺領(lǐng)域內(nèi)也有很多事物。通常而言，卷積網(wǎng)絡(luò)會(huì)有一個(gè)圖像輸入，有一個(gè)卷積層，然后一個(gè)池化層，之后還有批歸一化。然后還有激活函數(shù)，你還可以決定連接到新的層的 skip connection 等等。

在卷積模塊內(nèi)，你還有很多其它選擇。比如在卷積中，你必須決定過(guò)濾器的大?。?x1? 3x3? 5x5? 你還必須決定池化和批量大小的規(guī)格。至于 skip connection，你可以選擇從第一層到第十層，也可以選擇從第一層到第二層。所以需要做的決定非常多，也就存在大量可能的架構(gòu)?？赡苄砸苍S能達(dá)到數(shù)萬(wàn)億，但人類現(xiàn)在只會(huì)檢查這些可能中的一小部分。

一種常見的卷積架構(gòu)

您的第一篇 AutoML 相關(guān)論文是《Neural Architecture Search (NAS) with Reinforcement Learning（使用強(qiáng)化學(xué)習(xí)的神經(jīng)架構(gòu)搜索）》。自那以后，您的團(tuán)隊(duì)已經(jīng)采用了進(jìn)化算法并開始使用漸進(jìn)式神經(jīng)架構(gòu)搜索。您能詳細(xì)談?wù)勥@些改進(jìn)背后的思路嗎？

在原來(lái)的論文中，我們是從強(qiáng)化學(xué)習(xí)開始的，因?yàn)槲覀冎庇X上認(rèn)為這類似于人類的處理方法，也就是可以使用試錯(cuò)。但我很好奇，所以我說(shuō)：「好吧，試試進(jìn)化方法怎么樣？」我們做了很多實(shí)驗(yàn)并取得了一些成功，并且認(rèn)識(shí)到這個(gè)過(guò)程可以使用進(jìn)化來(lái)完成，所以我們修改了核心算法。

更大的一個(gè)改變是使用了 ENAS（高效神經(jīng)架構(gòu)搜索）。過(guò)去，當(dāng)你生成了大量架構(gòu)時(shí)，每個(gè)架構(gòu)的訓(xùn)練和評(píng)估都相對(duì)于前一代是獨(dú)立的。所以一般不會(huì)共享任何先驗(yàn)知識(shí)或信息。假設(shè)說(shuō)你確實(shí)開發(fā)了一種共享機(jī)制，你可以從之前訓(xùn)練的網(wǎng)絡(luò)繼承某些權(quán)重，然后就可以更快速地訓(xùn)練。所以我們就這樣做了。

基本而言，我們的想法就是創(chuàng)造一個(gè)包含了所有可能性的巨型網(wǎng)絡(luò)，然后在該網(wǎng)絡(luò)中搜索一條路徑（以最大化在驗(yàn)證集上的預(yù)期獎(jiǎng)勵(lì)），這就是所要尋找的架構(gòu)。某些權(quán)重會(huì)在下一次實(shí)驗(yàn)中得到重復(fù)使用。所以會(huì)有很多權(quán)重共享。因?yàn)檫@種方法，我們實(shí)際上能實(shí)現(xiàn)很多個(gè)數(shù)量級(jí)的加速。原始的 NAS（神經(jīng)架構(gòu)搜索）算法要更靈活得多，但成本太高了。ENAS 基本上是一種更快的新算法，但限制也更多一點(diǎn)。

原始的 NAS 算法可以生成更優(yōu)的架構(gòu)以及更好的超參數(shù)、更好的數(shù)據(jù)增強(qiáng)策略、更好的激活函數(shù)、更好的初始化等等。目前我們只成功將這種新的 ENAS 算法用在了架構(gòu)方面，還沒用到數(shù)據(jù)增強(qiáng)以及優(yōu)化方面。

您的意思是其它參數(shù)是人類決定的？

我們將架構(gòu)搜索和數(shù)據(jù)增強(qiáng)確定為人類專家很難設(shè)計(jì)的兩個(gè)關(guān)鍵領(lǐng)域。所以一旦你做對(duì)了這兩件事，就能實(shí)現(xiàn)大量成果。其余的只用常見的優(yōu)化技術(shù)和標(biāo)準(zhǔn)的實(shí)踐方法即可。我們只關(guān)注能提供最大效益的組件的自動(dòng)化。

ENAS 是一個(gè)很近期的進(jìn)展。盡管我們還在做大量黑箱中的實(shí)驗(yàn)，但這個(gè)研究方向進(jìn)展很快。

我聽說(shuō)有一家創(chuàng)業(yè)公司正使用一種名叫生成式合成（generative synthesis）的技術(shù)。另外還有使用 GAN 的？不同的搜索算法各有哪些優(yōu)缺點(diǎn)？

我不確定有誰(shuí)真在用 GAN 來(lái)做架構(gòu)生成。我認(rèn)為這是可能的，但我不是很了解。

進(jìn)化和強(qiáng)化學(xué)習(xí)具有相似的通用性，但同樣，如果你不做任何假設(shè)，它們的速度會(huì)非常慢。所以人們發(fā)展出了漸進(jìn)式神經(jīng)架構(gòu)搜索的思想，即先搜索一個(gè)小組件，然后再不斷增添。我認(rèn)為這是一個(gè)非常好的想法。

神經(jīng)架構(gòu)搜索概況

說(shuō)到 ENAS，基本而言核心思想就是權(quán)重共享。你想開發(fā)一個(gè)大架構(gòu)，然后找到一條路徑。ENAS 基于一些其它思想，比如 one-shot architecture search，也就是構(gòu)建多個(gè)模型，然后想辦法在它們之間共享權(quán)重。我認(rèn)為強(qiáng)化學(xué)習(xí)和進(jìn)化方法的優(yōu)勢(shì)是它們非常靈活。它們可用于機(jī)器學(xué)習(xí)流程中任何組件的自動(dòng)化。但它們也成本高昂。ENAS 和漸進(jìn)式架構(gòu)搜索等大多數(shù)針對(duì)特定方面的算法都會(huì)有某些前提假設(shè)，所以它們的通用性和靈活性更差，但它們一般速度更快。我對(duì) GAN 方面不太了解。我認(rèn)為人們會(huì)使用 GAN 來(lái)生成更好的圖像，但我不認(rèn)為人們會(huì)使用 GAN 來(lái)生成更好的架構(gòu)。

遷移學(xué)習(xí)在 AutoML 技術(shù)中扮演怎樣的角色？

遷移學(xué)習(xí)有兩種類型。第一種是架構(gòu)遷移學(xué)習(xí)，比如找到一個(gè)在圖像識(shí)別數(shù)據(jù)集上的好架構(gòu)之后再遷移用于目標(biāo)檢測(cè)。另一種遷移學(xué)習(xí)是權(quán)重遷移學(xué)習(xí)——如果你在公共數(shù)據(jù)集上訓(xùn)練你的網(wǎng)絡(luò)，你會(huì)得到一個(gè)結(jié)果，然后再在你自己的數(shù)據(jù)集上再訓(xùn)練該網(wǎng)絡(luò)。

讓我們假設(shè)這樣的情況：我們想做鮮花檢測(cè)。ImageNet 有大約 100 萬(wàn)張圖像，包含花的圖像有大約 1000 張。你可以根據(jù) ImageNet 找到最佳的架構(gòu)，然后復(fù)用這些權(quán)重；或者你可以直接取一個(gè) Inception V3 這樣的先進(jìn)模型，然后在 ImageNet 上訓(xùn)練，再在花上遷移學(xué)習(xí)，之后復(fù)用其權(quán)重。SOTA 方法是只遷移權(quán)重，因?yàn)榇蠖鄶?shù)人都不做架構(gòu)生成。你必須先讓你的 Inception V3 或 ResNet 在 ImageNet 上訓(xùn)練。完成這個(gè)訓(xùn)練之后，你再做微調(diào)。

我想說(shuō)的是，實(shí)際上你既需要架構(gòu)遷移學(xué)習(xí)，也需要權(quán)重遷移學(xué)習(xí)；兩者可以通過(guò)如下方式結(jié)合起來(lái)：

• 結(jié)合方法一：首先做架構(gòu)遷移學(xué)習(xí)，然后再做權(quán)重遷移學(xué)習(xí)。

• 結(jié)合方法二：直接在你的數(shù)據(jù)集上進(jìn)行架構(gòu)搜索，并在 ImageNet 上做權(quán)重遷移學(xué)習(xí)。

• 結(jié)合方法三：直接使用 ResNet 和權(quán)重遷移學(xué)習(xí)。這是當(dāng)前最佳的方法。

• 結(jié)合方法〇：只在你的目標(biāo)數(shù)據(jù)集上進(jìn)行架構(gòu)搜索，不做遷移學(xué)習(xí)。

因數(shù)據(jù)集不同，適用的結(jié)合方法也不同，因?yàn)橛械臄?shù)據(jù)集更大，有的則更小。不同的結(jié)合方式是在數(shù)據(jù)集的不同側(cè)面發(fā)揮作用。

我預(yù)測(cè)未來(lái)幾年，組合方法〇（即純粹的架構(gòu)搜索）將能得到質(zhì)量更好的網(wǎng)絡(luò)。我們?cè)谶@一領(lǐng)域做了大量研究，我們知道這種方法實(shí)際上更好。

Quoc Le 在接受機(jī)器之心視頻采訪期間進(jìn)行板書

麻省理工學(xué)校和上海交通大學(xué)的一篇研究論文提出了一種路徑層面的網(wǎng)絡(luò)到網(wǎng)絡(luò)變換（arXiv: 1806.02639），您怎么看？

這是個(gè)很棒的思路。在我決定研究架構(gòu)搜索時(shí)我就想過(guò)嘗試這一思路：首先從一個(gè)優(yōu)良的初始架構(gòu)開始，然后修改再修改，總是盡力做到越來(lái)越好。但我感覺這有點(diǎn)點(diǎn)胸?zé)o大志，我希望能做些更雄心勃勃的事情！

寫論文的一大好處是當(dāng)我們發(fā)表時(shí)，我們會(huì)發(fā)現(xiàn)很多人都有一樣的哲學(xué)思想。而且他們確實(shí)對(duì)這些算法進(jìn)行了修改，我們實(shí)際上也能從這些研究思想中學(xué)到東西，幫助改進(jìn)我們自己的研究。

AutoML 的哪些部分仍需人類干預(yù)？

我們還必須做一些設(shè)計(jì)搜索空間的工作。在架構(gòu)搜索方面，可以使用進(jìn)化、強(qiáng)化學(xué)習(xí)或這種高效的算法。但我們也必須定義一個(gè)卷積網(wǎng)絡(luò)或全連接網(wǎng)絡(luò)的構(gòu)建模塊所處的空間。有些決定還是必須人來(lái)做，因?yàn)槟壳?AutoML 的計(jì)算能力有限。我們并不能直接搜索一切，因?yàn)槟菢拥脑捤阉骺臻g就太大了。因?yàn)檫@樣的原因，我們必須設(shè)計(jì)一個(gè)帶有所有可能性的更小的搜索空間。

深度學(xué)習(xí)仍然是一種黑箱技術(shù)。AutoML 能幫助用戶更好地理解模型嗎？

我們能得到一些見解。比如，這樣的搜索過(guò)程會(huì)生成很多看起來(lái)類似的架構(gòu)。你可以檢查這些架構(gòu)，然后識(shí)別出特定的模式。你也可以得出一些直覺理解，幫助你了解哪種架構(gòu)對(duì)你的數(shù)據(jù)集而言最好。比如在 ImageNet 上，由 AutoML 發(fā)現(xiàn)的網(wǎng)絡(luò)的層中通常都有多個(gè)分支（不同于每層僅有一個(gè)或少量分支的更傳統(tǒng)的網(wǎng)絡(luò)）。在分支的層面上看，很難解釋發(fā)生了什么。

在 ImageNet 中，目標(biāo)和圖像的尺寸各有不同。有時(shí)候巨大醒目的目標(biāo)出現(xiàn)在圖像正中，有時(shí)候圖像中的目標(biāo)非常小，比如一個(gè)小零件。所以你會(huì)有不同大小的過(guò)濾器。通過(guò)組合不同的分支，能得到更好的結(jié)果。我們會(huì)繼續(xù)研究這個(gè)問(wèn)題。

AutoML 的挑戰(zhàn)和未來(lái)

您認(rèn)為 AutoML 研究目前所面臨的最大難題是什么？

我認(rèn)為未來(lái)兩年中最大的難題將是如何讓搜索更高效，因?yàn)槲艺J(rèn)為很多人都不想使用一百個(gè) GPU 來(lái)解決某個(gè)小數(shù)據(jù)集的問(wèn)題。所以尋找能在降低成本的同時(shí)又不影響質(zhì)量的方法會(huì)成為一個(gè)非常重大的問(wèn)題。

第二個(gè)大難題是如何降低設(shè)計(jì)搜索空間所需的人力工作。因?yàn)楝F(xiàn)在的搜索空間中具有某些先驗(yàn)的知識(shí)，所以即使我們宣稱我們用 AutoML 做一切工作，特定的先驗(yàn)知識(shí)元素仍會(huì)進(jìn)入搜索空間。我認(rèn)為這還不夠理想，我也想研究這個(gè)問(wèn)題。

但我可以告訴你，AutoML beta 版的質(zhì)量已經(jīng)很好了，谷歌云的人也很滿意。我不能說(shuō)產(chǎn)品的細(xì)節(jié)，但我認(rèn)為質(zhì)量已經(jīng)很好。而且接受情況也很棒。

參閱機(jī)器之心文章：https://www.jiqizhixin.com/articles/2018-02-06-23

在 AutoML 的魯棒性提升方面是否還有機(jī)會(huì)？

一般而言，當(dāng)我們做 AutoML 時(shí)，我們會(huì)有另外一個(gè)驗(yàn)證數(shù)據(jù)集。這樣我們就可以不斷在那個(gè)數(shù)據(jù)集上進(jìn)行驗(yàn)證來(lái)評(píng)估質(zhì)量。魯棒性實(shí)際上已經(jīng)是 AutoML 的目標(biāo)函數(shù)的一部分。現(xiàn)在在添加約束方面，事實(shí)證明 AutoML 有能力做到，比如制作對(duì)對(duì)抗噪聲更魯棒的模型，或?qū)⑵渌獠考s束條件添加進(jìn) AutoML 中。這是一種非常棒的能力，因?yàn)楹芏鄷r(shí)候當(dāng)你有新的約束條件時(shí)，人類很難找到將其植入到模型中的方法。但是 AutoML 可以使用一個(gè)獎(jiǎng)勵(lì)函數(shù)作為準(zhǔn)確度和魯棒性之間的權(quán)衡。然后進(jìn)化，最后會(huì)找到一個(gè)在準(zhǔn)確度和穩(wěn)健性之間有良好權(quán)衡的模型。

說(shuō)個(gè)案例。我們之前有位研究者在研究如何設(shè)計(jì)出更好的網(wǎng)絡(luò)來(lái)防御對(duì)抗樣本。我們?cè)?CIFAR-10 上進(jìn)行了小規(guī)模的實(shí)驗(yàn)。他找到了一個(gè)對(duì)對(duì)抗攻擊非常穩(wěn)健的網(wǎng)絡(luò)，由于之前最佳。這個(gè)結(jié)果非常好，能做到這一點(diǎn)的原因是人類很難直觀地想出一種防御攻擊的方法。但 AutoML 不在乎，它只是嘗試了一些網(wǎng)絡(luò)，然后其中一個(gè)網(wǎng)絡(luò)不知怎的本身就具有防御攻擊的機(jī)制。

有辦法有效地比較目前市面上的這些各不相同的 AutoML 解決方案嗎？

可以做到。只要你有一個(gè)任務(wù)，你就應(yīng)該單獨(dú)創(chuàng)建一個(gè)數(shù)據(jù)集。你將其輸入 AutoML，然后它會(huì)得出某些預(yù)測(cè)模型，然后你在你的測(cè)試集上評(píng)估這些預(yù)測(cè)模型——這個(gè)測(cè)試集應(yīng)該被看作是你的基準(zhǔn)集。在基準(zhǔn)集上的準(zhǔn)確度是衡量模型表現(xiàn)的好標(biāo)準(zhǔn)。我不能過(guò)多地評(píng)論我們的方法與市面上其它方法的比較情況，但我認(rèn)為人們都可以自己去看去比較。

您認(rèn)為 AutoML 能夠生成下一代顛覆性網(wǎng)絡(luò)架構(gòu)嗎，類似 Inception 或 ResNet？

我認(rèn)為它已經(jīng)做到了。我們近期使用了架構(gòu)搜索來(lái)尋找可用于移動(dòng)手機(jī)的更好的網(wǎng)絡(luò)。這是一個(gè)很艱難的領(lǐng)域，很多人都在研究。超過(guò) MobileNet v2 是很困難的，這是現(xiàn)在的行業(yè)標(biāo)準(zhǔn)。我們生成了一個(gè)顯著更優(yōu)的網(wǎng)絡(luò)，在移動(dòng)手機(jī)上同樣速度下好 2%。

而這僅僅是個(gè)開始。我認(rèn)為這樣的事還會(huì)繼續(xù)發(fā)生。我預(yù)計(jì)未來(lái)兩年內(nèi)，至少在計(jì)算機(jī)視覺領(lǐng)域內(nèi)，最好的網(wǎng)絡(luò)會(huì)是生成的，而不是人工設(shè)計(jì)的。

您怎么看待圍繞 AutoML 的炒作？

我很難評(píng)論圍繞 AutoML 的炒作，但當(dāng)我看到很多人都想使用機(jī)器學(xué)習(xí)時(shí)，我認(rèn)為在幫助機(jī)器學(xué)習(xí)更廣泛可用方面還存在很大的能做出成績(jī)的空間。特定的技術(shù)可能比其它一些技術(shù)炒得更兇，但我認(rèn)為隨著時(shí)間推移，我們能帶來(lái)影響的領(lǐng)域?qū)⒎浅V闊。

很少有研究者能在機(jī)器學(xué)習(xí)領(lǐng)域多次取得突破。您是如何維持自己的創(chuàng)造力的？

首先，出色的研究者有很多，他們都非常有創(chuàng)造力，工作非常出色，所以我并不特殊。對(duì)于我自己，我有一些我一直很好奇并想要解決的問(wèn)題，而且我非常熱愛解決這些問(wèn)題。我只是跟隨著自己的好奇心并為世界帶來(lái)了積極的影響。這是好奇心與毅力的結(jié)合。我也會(huì)在周末踢足球，而且我愛好園藝。我不知道這是否有助于我的研究工作，但這確實(shí)能幫助我放松身心。

我不得不問(wèn)：您如何應(yīng)對(duì)失??？

如果你熱愛，那你就會(huì)堅(jiān)持不懈去追尋，對(duì)吧？我非常熱愛機(jī)器學(xué)習(xí)。教機(jī)器如何學(xué)習(xí)是一種做計(jì)算機(jī)編程的新方法：不用再寫程序了，可以教機(jī)器來(lái)做。我從根本上喜歡這個(gè)概念。所以即便遭遇失敗時(shí)，我也樂(lè)在其中！