1、generative

generative發(fā)音

英：[?d?en?r?t?v]　　美：[?d?en?r?t?v]

英：　　美：

generative中文意思翻譯

常用釋義：有生產(chǎn)力的

adj.生殖的；生產(chǎn)的；有生殖力的；有生產(chǎn)力的

generative常用詞組：

generative grammar───生成文法；衍生語法

generative mechanism───生成機(jī)制；衍生機(jī)構(gòu)

generative process───生成過程；衍生過程

generative雙語使用場(chǎng)景

1、While Generative Semantics is no longer regarded as a viable grammatical model, it is important in a number of ways.───盡管生成語義學(xué)已不再被視為一個(gè)可行的語法模型，但它仍然在許多方面顯露出它的重要性。

2、Increasing the generative chemical reaction parameter increases the surface heat transfer rate and decreases the surface mass transfer rate.───增大生成化學(xué)反應(yīng)會(huì)增加表面熱傳遞而減少質(zhì)量傳遞。

3、no microbody in the generative cell but many microbodies were present in the tube cell cytoplasm.───生殖細(xì)胞內(nèi)不具微體，而管細(xì)胞的細(xì)胞質(zhì)有較多的微體。

4、Mr Zittrain calls it "generative" : people can tinker with it, creating new services and elbowing existing ones aside.───紫泉先生稱之為“生產(chǎn)性”：人們可以對(duì)他進(jìn)行小修小補(bǔ)，建立新的服務(wù)讓現(xiàn)有的靠邊站。

5、The Singapore Exchange is under-leveraged compared with its peers, and is highly cash generative.───新交所的杠桿率低于同行，而且現(xiàn)金生成能力很強(qiáng)。

6、Chomsky's generative grammar further excludes social and cultural elements out of the linguistic research.───喬姆斯基的生成語法更是將語言的社會(huì)和文化因素排除在語言學(xué)研究之外。

7、many proposals originally disputed by generative semanticists have since appeared in the interpretivist literature.───此后，生成語義學(xué)家最初提出的許多建議都出現(xiàn)在解釋主義文獻(xiàn)中。

8、A generative value is a quality or attribute that must be generated, grown, cultivated, nurtured.───就是一種需要被產(chǎn)生、成長(zhǎng)、培養(yǎng)與呵護(hù)的特質(zhì)或?qū)傩浴?/p>

9、But it is only by building a new foundation that we will once again harness that incredible generative capacity of the American people.───但這需要我們建立一個(gè)新的基礎(chǔ)才能使得美國(guó)人民的無窮的創(chuàng)造力得以施展。

generative相似詞語短語

1、federative───adj.聯(lián)合的；聯(lián)邦性的

2、generalise───vt.概括；歸納；普及；vi.推廣；籠統(tǒng)地講；概括（等于generalize）

3、generate───vt.使形成；發(fā)生；生殖；產(chǎn)生物理反應(yīng)

4、generalize───vt.概括；推廣；使...一般化；vi.形成概念

5、degenerative───adj.（疾病）惡化的，變性的；退化的，變壞的

6、penetrative───adj.滲透的；有穿透力的；徹骨的

7、regenerative───adj.再生的，更生的；更新的

8、enervative───退化的

9、venerative───崇敬的

2、【模型解讀】歷數(shù)GAN的5大基本結(jié)構(gòu)

首發(fā)于微信公眾號(hào)《有三AI》

模型解讀歷數(shù)GAN的5大基本結(jié)構(gòu)

生成對(duì)抗網(wǎng)絡(luò)是近幾年來無監(jiān)督學(xué)習(xí)領(lǐng)域里最大的進(jìn)展，被譽(yù)為下一代深度學(xué)習(xí)，不管是研究熱度還是論文數(shù)量，已經(jīng)逼近甚至超越傳統(tǒng)判別式的CNN架構(gòu)。

這一次我們簡(jiǎn)單介紹一下生成對(duì)抗網(wǎng)絡(luò)的主流模型結(jié)構(gòu)，從一個(gè)生成器一個(gè)判別器到多個(gè)生成器多個(gè)判別器。

作者 | 言有三

編輯 | 言有三

我們這一期文章不打算從頭開始講述GAN，所以如果大家沒有相關(guān)基礎(chǔ)的，就先看一下我們上一期GAN的介紹。

技術(shù)綜述有三說GANs（上）​

一個(gè)基本的用于生成圖像的GAN的結(jié)構(gòu)就是這樣的。

Generator就是生成器，它輸入噪聲，輸出產(chǎn)生的圖像。通常噪聲就是一個(gè)一維的向量，經(jīng)過reshape為二維圖像，然后利用若干個(gè)反卷積層來學(xué)習(xí)上采樣。

如全卷積的DCGAN模型[1]，輸入就是1*100的向量，然后經(jīng)過一個(gè)全連接層學(xué)習(xí)，reshape到4*4*1024的張量，再經(jīng)過4個(gè)上采樣的反卷積網(wǎng)絡(luò)，生成64*64的圖。

Discrimator就是普通的CNN分類器，輸入真實(shí)樣本或者生成的假樣本進(jìn)行分類，在DCGAN中也是4個(gè)卷積層。

采用多個(gè)判別器[2]的好處帶來了類似于boosting的優(yōu)勢(shì)，訓(xùn)練一個(gè)過于好的判別器，會(huì)損壞生成器的性能，這是GAN面臨的一個(gè)大難題。如果能夠訓(xùn)練多個(gè)沒有那么強(qiáng)的判別器，然后進(jìn)行boosting，可以取得不錯(cuò)的效果，甚至連dropout技術(shù)都可以應(yīng)用進(jìn)來。

多個(gè)判別器還可以相互進(jìn)行分工，比如在圖像分類中，一個(gè)進(jìn)行粗粒度的分類，一個(gè)進(jìn)行細(xì)粒度的分類。在語音任務(wù)中，各自用于不同聲道的處理。

一般來說，生成器相比判別器要完成的任務(wù)更難，因?yàn)樗瓿蓴?shù)據(jù)概率密度的擬合，而判別器只需要進(jìn)行判別，導(dǎo)致影響GAN性能的一個(gè)問題就是模式坍塌，即生成高度相似的樣本。

采用多個(gè)生成器單個(gè)判別器的方法，可以有效地緩解這個(gè)問題。

從上圖結(jié)構(gòu)可以看出，多個(gè)生成器采用同樣的結(jié)構(gòu)，在網(wǎng)絡(luò)的淺層還共享權(quán)重。

在利用GAN進(jìn)行半監(jiān)督的圖像分類任務(wù)時(shí)，判別器需要同時(shí)擔(dān)任兩個(gè)角色，即判別生成的假樣本，以及預(yù)測(cè)類別，這對(duì)判別器提出了較高的要求。通過增加一個(gè)分類器可以分擔(dān)判別器的工作量，即將捕捉樣本和標(biāo)簽的條件分布這一任務(wù)交給生成器和分類器，而判別器只專注于區(qū)分真實(shí)樣本和生成的樣本。

這一類結(jié)構(gòu)以Triple Generative Adversarial Nets為代表，下圖是它的網(wǎng)絡(luò)結(jié)構(gòu)。

多個(gè)生成器和多個(gè)判別器就又有幾種。

5.1 級(jí)聯(lián)結(jié)構(gòu)[5]

早期以DCGAN為代表的網(wǎng)絡(luò)生成的圖片分辨率太低，質(zhì)量不夠好，都不超過100×100，在32×32或者64×64左右。這是因?yàn)殡y以一次性學(xué)習(xí)到生成高分辨率的樣本，收斂過程容易不穩(wěn)定。

類似的問題在圖像分割，目標(biāo)檢測(cè)中都存在。在目標(biāo)檢測(cè)中，級(jí)聯(lián)網(wǎng)絡(luò)被廣泛使用，即采用從粗到精的方法依次改進(jìn)檢測(cè)器的性能。在圖像分割中進(jìn)行上采樣時(shí)也采用學(xué)習(xí)小倍率的放大而不是大倍率的方法，如利用兩個(gè)2倍上采樣替換一個(gè)4倍的上采樣，不僅可以增強(qiáng)網(wǎng)絡(luò)的表達(dá)能力，還降低了學(xué)習(xí)難度。

基于此，金字塔GAN結(jié)構(gòu)被提出并廣泛使用，它參考圖像領(lǐng)域里面的金字塔結(jié)構(gòu)由粗到精一步一步生成圖像，并添加殘差進(jìn)行學(xué)習(xí)。

上圖就是它的結(jié)構(gòu)，從低分辨率z3開始，逐級(jí)提升，最終生成I0，這是一個(gè)金字塔形狀的結(jié)構(gòu)，以下符號(hào)較多用圖片代替。

5.2 并行與循環(huán)結(jié)構(gòu)[6]

GAN有一大應(yīng)用就是風(fēng)格化，實(shí)現(xiàn)兩個(gè)域之間的風(fēng)格互換，以CycleGAN[6]為典型代表。它包含了多個(gè)生成器和多個(gè)判別器。Cycle的典型結(jié)構(gòu)如下：

X和Y分別表示兩個(gè)域的圖像，可知這里存在兩個(gè)生成器G和F，分別用于從X到Y(jié)的生成和Y到X到生成，包含兩個(gè)判別器，分別是Dx和Dy。而損失本身也增加了一個(gè)循環(huán)損失，感興趣讀者可以去細(xì)讀文章。

另外在cross domain學(xué)習(xí)中也常用到多判別器多生成器多結(jié)構(gòu)，分別學(xué)習(xí)不同的域。而且各個(gè)域的判別器和生成器通常會(huì)共享一些權(quán)重，如下圖是CoGAN[7]的網(wǎng)絡(luò)結(jié)構(gòu)。

另外還有一些零零散散的結(jié)構(gòu)，比如3D GAN，RNN GAN，由于都是上面這幾類的變種，不再統(tǒng)一介紹。

[1] Radford A, Metz L, Chintala S, et al. Unsupervised Representation Learning with Deep Convolutional Generative Adversarial Networks[J]. international conference on learning representations, 2016.

[2] Durugkar I P, Gemp I, Mahadevan S, et al. Generative Multi-Adversarial Networks[J]. international conference on learning representations, 2017.

[3] Ghosh A, Kulharia V, Namboodiri V P, et al. Multi-Agent Diverse Generative Adversarial Networks[J]. computer vision and pattern recognition, 2018: 8513-8521.

[4] Chongxuan L I, Xu T, Zhu J, et al. Triple Generative Adversarial Nets[J]. neural information processing systems, 2017: 4088-4098.

[5] Denton E L, Chintala S, Szlam A, et al. Deep generative image models using a Laplacian pyramid of adversarial networks[J]. neural information processing systems, 2015: 1486-1494.

[6] Zhu J, Park T, Isola P, et al. Unpaired Image-to-Image Translation Using Cycle-Consistent Adversarial Networks[J]. international conference on computer vision, 2017: 2242-2251.

[7] Liu M, Tuzel O. Coupled Generative Adversarial Networks[J]. neural information processing systems, 2016: 469-477.

本系列的完整目錄：

模型解讀從LeNet到VGG，看卷積+池化串聯(lián)的網(wǎng)絡(luò)結(jié)構(gòu)

模型解讀network in network中的1*1卷積，你懂了嗎

模型解讀GoogLeNet中的inception結(jié)構(gòu)，你看懂了嗎

模型解讀說說移動(dòng)端基準(zhǔn)模型MobileNets

模型解讀pooling去哪兒了？

模型解讀resnet中的殘差連接，你確定真的看懂了？

模型解讀“不正經(jīng)”的卷積神經(jīng)網(wǎng)絡(luò)

模型解讀“全連接”的卷積網(wǎng)絡(luò)，有什么好？

模型解讀從“局部連接”回到“全連接”的神經(jīng)網(wǎng)絡(luò)

模型解讀深度學(xué)習(xí)網(wǎng)絡(luò)只能有一個(gè)輸入嗎

模型解讀從2D卷積到3D卷積，都有什么不一樣

模型解讀淺析RNN到LSTM