1、callbacks

callbacks發(fā)音

英：　　美：

callbacks中文意思翻譯

常用釋義：回?fù)埽簭囊粋€(gè)位置或情況回到之前的位置或情況的行為或?qū)嵗罕唤夤偷钠?chē)工人的回?fù)堋?/em>

n.回調(diào)函數(shù)；回叫信號(hào)（callback的復(fù)數(shù)）

callbacks雙語(yǔ)使用場(chǎng)景

1、Born in an unusual background, the defects of the system design resulted in excessively issued Books with few callbacks.───由于其產(chǎn)生于特定背景之下，制度設(shè)計(jì)的缺陷致使換地權(quán)益書(shū)發(fā)放量大，回收量少。

2、Of course, the worst case is to fall back to using threads for blocking actions that really cannot be converted into asynchronous callbacks.───當(dāng)然，最壞的情形是回退到使用線(xiàn)程來(lái)進(jìn)行阻塞操作，因?yàn)檫@些操作確實(shí)無(wú)法轉(zhuǎn)換成異步回調(diào)。

3、XT allows callbacks to static methods of any class in the classpath at the time of XSL processing.───XT允許回調(diào)在XSL處理期間訪(fǎng)問(wèn)處于classpath中的任何類(lèi)的靜態(tài)方法。

4、It's up to a handler to register callbacks for these events and then perform some kind of logic on the data from these events.───注冊(cè)這些事件的回調(diào)并隨后對(duì)來(lái)自這些事件的數(shù)據(jù)執(zhí)行某種邏輯都由handler來(lái)完成。

5、No JMX callbacks are required.───不需要進(jìn)行JMX回調(diào)。

6、It consists of many callbacks.───它由許多回調(diào)組成。

7、Virtual members perform better than callbacks and events, but do not perform better than non-virtual methods.───虛成員的性能高于回調(diào)和事件，但是不比非虛方法高。

8、Callbacks never run in parallel.───回調(diào)永遠(yuǎn)不能并行運(yùn)行。

9、Matt's examples also show an easy to way use snippets of Ruby code as callbacks for the Objective-C application.───Matt的示例也展示了一種簡(jiǎn)便的方法，在Objective-C應(yīng)用中使用一小段Ruby代碼來(lái)作為回調(diào)。

callbacks相似詞語(yǔ)短語(yǔ)

1、veal scallopini recipe───小牛肉扇貝

2、let is call───我們打電話(huà)吧

3、genetically modified crops───轉(zhuǎn)基因作物

4、agora video call───現(xiàn)在視頻通話(huà)

5、dialogically synonym───對(duì)話(huà)同義詞

6、call forwarding───電話(huà)轉(zhuǎn)接；呼叫轉(zhuǎn)送；呼叫轉(zhuǎn)移

7、elastically deformed───彈性變形

8、hemerocallis bulb───萱草

9、conference calls───n.電話(huà)會(huì)議( conference call的名詞復(fù)數(shù) )

10、calligraphy alphabet───書(shū)法字母表

2、變分自編碼器（VAE）目前存在哪些問(wèn)題，發(fā)展方向是什么？

變分自編碼器（VAE）與生成對(duì)抗網(wǎng)絡(luò)（GAN）一樣，是無(wú)監(jiān)督學(xué)習(xí)最具前景的方法之一。本文中，牛津大學(xué)統(tǒng)計(jì)系在讀博士 Adam Kosiorek 從原理上向我們介紹了 VAE 目前面臨的挑戰(zhàn)。同時(shí)，文中也提出了對(duì)于該方法的幾種改進(jìn)方向。

隱變量模型

假設(shè)你希望通過(guò)一個(gè)定義在 x∈RD 上的概率分布來(lái)對(duì)整個(gè)世界建模，其中 p（x）表示 x 可能處于的狀態(tài)。這個(gè)世界可能非常復(fù)雜，我們無(wú)法知道 p（x）的具體形式。為了解決這個(gè)問(wèn)題，我們引入另一個(gè)變量 z∈Rd 來(lái)描述 x 的背景信息。例如 x 是一個(gè)圖像，那么 z 就可以記錄關(guān)于圖像中可見(jiàn)物體的出現(xiàn)、數(shù)量、類(lèi)型，以及畫(huà)面的背景和光影條件的信息。這個(gè)新的變量使得我們可以將 p（x）表示為一個(gè)無(wú)限混合模型。

這是一個(gè)混合模型，因?yàn)閷?duì)于 z 的任意可能取值，都引入另一個(gè)條件分布，并通過(guò) z 的概率進(jìn)行加權(quán)，最終得到 p（x）。

在這樣的設(shè)定下，「給定 x 的觀(guān)測(cè)值，隱變量 z 是什么」就成了一個(gè)非常有趣的問(wèn)題。

也就是說(shuō)，我們希望知道后驗(yàn)分布 p(z∣x)。但是，z 和 x 之間可以呈現(xiàn)高度的非線(xiàn)性關(guān)系（比如，由一個(gè)多層神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)），而且，D——我們觀(guān)測(cè)值的維度，和 d——隱變量的維度，也可能非常大。由于邊緣分布和后驗(yàn)分布都需要對(duì)（1）式積分求值，我們認(rèn)為它們都是無(wú)法計(jì)算的。

我們可以通過(guò)蒙特卡羅抽樣，根據(jù) p(x)≈1M∑Mm=1p(x∣z(m))p(x)≈1M∑m=1Mp(x∣z(m)), z(m)～p(z) 來(lái)估計(jì)（1）式，但由于 z 的空間可能非常大，我們可能需要上百萬(wàn)個(gè) z 的樣本，來(lái)得到一個(gè)可靠的估計(jì)。

在訓(xùn)練一個(gè)概率模型的時(shí)候，我們可以使用參數(shù)分布 - 它的參數(shù)由一個(gè)參數(shù)為θ∈Θ的神經(jīng)網(wǎng)絡(luò)來(lái)確定?，F(xiàn)在，我們就可以使用極大似然估計(jì)來(lái)學(xué)習(xí)得到這些參數(shù)。

這里的問(wèn)題是，我們無(wú)法最大化（1）式，因?yàn)槲覀儫o(wú)法估計(jì)它。為了解決這個(gè)問(wèn)題，我們可以求助于重要抽樣（importance sampling）。當(dāng)我們需要對(duì)原始（名義分布）概率密度分布（pdf）估算一個(gè)期望值時(shí)，IS 使得我們可以從另一個(gè)不同的概率分布（建議分布）中抽樣，然后將這些樣本對(duì)名義分布求期望。用 q?(z∣x) 表示我們的建議分布 - 其中的參數(shù)由參數(shù)為 ?∈Φ的神經(jīng)網(wǎng)絡(luò)確定。我們可以得到：

根據(jù)重要性抽樣的文獻(xiàn)可知，最優(yōu)的建議分布，與名義分布乘以某個(gè)函數(shù)成比例，其中這個(gè)函數(shù)的期望是我們希望估計(jì)的。在我們的設(shè)定下，「某個(gè)函數(shù)」就是 p（x|z）。根據(jù)貝葉斯定理，p(z∣x)=p(x∣z)p(z)/p(x)，我們可以看到，最優(yōu)建議分布與后驗(yàn)分布成比例，顯然，后驗(yàn)分布無(wú)法求解。

變分自編碼器的誕生

幸運(yùn)的是，事實(shí)上我們可以一箭雙雕：通過(guò)一個(gè)學(xué)習(xí)到的建議分布來(lái)近似估計(jì)后驗(yàn)分布，我們可以有效的得到邊緣分布 pθ(x) 的估計(jì)。在這里，我們無(wú)意間得到了一個(gè)自編碼的設(shè)定。為了學(xué)習(xí)我們的模型，我們需要：

pθ(x,z) - 生成模型，其中包含：

pθ(x∣z) - 一個(gè)概率形式的解碼器，以及

p(z) - 一個(gè)定義在隱變量上的先驗(yàn)分布

q?(z∣x) - 一個(gè)概率形式的編碼器

為了近似估計(jì)后驗(yàn)分布，我們可以利用建議分布和后驗(yàn)分布之間的 KL 散度（可以理解為兩個(gè)概率分布之間的距離），而且我們可以最小化這個(gè)結(jié)果。

這個(gè)時(shí)候，我們面臨的新問(wèn)題就是：為了計(jì)算 KL 散度，我們需要知道后驗(yàn)分布。并非沒(méi)有可能，只要利用一點(diǎn)點(diǎn)代數(shù)運(yùn)算，我們就能得到可以計(jì)算的目標(biāo)函數(shù)。

我在第二行展開(kāi)了對(duì)數(shù)項(xiàng)，在第三行使用了貝葉斯定理以及 pθ(x) 和 z 是獨(dú)立的事實(shí)。最后一行中的 L(x;θ,?) 是對(duì)數(shù)概率分布 pθ(x) 的下界 - 即通常所說(shuō)的證據(jù)下界（ELBO）。我們通過(guò)整理可以得到：

只需要一個(gè)從建議分布中抽得的樣本，我們就可以得到近似估計(jì)：

我們通過(guò)尋找最大化 ELBO 的?和θ（通常使用隨機(jī)梯度下降）來(lái)訓(xùn)練模型：

通過(guò)最大化 ELBO，我們或（1）最大化邊緣分布，或（2）最小化 KL 散度，或同時(shí)完成。需要注意，ELBO 的近似估計(jì)是 f(x)=1、重要性權(quán)重為 w(x)=pθ(x,z)q?(z∣x) 的重要性抽樣的期望的對(duì)數(shù)形式。

這個(gè)估計(jì)量有什么問(wèn)題？

如果你足夠仔細(xì)的看重要性抽樣，就能發(fā)現(xiàn)，對(duì)建議分布的支撐應(yīng)該比對(duì)名義分布的支撐更廣泛——應(yīng)該同時(shí)避免估計(jì)量方差無(wú)限大和數(shù)值的不穩(wěn)定性。在這里，最好是來(lái)優(yōu)化 KL(p∣∣q) 的倒數(shù)——因?yàn)樗心Ｊ狡骄再|(zhì)，而不是優(yōu)化 KL（q∣∣p），來(lái)試圖通過(guò)模式 q 去匹配找到一個(gè)最好的模式 p。這意味著我們需要從真實(shí)的后驗(yàn)分布中進(jìn)行抽樣，而這是很困難的。作為替代，我們可以使用 ELBO 的 IS 估計(jì)，作為重要性加權(quán)自編碼器（IWAE）。這里的想法很簡(jiǎn)單：我們從建議分布中抽取 k 個(gè)樣本，并從中計(jì)算出平均概率比，這里的每一個(gè)樣本也叫「粒子」。

已經(jīng)證明，這個(gè)估計(jì)量是在優(yōu)化修正后的 KL 散度 KL(qIS∣∣pIS)，其中 qIS 和 pIS 的定義分別是：

盡管和原始分布看似接近，但 qIS 和 pIS 允許 q 和 p 中存在預(yù)想以外的小的變動(dòng)。原始論文中證明，優(yōu)化這個(gè)下界可以得到更好的生成模型。同時(shí)它也給出了一個(gè)近似后驗(yàn)分布 q 的熵更大的估計(jì)（更寬，更離散），并成功的超越了原始 KL 散度的模式匹配方法。還有一個(gè)有趣的結(jié)果，如果我們令粒子 K 的數(shù)量趨于無(wú)窮，我們就可以不需要推斷模型 q。

IWAE（第一行）和 VAE（第二行）中 z 的后驗(yàn)分布。圖像從 IWAE 論文中復(fù)現(xiàn)得到。

IWAE 有什么問(wèn)題？

重要性加權(quán) ELBO，或 IWAE，推廣了原始的 ELBO：對(duì)于 K=1，我們有 LK=L1=L。同時(shí)有 logp(x)≥Ln+1≥Ln≥L1。換言之，我們用來(lái)估計(jì) LK 的粒子越多，它的結(jié)果就會(huì)越接近數(shù)據(jù)真實(shí)對(duì)數(shù)概率分布——即「界限越緊」。這意味著和原始 ELBO 的梯度相比，通過(guò)對(duì) IWAE 求微分得到的梯度估計(jì)量可以幫助我們找到一個(gè)更好的梯度方向。除此之外，隨著 K 的增加，梯度估計(jì)量的方差會(huì)相應(yīng)收縮。

對(duì)于生成模型這些點(diǎn)非常好，但面對(duì)建議分布的時(shí)候，就會(huì)出現(xiàn)問(wèn)題。隨著 K 的增大，建議分布中參數(shù)的梯度的大小會(huì)趨于 0，而且比方差收斂得還要快。

令Δ(?) 表示我們優(yōu)化的目標(biāo)函數(shù)（即 ELBO）在?上的梯度的小批量估計(jì)。如果定義參數(shù)更新的信號(hào)-噪聲比（SNR）如下：

其中 E 和 V 分別表示期望和方差。可以看出對(duì)于 pθ，SNR 隨著 K 增加而增加，但對(duì)于 q?，SNR 隨著 K 增加而減小。這里的結(jié)論很簡(jiǎn)單：我們使用的粒子越多，我們的推斷模型效果就會(huì)越差。如果我們關(guān)心的是表示學(xué)習(xí)，我們就會(huì)遇到問(wèn)題了。

更好的估計(jì)量

正如我們?cè)谧罱恼撐摹禩ighter Variational Bounds are Not Necessarily Better》中證明的，我們可以得到比 IWAE 更好的結(jié)果。思路是在推斷和生成模型中使用不同的目標(biāo)，通過(guò)這種方法，我們可以保證兩個(gè)目標(biāo)中都得到小方差非零梯度，最終得到更好的模型。

不同的訓(xùn)練目標(biāo)在訓(xùn)練時(shí)期中信號(hào)-噪聲比

在上圖中，我們比較了建議分布 q?的參數(shù)?z 在更新中的 SNR。SNR 最高的 VAE 通過(guò)最優(yōu)化 L1 來(lái)訓(xùn)練。SNR 最低的 IWAE 則通過(guò)最優(yōu)化 L64。中間的三條曲線(xiàn)使用的是不同的組合：生成模型中使用的 L64，推斷模型中使用的則是 L8 或 L1。在當(dāng)前指標(biāo)下，它們效果雖然沒(méi)有 VAE 好，但訓(xùn)練出的建議分布和生成模型都比使用 VAE 或 IWAE 得到的好。

這里有一個(gè)令人驚訝的副作用：使用我們新的估計(jì)量訓(xùn)練的模型比使用 IWAE 本身訓(xùn)練的模型達(dá)到了更高的 L64 界限。為什么會(huì)這樣？通過(guò)研究有效樣本量（ESS）和數(shù)據(jù)的邊緣概率分布的對(duì)數(shù)，似乎是最優(yōu)化 L1，導(dǎo)致了性質(zhì)最好的建議分布但是性質(zhì)最差的生成模型。如果我們將一個(gè)好的建議分布和一個(gè)可以得出好的生成模型的目標(biāo)結(jié)合在一起，我們應(yīng)該可以得到這個(gè)目標(biāo)的一個(gè)方差更小的估計(jì)，甚至因此可以得到更好的模型。請(qǐng)?jiān)谶@里查看我們論文的詳情。

論文：Tighter Variational Bounds are Not Necessarily Better

論文地址：https://arxiv.org/abs/1802.04537

摘要：我們同時(shí)在理論和經(jīng)驗(yàn)上證明，使用更緊的信息下界（ELBO）可能并不利于通過(guò)減少梯度估計(jì)量的信號(hào)-噪聲比來(lái)學(xué)習(xí)推斷網(wǎng)絡(luò)的過(guò)程。我們的結(jié)果對(duì)目前廣為應(yīng)用的暗含假設(shè)：「更緊的 ELBO 是聯(lián)立模型學(xué)習(xí)和推斷攤銷(xiāo)模式中更合適的變分目標(biāo)」提出了質(zhì)疑。根據(jù)我們的研究，我們提出了三個(gè)新的算法：偏重要性加權(quán)自編碼器（PIWAE）、多層重要性加權(quán)自編碼器（MIWAE）以及聯(lián)合重要性加權(quán)自編碼器（CIWAE）；在這三個(gè)算法中，標(biāo)準(zhǔn)的重要性自編碼器（IWAE）都可以作為一個(gè)特殊情況。我們證明了這三個(gè)自編碼器都可以在 IWAE 的基礎(chǔ)上取得效果提升——即使我們使用的是 IWAE 中的目標(biāo)來(lái)測(cè)試效果。進(jìn)一步來(lái)說(shuō)，和 IWAE 相比，PIWAE 可以同時(shí)提升推斷網(wǎng)絡(luò)和生成網(wǎng)絡(luò)的效果。