深度進(jìn)修是一門(mén)經(jīng)歷迷信，具有優(yōu)良的研發(fā)基本架構(gòu)平日能令科研團(tuán)隊(duì)事半功倍。榮幸的是，依托現(xiàn)有的開(kāi)源生態(tài)，任何人都能構(gòu)建出異常不錯(cuò)的深度進(jìn)修基本架構(gòu)。
在這篇文章中，我們會(huì)和年夜家分享若何展開(kāi)深度進(jìn)修的研討，也會(huì)一并引見(jiàn)我們?cè)谘杏懏?dāng)選用的基本架構(gòu)和開(kāi)源技巧 kubernetes-ec2-autoscaler，這是一種用于 Kubernetes 批處置義務(wù)的彈性伸縮治理器（batch-optimized scaling manager）。
用例
深度進(jìn)修的演進(jìn)平日源于一個(gè)可以或許在小成績(jī)上被驗(yàn)證的構(gòu)思。在這個(gè)階段，你須要疾速地停止年夜量隨機(jī)試驗(yàn)?；孟肭樾蜗?，只需長(zhǎng)途登錄到一臺(tái)機(jī)械，運(yùn)轉(zhuǎn)一個(gè)劇本，不到一個(gè)小時(shí)便可以獲得成果。
然則構(gòu)建一個(gè)真正可用的模子平日會(huì)閱歷許多次掉敗，須要我們一直地去修復(fù)這些缺點(diǎn)。（這和其他新建的軟件體系一樣，你須要屢次運(yùn)轉(zhuǎn)代碼能力斷定它是若何運(yùn)轉(zhuǎn)的。）
你須要經(jīng)由過(guò)程多個(gè)角度的盤(pán)算來(lái)檢測(cè)模子，從而認(rèn)識(shí)到它是若何進(jìn)修的。Dario Amodei 的這類(lèi)加強(qiáng)進(jìn)修機(jī)制（掌握右邊的球拍）可以在擊球游戲中取得很高的分?jǐn)?shù)，但你會(huì)發(fā)明，游戲中右邊的球拍完整沒(méi)有挪動(dòng)。
是以深度進(jìn)修的基本架構(gòu)要能許可用戶(hù)靈巧地反不雅模子，僅僅展現(xiàn)一些統(tǒng)計(jì)成果是不敷的。
當(dāng)模子表示出必定的運(yùn)用遠(yuǎn)景，你會(huì)愿望將它擴(kuò)大到更年夜的數(shù)據(jù)集和更多的 GPU 上運(yùn)轉(zhuǎn)，但這會(huì)消費(fèi)年夜量的時(shí)光。并且你須要賣(mài)力地治理試驗(yàn)并不是常謹(jǐn)嚴(yán)地去選擇超參數(shù)（hyperparameters）的規(guī)模。
這類(lèi)科研的進(jìn)程在晚期是疾速且缺少體系性的；到了前期，進(jìn)程會(huì)逐步有層次卻很消耗精神，但為了取得完善的成果，這是必弗成少的。
案例
論文 Improved Techniques for Training GANs 開(kāi)篇講述了 Tim Salimans 關(guān)于若何改良生成反抗收集（GAN）練習(xí)機(jī)制的一些意見(jiàn)。我們會(huì)挑個(gè)中較簡(jiǎn)略的一個(gè)停止引見(jiàn)（這固然不是最好的半監(jiān)視進(jìn)修案例，但它生成了最?lèi)偰康臉颖荆?/p>
GANs 由一個(gè)生成器收集和一個(gè)辨別器收集組成。生成器會(huì)一直地去攪擾辨別器，而辨別器會(huì)努力地將生成器造出的數(shù)據(jù)和真實(shí)數(shù)據(jù)辨別開(kāi)來(lái)。平日來(lái)講，斷定生成器的利害，看它能不克不及騙過(guò)一切辨別器就好了，但困難依然存在：假如生成器一向輸入完整雷同的（簡(jiǎn)直和真實(shí)的一樣）樣本會(huì)形成收集的瓦解。
Tim 提出可以用小批次的樣本數(shù)據(jù)取代本來(lái)的一全部樣本供給給辨別器。如許辨別器便可以斷定生成器能否一向在傳異樣的圖象。當(dāng)“瓦解”產(chǎn)生時(shí)，生成器將會(huì)停止梯度調(diào)劑來(lái)修改這個(gè)成績(jī)。
下一步就是基于 MNIST 和 CIFAR-10 將構(gòu)思轉(zhuǎn)化為原型。這須要疾速地構(gòu)建出一個(gè)初步的模子，然后運(yùn)轉(zhuǎn)真實(shí)的數(shù)據(jù)并檢測(cè)成果。在經(jīng)由幾回疾速的迭代以后，Tim 獲得了 CIFAR-10 的樣本，此次的成果非常振奮人心，簡(jiǎn)直是我們見(jiàn)過(guò)的在這個(gè)數(shù)據(jù)集上跑出的最好樣本了。
深度進(jìn)修（和常說(shuō)的 AI 算法）假如要真正構(gòu)成必定影響就必需擴(kuò)展試驗(yàn)范圍，一個(gè)小型神經(jīng)收集可以驗(yàn)證概念，而年夜型的神經(jīng)收集能力真正處理成績(jī)。是以 Ian Goodfellow 開(kāi)端把模子擴(kuò)大到 ImageNet 停止驗(yàn)證。
模子進(jìn)修生成 ImageNet 的圖象
有了更年夜的模子和數(shù)據(jù)集，Ian 就須要用更多的 GPU 來(lái)并行地運(yùn)轉(zhuǎn)模子。義務(wù)運(yùn)轉(zhuǎn)機(jī)會(huì)器的 CPU 和 GPU 應(yīng)用率會(huì)飆升至 90%，然則即便如許仍須要消費(fèi)許多天賦能完成模子練習(xí)。在這類(lèi)形式下，每次試驗(yàn)機(jī)遇都顯得非常名貴，他也會(huì)異常過(guò)細(xì)地記載下每次試驗(yàn)的成果。
固然試驗(yàn)終究獲得了不錯(cuò)的成果，但仍沒(méi)有到達(dá)我們的預(yù)期。為了找到緣由我們做了許多測(cè)驗(yàn)考試，但依然霸占不了。這年夜概就是迷信的實(shí)質(zhì)吧。
基本架構(gòu)
軟件
TensorFlow 代碼的樣例
我們絕年夜部門(mén)的研討代碼是用 Python 完成的，具體內(nèi)容可以在我們的開(kāi)源項(xiàng)目中檢查到。我們平日應(yīng)用 TensorFlow（在特別情形下也會(huì)應(yīng)用 Theano）來(lái)停止 GPU 盤(pán)算；應(yīng)用 Numpy 或其他辦法來(lái)停止 CPU 盤(pán)算。研討人員有時(shí)也會(huì)應(yīng)用更下層的框架，好比基于 TensorFlow 的 Keras。
和多半深度進(jìn)修社區(qū)一樣，我們會(huì)應(yīng)用 Python2.7。Anaconda 也常常會(huì)用到，它可以便利地給 OpenCV 打包，并對(duì)一些迷信算法庫(kù)停止機(jī)能優(yōu)化。
硬件
關(guān)于幻想的批處置義務(wù)，將集群盤(pán)算節(jié)點(diǎn)的數(shù)目翻倍會(huì)減半義務(wù)履行時(shí)光。不幸的是，在深度進(jìn)修中，GPU 數(shù)目的增長(zhǎng)只會(huì)惹起義務(wù)亞線性的加快。是以頂級(jí)的盤(pán)算機(jī)能只能依附頂級(jí)的 GPU 來(lái)完成。我們也應(yīng)用了很多 CPU 用于構(gòu)建模仿器、加強(qiáng)進(jìn)修情況或是小范圍的模子（這類(lèi)模子跑在 GPU 上時(shí)運(yùn)轉(zhuǎn)效力不會(huì)有顯著的增長(zhǎng)）。
nvidia-smi 下滿(mǎn)載的 Titan Xs
AWS 大方地為我們供給了年夜量盤(pán)算資本。這些資本被用于 CPU 實(shí)例和 GPU 義務(wù)的程度擴(kuò)大。我們也有本身的物理機(jī)，用的是 Titan X GPU。我們希冀以后可使用混雜云：對(duì)分歧的 GPU、銜接和其他技巧展開(kāi)試驗(yàn)長(zhǎng)短常具有價(jià)值的，這對(duì)深度進(jìn)修將來(lái)的成長(zhǎng)也有側(cè)重要影響。
雷同物理單位上的 htop 顯示了年夜量余暇的 CPU。我們平日將 CPU 密集型和 GPU 密集型的義務(wù)離開(kāi)運(yùn)轉(zhuǎn)。
設(shè)置裝備擺設(shè)
我們看待基本架構(gòu)就像很多公司看待他們的產(chǎn)物一樣：它的界面必需簡(jiǎn)練，必需統(tǒng)籌功效性和可用性。我們會(huì)應(yīng)用分歧的對(duì)象來(lái)同一治理一切辦事器，而且盡量地對(duì)他們停止雷同的設(shè)置裝備擺設(shè)。
用于治理彈性伸縮組的 Terraform 設(shè)置裝備擺設(shè)文件片斷。Terraform 可以創(chuàng)立、修正或燒毀正在運(yùn)轉(zhuǎn)的云資本來(lái)婚配設(shè)置裝備擺設(shè)文件。
我們應(yīng)用 Terraform 來(lái)創(chuàng)立 AWS 的云資本（實(shí)例、收集路由、DNS 記載等）。我們的云端節(jié)點(diǎn)和物理節(jié)點(diǎn)都運(yùn)轉(zhuǎn) Ubuntu 體系，并應(yīng)用 Chef 來(lái)做設(shè)置裝備擺設(shè)。為了完成加快，我們應(yīng)用 Packer 來(lái)事后制造集群鏡像（AMI）。我們的一切集群都應(yīng)用非穿插的 IP 規(guī)模，用戶(hù)可以經(jīng)由過(guò)程筆記本上的 OpenVPN 及物理節(jié)點(diǎn)上的 strongSwan（AWS 的客戶(hù)網(wǎng)關(guān)）銜接到公網(wǎng)。
最初，我們將用戶(hù)的 home 目次、數(shù)據(jù)集和成果存儲(chǔ)在 NFS（基于物理硬件）和 EFS/S3（基于 AWS）上。
編排
可擴(kuò)大的基本架構(gòu)平日會(huì)使本來(lái)簡(jiǎn)略的用例龐雜化。我們?cè)趯?duì)分歧范圍功課的基本架構(gòu)研討上投入了一致的精神，也在同步優(yōu)化對(duì)象套件，使得散布式的用例能像當(dāng)?shù)赜美粯雍糜谩?/p>
我們?yōu)殡S機(jī)試驗(yàn)供給了 SSH 節(jié)點(diǎn)的（有些有 GPU 有些沒(méi)有）集群，而且應(yīng)用 Kubernetes 來(lái)調(diào)劑物理節(jié)點(diǎn)和 AWS 節(jié)點(diǎn)。我們的集群橫跨 3 個(gè) AWS 域——由于有時(shí)義務(wù)量會(huì)忽然迸發(fā)，從而占滿(mǎn)單個(gè)區(qū)域的一切資本。
Kubernetes 請(qǐng)求每個(gè)義務(wù)都是一個(gè) Docker 容器，如許便可以完成依附隔離和代碼快照。然則創(chuàng)立一個(gè)新的 Docker 容器會(huì)增長(zhǎng)迭代周期的時(shí)光，這個(gè)時(shí)光非常名貴，所以我們也供給對(duì)象，將研討人員筆記本上的代碼轉(zhuǎn)成尺度鏡像。
TensorBoard 中的模子進(jìn)修曲線
我們將 Kubernetes 的 flannel 收集直接裸露至研討人員的電腦，應(yīng)用戶(hù)可以無(wú)縫拜訪正在運(yùn)轉(zhuǎn)的義務(wù)。這關(guān)于拜訪 TensorBoard 這類(lèi)監(jiān)控辦事特殊有贊助。（為了完成相對(duì)的隔離，我們最后請(qǐng)求針對(duì)每個(gè)裸露的端口都要?jiǎng)?chuàng)立 Kubernetes 辦事，但如許會(huì)帶來(lái)許多艱苦。）
kubernetes-ec2-autoscaler
我們的義務(wù)負(fù)載具有突發(fā)性和弗成猜測(cè)性：本來(lái)只須要單節(jié)點(diǎn)的試驗(yàn)?zāi)軌蚝芸炀统砷L(zhǎng)到須要 1000 個(gè)核。好比在幾周的時(shí)光里，試驗(yàn)從只須要一個(gè) Titan X 的交互階段成長(zhǎng)到了須要 60 個(gè) Titan X 的試驗(yàn)階段，這須要快要 1600 個(gè) AWS 的 GPU。是以，我們的云架構(gòu)要能靜態(tài)設(shè)置裝備擺設(shè) Kubernetes 節(jié)點(diǎn)。
在彈性伸縮組中運(yùn)轉(zhuǎn) Kubernetes 節(jié)點(diǎn)異常簡(jiǎn)略，艱苦的是若何準(zhǔn)確地設(shè)置裝備擺設(shè)這些組的范圍。在提交批處置義務(wù)后，集群可以精確地曉得它須要的資本并直接停止分派。（相反，AWS 的擴(kuò)大戰(zhàn)略會(huì)賡續(xù)地啟動(dòng)新的節(jié)點(diǎn)碎片來(lái)供給足夠的資本，這是一個(gè)屢次迭代的進(jìn)程。）集群還須要在終止節(jié)點(diǎn)進(jìn)步行義務(wù)遷徙（drain）操作，防止喪失正在運(yùn)轉(zhuǎn)的義務(wù)。
許多人想直接應(yīng)用原始的 EC2 來(lái)處置年夜批量的義務(wù)，我們一開(kāi)端也是這么做的。然則 Kubernetes 的生態(tài)具有更多優(yōu)勢(shì)：好比易用的對(duì)象、日記記載、監(jiān)控、從運(yùn)轉(zhuǎn)實(shí)例中辨別治理物理節(jié)點(diǎn)的才能等。公道設(shè)置裝備擺設(shè) Kubernetes 使其可以或許準(zhǔn)確地震態(tài)擴(kuò)大要比在原始 EC2 上重建這類(lèi)情況來(lái)的簡(jiǎn)略。
我們宣布的 kubernetes-ec2-autoscaler，是一種用于 Kubernetes 批處置義務(wù)的彈性伸縮治理器。它在 Kubernetes 上作為一個(gè)通俗的 Pod 運(yùn)轉(zhuǎn)，且只需求你的任務(wù)節(jié)點(diǎn)運(yùn)轉(zhuǎn)在彈性伸縮組內(nèi)。
Kubernetes 集群的啟動(dòng)設(shè)置裝備擺設(shè)
主動(dòng)擴(kuò)大器會(huì)輪詢(xún) Kubernetes 主節(jié)點(diǎn)的狀況，包含用于盤(pán)算集群所需資本和容量的一切信息。假如超越了容量，它會(huì)將相干節(jié)點(diǎn)的義務(wù)遷徙（drain）后將其終止。假如須要更多的資本，它管帳算須要?jiǎng)?chuàng)立甚么樣的辦事器并恰當(dāng)?shù)卦鲩L(zhǎng)彈性伸縮組的范圍（或直接解鎖 （uncordon） 履行過(guò) drain 操作的節(jié)點(diǎn)，來(lái)防止新節(jié)點(diǎn)增長(zhǎng)的啟動(dòng)時(shí)光）。
kubernetes-ec2-autoscaler 治理著多個(gè)彈性伸縮組、CPU 以外的資本（內(nèi)存和 GPU）和對(duì)義務(wù)細(xì)粒度的束縛，例如 AWS 區(qū)域和實(shí)例年夜小。別的，突增的負(fù)載會(huì)惹起彈性伸縮組的超時(shí)和報(bào)錯(cuò)，由于即便是 AWS 也不具有無(wú)窮擴(kuò)大的容量。這類(lèi)情形下，kubernetes-ec2-autoscaler 會(huì)檢測(cè)到毛病并將超越部門(mén)的義務(wù)分派到次級(jí)的 AWS 區(qū)域履行。
我們的基本架構(gòu)設(shè)計(jì)旨在最年夜水平地進(jìn)步科研人員的任務(wù)效力，使他們可以或許專(zhuān)注于科研自己。我們將持續(xù)深刻優(yōu)化基本架構(gòu)和任務(wù)流程，以后也會(huì)陸續(xù)和年夜家分享經(jīng)歷。我們等待與您的協(xié)作，配合增進(jìn)深度進(jìn)修的成長(zhǎng)！
