起首，你曉得本身想要猜測或檢測甚么嗎？你有足夠的數(shù)據(jù)停止剖析以樹立猜測模子嗎？你有界說模子和練習(xí)模子所需的人員和對象嗎？你曾經(jīng)有了統(tǒng)計(jì)或物理模子來作為一個(gè)猜測基準(zhǔn)嗎？
這篇文章對你的人工智能和機(jī)械進(jìn)修項(xiàng)目停止分化，評論辯論其各個(gè)部門所帶來的影響，從而贊助你肯定公司能否真正預(yù)備須要應(yīng)用機(jī)械進(jìn)修、深度進(jìn)修某人工智能。
你具有年夜量的數(shù)據(jù)
足夠的相干數(shù)據(jù)是猜測和特點(diǎn)辨認(rèn)的需要前提。有了它，你能夠會勝利；沒有它，則注定掉敗。那末你須要若干數(shù)據(jù)呢？你測驗(yàn)考試歸入模子的身分越多，所須要的數(shù)據(jù)就越多，不管你是在做通俗的統(tǒng)計(jì)猜測、機(jī)械進(jìn)修照樣深度進(jìn)修。
以發(fā)賣猜測中罕見的成績?yōu)槔?，好比，為了不延遲交貨，且不會占用太多金錢和現(xiàn)貨貨排擠間，那末你下個(gè)月將在邁阿密出售若干水師藍(lán)短袖襯衫？和你須要在邁阿密店和亞特蘭年夜倉庫中貯備若干存活？批發(fā)是強(qiáng)季候性行業(yè)，所以你須要從多年的汗青數(shù)據(jù)中總結(jié)出有統(tǒng)計(jì)學(xué)意義的月度數(shù)據(jù)，從而修改月度銷量動搖，并樹立一個(gè)年化趨向——這還只是一個(gè)尺度的時(shí)光序列剖析。機(jī)械進(jìn)修比統(tǒng)計(jì)模子須要更多的數(shù)據(jù)，而深度進(jìn)修模子是它的好幾倍。
統(tǒng)計(jì)模子會剖析你的全國連鎖店在 5+ 年間的襯衫月銷量，并應(yīng)用這一數(shù)據(jù)來猜測下個(gè)月的襯衫銷量，能夠有幾十萬（假定是 30 萬）。然后你可以猜測邁阿密的襯衫銷量占全國銷量的百分比（假定是 3%），并零丁猜測出藍(lán)色短袖上衣銷量所占襯衫性銷量的百分比（假定是 1%）。該模子會指出，下個(gè)月藍(lán)色短袖襯衫總銷量的 90% 閣下將售于邁阿密。你可以經(jīng)由過程比較分歧產(chǎn)物的年度同店銷量來核實(shí)猜測成果，同時(shí)剖析它們之間的差別水平。
如今，假定你想要斟酌一些內(nèi)部身分，好比氣象和風(fēng)行趨向。短袖襯衫在熱天或好天時(shí)是否是比陰雨地利賣的更好？能夠如斯。你可以將汗青氣候數(shù)據(jù)歸入到你的模子中來做猜測，固然如許做有點(diǎn)愚笨，由于你須要做一個(gè)時(shí)光序列的統(tǒng)計(jì)模子，所以你能夠會決議應(yīng)用回歸叢林，趁便再嘗嘗其它 7 種回歸機(jī)械進(jìn)修模子，然后將每一個(gè)模子測得的「cost」（一個(gè)歸一化誤差函數(shù)）與客歲的現(xiàn)實(shí)成果比擬較，從而找到最好模子。
比擬于客歲同時(shí)段的水師藍(lán)襯衫銷量，下個(gè)月會更好照樣更差？你可以看看水師藍(lán)服裝網(wǎng)www.vhao.net一切的月度銷量，并猜測出年度風(fēng)行趨向，然后將其歸入到你的機(jī)械進(jìn)修模子中?；蛟S你能夠須要來自時(shí)髦媒體方面的信息對模子停止手動校訂。（「為以防萬一，假定下月銷量會進(jìn)步 20%。」）
或許你想樹立一個(gè)深度神經(jīng)收集來完美這個(gè)模子。你能夠會發(fā)明，每添加一個(gè)隱蔽層，便可以將回歸誤差進(jìn)步幾個(gè)百分點(diǎn)，直到某一時(shí)辰，再添加隱蔽層也杯水車薪，爾后收益遞加。這類情形能夠是由于形式中沒有更多的特點(diǎn)可供辨認(rèn)，或許更能夠的緣由是，曾經(jīng)沒有足夠多的數(shù)據(jù)來支撐模子的深刻改良。
你有足夠的數(shù)據(jù)迷信家
能夠你曾經(jīng)留意到，單小我須要單獨(dú)樹立下面評論辯論的一切模子。其實(shí)不是如許，建模子不只僅是把數(shù)據(jù)倒在漏斗中然后按個(gè)按鈕這么簡略。不論你應(yīng)用哪一種對象——雖然供給商能夠?qū)Υ藭姓埱?，它須要?jīng)歷、直覺、編程才能和優(yōu)越的統(tǒng)計(jì)學(xué)配景，如許能力輕松駕御機(jī)械進(jìn)修，從而完成你的設(shè)法主意。
特別是某些廠商常常宣稱，「任何人」或「任何營業(yè)腳色」都可使用商家事后練習(xí)過、可運(yùn)用的機(jī)械進(jìn)修模子。假如該模子正好可以處理手頭的成績，這話不假，好比將正式的魁北克法語文本翻譯為英語，但更罕見的情形是，現(xiàn)有的練習(xí)過的機(jī)械進(jìn)修模子其實(shí)不實(shí)用于你的數(shù)據(jù)。既然你曾經(jīng)練習(xí)了模子，你就須要數(shù)據(jù)剖析師和數(shù)據(jù)迷信家來指點(diǎn)練習(xí)，這更像是一門藝術(shù)，而非工程或迷信。
在雇用數(shù)據(jù)迷信家時(shí)，最奇異的工作之一就是對任務(wù)崗?fù)さ恼埱?，特別是與受聘者的現(xiàn)實(shí)技巧比擬。告白上常常說「雇用：數(shù)據(jù)迷信家。STEM 博士。20 年經(jīng)歷?！沟谝粋€(gè)怪事是，該范疇的成長過程還未足 20 年。第二件怪事是，公司雇傭 26 歲的碩士卒業(yè)生——也即除學(xué)術(shù)界外沒有任何任務(wù)經(jīng)歷，與 20 年經(jīng)歷的請求相去甚遠(yuǎn)——偏好那些曾經(jīng)有相干經(jīng)歷的人，由于他們擔(dān)憂高等人員太貴，雖然他們的請求是 20 年任務(wù)經(jīng)歷。是的，這很虛假，且十之八九長短法的年紀(jì)輕視，但實(shí)際情形就是這個(gè)模樣。
你跟蹤或取得那些主要的身分
即便你有年夜量的數(shù)據(jù)和許多數(shù)據(jù)迷信家，你也能夠沒法具有包括一切相干變量的數(shù)據(jù)。以數(shù)據(jù)庫術(shù)語的話說，你能夠有年夜量的行，但缺乏一些列。統(tǒng)計(jì)學(xué)下去說就是，你能夠有沒有法說明的方差。
一些自力變量的丈量（好比氣象不雅測）很輕易取得并被歸并到數(shù)據(jù)集中，乃至可在過后被歸并。其它一些變量的丈量或獲得進(jìn)程能夠較為艱苦，好比不實(shí)在際或本錢昂揚(yáng)，即便你曉得這些變量是甚么。
舉一個(gè)化學(xué)范疇的例子。當(dāng)你在銅上鍍鉛時(shí)，你可以丈量氟硼酸鍍液的溫度和濃度，并記載陽極電壓，但假如溶中沒有合適數(shù)目的肽鏈，那末你就不會獲得很好的成果。假如你沒有稱量放入溶液中的肽鏈，就沒法曉得這類癥結(jié)催化劑的劑量，那末你將沒法應(yīng)用其它變量來說明電鍍質(zhì)量的變更。
你有清算和轉(zhuǎn)換數(shù)據(jù)的辦法
數(shù)據(jù)簡直老是那末喧鬧。丈量進(jìn)程能夠會喪失一個(gè)或多個(gè)值；單個(gè)值能夠會超越規(guī)模，或與統(tǒng)一計(jì)量進(jìn)程中的其它值不相當(dāng)；電子丈量能夠因?yàn)殡娫肼暥兊媒^確；答復(fù)成績的人能夠其實(shí)不懂得成績自己，或是假造謎底；諸如斯類。
在任何剖析進(jìn)程中，數(shù)據(jù)過濾步調(diào)平日須要消費(fèi)最多設(shè)置時(shí)光——是依據(jù)我的經(jīng)歷，它占到總剖析時(shí)光的 80% 到 90%。有些公司在它們的 ETL（提取、轉(zhuǎn)換和加載）進(jìn)程中清算數(shù)據(jù)，如許剖析師應(yīng)當(dāng)永久都看到不良數(shù)據(jù)點(diǎn)了，而其它公司則將數(shù)據(jù)與 ETL（和最初一步的轉(zhuǎn)換步調(diào)）進(jìn)程放在數(shù)據(jù)倉庫或數(shù)據(jù)湖中。這意味著，即便是最輕易過濾失落的臟數(shù)據(jù)也會被保留上去，實(shí)際上，過濾器和轉(zhuǎn)換步調(diào)須要跟著時(shí)光的推移而停止改良。
即便是過濾后的準(zhǔn)確數(shù)據(jù)能夠也須要在剖析前做進(jìn)一步的轉(zhuǎn)換。與統(tǒng)計(jì)學(xué)辦法一樣，只要當(dāng)每種能夠的狀況都有類似的行數(shù)時(shí)，機(jī)械進(jìn)修模子的后果才最好，這意味著，那些最受迎接的狀況數(shù)能夠會因?yàn)殡S機(jī)抽樣而削減；異樣，當(dāng)一切變量的規(guī)模都被尺度化后，機(jī)械進(jìn)修模子能力到達(dá)最好后果。
例如在微軟的一篇博文中，微軟小娜剖析了特朗普和克林頓的競選捐錢，解釋了預(yù)備機(jī)械進(jìn)修數(shù)據(jù)集的方法：創(chuàng)立標(biāo)簽、處置數(shù)據(jù)、設(shè)計(jì)附加功效和清洗數(shù)據(jù)。這類剖析用 SQL 和 R 說話做了幾個(gè)轉(zhuǎn)換，以肯定與克林頓或特朗普相干的各類委員會和競選資金，并基于捐贈者的姓名來肯定他們的性別，和改正拼寫毛病，并修復(fù)類之間的不屈衡性（數(shù)據(jù)集中有 94% 都是克林頓的捐錢，且年夜部門是小額捐錢）。
你曾經(jīng)對數(shù)據(jù)做了統(tǒng)計(jì)剖析
在剖析數(shù)據(jù)息爭決成績時(shí)，最應(yīng)當(dāng)防止的就是一個(gè)勁地往前沖。在你可以或許弄清晰產(chǎn)生的工作及其緣由之前，你須要退后一步，看一看一切的變量及其互相之間的關(guān)系。
摸索性的數(shù)據(jù)剖析可以疾速顯示出一切變量的規(guī)模和散布，好比變量對是趨勢于彼此依附照樣各自自力、簇位于何處，或哪些處所能夠會有離群值。當(dāng)你的變量高度相干，常常削減剖析進(jìn)程中的某個(gè)變量是很有效的，或停止一些相似于慢慢多元線性回歸的辦法來肯定最好的變量選擇。其實(shí)不是說終究模子是線性的，然則在引入艱苦成績之前，測驗(yàn)考試一些簡略的線性模子很有效；假如你的模子前提太多，那末你可以以一個(gè)超定組（overdetermined system）掃尾。
你測試很多辦法來找到最好模子
關(guān)于一個(gè)給定的數(shù)據(jù)集，找到最好形式的辦法只要一種：全體試一遍。假如你的建模對象之前曾經(jīng)有許多人做過，但仍具挑釁性，好比攝影特點(diǎn)辨認(rèn)和說話辨認(rèn)，你能夠忍不住只想測驗(yàn)考試年夜賽中的「最好」模子，但不幸的是，那些模子常常是最為盤算密集型的深度進(jìn)修模子，好比圖象辨認(rèn)須要卷積層，語音辨認(rèn)須要長短時(shí)間記憶層（LSTM）。假如你須要練習(xí)那些深度神經(jīng)收集，你能夠須要比平常辦公所需的更多的盤算才能。
你有足夠的盤算才能來練習(xí)深度進(jìn)修模子
你的數(shù)據(jù)集越年夜，你的深度進(jìn)修模子就須要越多的層，練習(xí)神經(jīng)收集的時(shí)光也就越多。具有年夜量的數(shù)據(jù)可以贊助你練習(xí)出一個(gè)更好的模子，層數(shù)多可以贊助你辨認(rèn)更多特點(diǎn)，但它們也會因?yàn)榫毩?xí)時(shí)光的增長而對你發(fā)生晦氣的影響。你能夠等不了一年的時(shí)光來練習(xí)每個(gè)模子；一周是比擬公道的，特殊是由于你將很有能夠須要調(diào)劑幾十次模子。
處理練習(xí)時(shí)光成績的一個(gè)辦法是應(yīng)用通用圖形處置器（GPGPU），好比應(yīng)用英偉達(dá)公司臨盆的芯片，來做有關(guān)神經(jīng)收集層的向量和矩陣盤算（也稱為線性代數(shù)）。比擬于僅僅應(yīng)用一張 CPU，同時(shí)應(yīng)用一張 GPU 和一個(gè) CPU K80 常常可以晉升 5 到 10 倍的練習(xí)速度，假如你能將全部收集的「核（kernel）」輸出到 GPU 的當(dāng)?shù)卮鎯ζ髦械脑挘偃鐟?yīng)用一張 P100 GPU，則可以將練習(xí)速度晉升 100 倍。
在一張 GPU+一張 CPU 的組合以外，你還可以樹立多個(gè) CPU 和 GPU 的調(diào)和收集，以便在更短的時(shí)光內(nèi)處理更年夜的成績。除非你全年都在練習(xí)深度進(jìn)修模子，且有一個(gè)偉大的本錢預(yù)算，不然你會發(fā)明，租賃云端 GPU 的應(yīng)用時(shí)光會是性價(jià)比最高的選擇。一些深度進(jìn)修框架，包含 CNTK，MXNet 和 TensorFlow，支撐 CPU 和 GPU 的并行盤算，關(guān)于有著合適機(jī)能 GPU 的年夜型虛擬機(jī)（virtual machine，VM）收集來講，它們已被證實(shí)具有公道的縮放系數(shù)（在一個(gè)測試中年夜約為 85%）。你可以找到這些框架，而且它們正愈來愈多地被裝置到由重要云供給商上支撐的 GPU 虛擬機(jī)中。
你的機(jī)械進(jìn)修模子優(yōu)于你的統(tǒng)計(jì)模子
簡略的統(tǒng)計(jì)模子為你的機(jī)械進(jìn)修和深度進(jìn)修項(xiàng)目奠基了基本。假如你不克不及晉升一個(gè)給定的模子的機(jī)能，那末你就應(yīng)當(dāng)對其停止調(diào)劑或測驗(yàn)考試分歧辦法。一旦你曉得你在做甚么，你便可以在一個(gè)超參數(shù)優(yōu)化算法的掌握下，同時(shí)為很多模子設(shè)置練習(xí)參數(shù)，然后用最好的成果指點(diǎn)你的下一步行為。
你可以安排猜測模子
終究，你將愿望及時(shí)運(yùn)用你所練習(xí)的模子。猜測模子可以運(yùn)轉(zhuǎn)在辦事器、云端、小我盤算機(jī)或德律風(fēng)上，這取決于運(yùn)用法式的分歧須要。深度進(jìn)修框架供給了各類選項(xiàng)來將模子嵌入到網(wǎng)頁和挪動運(yùn)用法式中。亞馬遜、谷歌和微軟都是經(jīng)由過程臨盆能懂得語音的花費(fèi)級裝備和智妙手機(jī)運(yùn)用法式來證實(shí)其適用性。
你可以或許按期更新你的模子
假如你曾經(jīng)應(yīng)用本身的數(shù)據(jù)練習(xí)好了模子，你會發(fā)明該模子的誤差率（假陽性和真陰性）會跟著時(shí)光的推移而增長。根本上，這是由于數(shù)據(jù)會跟著時(shí)光的推移而漂移：你的發(fā)賣模子、競爭敵手、作風(fēng)和經(jīng)濟(jì)都邑轉(zhuǎn)變。為了順應(yīng)這類影響，年夜多半深度進(jìn)修框架都有一個(gè)選項(xiàng)，可以在新數(shù)據(jù)上對舊模子停止再練習(xí)，并用新模子調(diào)換猜測辦事。假如你每個(gè)月都如許做，應(yīng)當(dāng)可以或許包管你不會遭到數(shù)據(jù)漂移的影響。假如你不克不及，那末你的舊模子終究將變得缺乏為靠。
回到本文開首的那些成績，你曉得本身想要猜測或檢測甚么嗎？你有足夠的數(shù)據(jù)停止剖析以樹立猜測模子嗎？你有界說模子和練習(xí)模子所需的人員和對象嗎？你曾經(jīng)有統(tǒng)計(jì)或物理模子來作為一個(gè)猜測基準(zhǔn)嗎？
假如已萬事俱備，那你還在等甚么？
