這本書是按照學霸+讀書創業的方向來走的。
有朋友說,高中因爲有高考主線,所以還很好,但上了大學馬上就“高開低走”。
這是我的問題,我並沒有考慮到並不是每個人都能清楚神經網絡大模型的發展歷程,重要時間段。
如書中所言,現實中,神經網絡/深度學習領域,進入90年代後一直遇冷到了2006年——直到辛頓在nature上提出深度信念網絡,NIVDIA開啓CUDA,李飛飛創建ImageNet數據集。
直到這時,算法,算力,數據,三駕馬車勉強湊齊。
但深度學習領域還是冷。
(可能大家聽過一個笑話,X度的自動駕駛裏面,有上百萬個if else……)
那會爲了提高研究熱情,李飛飛讓人免費用數據集又搞訓練比賽……
可以說,大模型就是一幫坐冷板凳的科學家堅持走出來的。
現在回到書中,時間是2000年。
大家有個普遍的誤區是認爲有算力、超算就可以搞訓練。
不是的,深度信念網絡(DBN)逐層預訓練是串行邏輯,分佈式只會增加延遲,而超算都是分佈式集羣的,哪怕銀河二號超級計算機,都不如一塊奔騰4跑得快。
但你說能訓不呢?那當然還是能的。
搞兩個雙路CPU的服務器,優化一下邏輯,大概只需要跑個幾個月就行——這還只是對辛頓那篇論文的驗證……
可跑幾個月,也太不現實了,我敢寫,您也不敢看啊!對吧?
就算是辛頓老爺子那種狠人,也是在06年的服務器上跑的,而不是00年……
所以按照學霸文的路徑寫校園,就只能到處裝逼,從課堂裝到實驗室……從同學裝到院士。
但B你是裝了,完了你的成果一點拿不出來……那算什麼?
所以從開書的時候,就設計大學後走商業路線搞錢,完了訂製超算,稍微跑快一點——因爲跑完你還得調參吶!
現在書中劇情馬上到遊戲公測,到時候就有錢了,而且進入01年也正式拉開流氓軟件大戰,我還想着懲治流氓呢……
//*晚上更新照舊。
*這不算劇透,算是給朋友們一點前期我沒有寫清楚的問題的一點補充吧。
*另:8號上架~歡迎光臨。
*單章都開了,要不再求個月票……
*謝謝。