忍者ブログ

美しい

回去調整這個神經網絡的權重

2014年DeepMind就已經提出了一套深度學習加增強學 習的框架,這裏麵的含義就是說深度學習就是一個人工神經網絡,但是這些人工神經網絡的拓撲、參數、權重是怎麽得到的呢?它是通過增強學習這套框架不斷在現實中學習、調節、不斷在自然界中去使用神經網絡,然後計 算機再返回去調整這個神經網絡的權重。

當時DeepMind用它去教會了計算機打很多種小遊戲,大概有幾十種。比如貪吃蛇這種遊戲,用這套框架,DeepMind就告訴計算機,隻需要看著屏幕,隻需要把這個遊戲的分數打 得盡量高,不需要告訴計算機遊戲規則是什麽。

DeepMind讓計算機學會了打40多種小遊戲,而且有20多種超過了人類的世界記錄。然後,DeepMind又把這套深度學習加增強學習的框架用到了下圍棋方麵,如大家所知, AlphaGo戰勝了很多人類世界冠軍,他們再把這套框架應用在更多的不同類型的棋類遊戲裏,都紛紛戰勝了人類的頂尖選手,所以說DeepMind的這套深度學習加增強學習框架是非常了不起的。

芯片與神經網絡

我 們為什麽要做專門的芯片來支持神經網絡的應用呢?

其實原因很簡單,現在的芯片,比如說CPU、GPU,在進行深度學習處理的時候,效率是比較低下的。

從CPU的角度來說,2012年,有個非常知名的工作——穀歌大腦,穀歌大腦當時用1.6萬個CPU核跑了接近一 周去訓練識別貓臉,這個工作當時在NIPS引起了非常大的反響,因為它把貓臉或者人臉識別的準確度顯著地提升。但是從另外一個角度上來看,它需要的計算資源太多了,並不是一個普通人、一個普通的企業,能夠有這麽多 個CPU核去跑這麽復雜的任務。

數碼通寬頻,唔單止可以按你需要,提供家居光纖1000、500、100既計劃,仲幫你諗埋出街上網,加送全港過11,000個WiFi熱點,畀你係屋企上網又得,出街上網又得,隨時隨地上網打機、煲劇無問題,現時網上登記仲有8折優惠添!

另外一個例子是AlphaGo,它在跟李世石下棋的時候,當時用了1000多個CPU和200個GPU,平均每塊電費就需要接近3000美元。這反映了一個很實際的問題:現在人工智能算法的能耗實在 是太高了,不管CPU還是GPU,都不足夠把這些算法真正地用起來。

我們期望智能時代的到來,期望大量智能應用能夠落地,這裏麵一定要有一個前提:物質載體要成熟。但是從現在來看,不管是CPU還是GPU,不管是性 能還是能耗,現在芯片都不足以支撐。

另外還有一個更加長遠的問題:現在最復雜的人工神經網絡算法,裏麵的突觸多達1000億多個,但是跟人的大腦相比還是有很大差別——人大概有百萬億個突觸。

這是一 個從老鼠到米老鼠的比較,我們這裏的1000億個突觸是指人工神經網絡裏的,而百萬億個突觸是人腦裏生物神經元的突觸,可能這兩者之間不能劃等號,但是它畢竟體現出了一個數量級的差別。

所以專門的人工神經網 絡處理器或者說深度學習處理器在未來不管從學術角度還是產業角度發展來看都是必然的事情,未來的每臺計算機都需要一個專門的深度學習處理器。

寒武紀的發展

我想這個是跟GPU具有同樣規模的潛在市場 ,非常幸運的是我們中科院計算所走得比國際同行要相對早一些,從2008年開始我們就開始做這方麵的研究,團隊的名字就叫做寒武紀。

PR

コメント

プロフィール

HN:
No Name Ninja
性別:
非公開

P R