（視覺）

　　芮勇：大家可以想一想，如果能做到這樣的水平，今后無論是無人機還是無人駕駛，很多應(yīng)用都可以做了。

　　這是我剛才提到的第一個問題，就是對物體的識別，比這個更難的是我們是不是理解了，計算機是不是理解了某一個圖片。我們看一看。Beyond遠遠超過了計算機視覺。如果只是用最近的方式去做搜索，其實它并沒有理解，比如說你的一個輸入是靠左邊這個人，它就把右邊這幾個從搜索引擎返回，這個并不是理解，這還算不上理解。真正的理解是什么呢？我給計算機看到有這么一幅圖片，它能生成一句話，說本和他的爸爸在迪士尼樂園玩。

　　我如果讓計算機看這么一幅圖，下面我想跟大家做一個小的互動，在這個具體的問題上，我們能不能超過圖靈測試，有兩句話：第一句話叫做一個人在網(wǎng)球場上手拿著一個網(wǎng)球拍，測試大家的英文是不是還記得。第二句話：有一個人在網(wǎng)球場上打一場比賽。大家覺得這兩句話哪一個是人寫出來的？哪一個是機器寫出來的。

　　（舉手）

　　勇：基本上50%50%，我們看看哪個是人寫的哪個是機器寫的。上面的是機器寫的，如果在座的諸位是50%的話，已經(jīng)可以通過圖靈測試了。

　　我們再試一題，上面停了一輛自行車，有兩句話，一句話是小河邊停了一輛自行車，第二句話是水體旁邊有一輛自行車停在。哪句是計算機寫的？

　?。ㄅe手）

　　芮勇：現(xiàn)在大不部分人認為下面一句話是計算機寫的。我們來看看，下面是人寫的。我們又一次通過了圖靈測試。

　　這是給計算機看一個圖片，它生成的這么一句話，比那更難一點的是前一陣奧巴馬一家?guī)е『碓L問，我們?nèi)绻層嬎銠C看到這么一幅圖片，它如果只是告訴我有幾個人在拍照也沒意思，它如果有本事告訴我說，Sasha奧巴馬、米歇爾奧巴馬，彭麗媛，我們大概前50萬名人都能認出來是誰，并且我們生成了一句話說，這幾個人在故宮前面拍照，已經(jīng)可以達到這樣的水平。

　　再往下看，具體算法可能沒有那么多時間去講。但基本上是從名人到具體的物體，通過各種深度學習的方式能生成出這么一個自然語言的話。

　　我們再往下看，這就是整個的流程，算法等等就不用花時間去看了。已經(jīng)可以讓計算機看到一個圖片，講出一句還挺像樣的話，下面還可以往哪里走，我覺得至少四個方向可以走。第一個方向是說在語義的層面上，Go higher，我們能不能想到一些沒講出來，但它能推理出來的意思。第二個我們給它看一段視頻是不是也能講出一段話，Go longer。第三個是它能跟我聊天。第四個我可以問他具體問題，他能回答。

　　第一個，Go higher，如果我給計算機看這么一幅圖片，今天能做到的水平就是這樣，有一群象，前面有一個人，這是我們之前可以做到的水平。今天可以做到的水平，因為有實體，我們可以說一群象在奧巴馬的旁邊，因為我們可以識別出這個人是奧巴馬。我們希望做到什么水平？它引申的一些含義，我們?nèi)藖砜吹竭@個可以想到很多引申含義，今年正好是美國總統(tǒng)大選年，民主黨是驢，奧巴馬是民主黨，共和黨是象，它的意思是說奧巴馬被共和黨的一些競選者在追趕，我們今后如果能生成這樣一句話，我們對圖片的理解真是到了一種認知的水平，但還沒有做到。

　　第二個，Go longer，我們給它看視頻，它也能生成一句話，當然這里面有很多的算法，具體算法我就不一一介紹，基本上是用一個深度學習的網(wǎng)絡(luò)，然后目標函數(shù)里面由兩種疊加在一起的新的水平。

　　這是我提的兩個方向，第一個把它的隱身含義講出來，第二個是把視頻也能夠用文字的形式表達出來。第三個我想提的是，比如說我們今天跟小冰聊天，我們敲一段文字，它也能回一段文字，我們給它上傳一張圖片，它是不是也能跟我們聊呢？今天它也能了。它今天可以做到的水平是，如果我上傳了一張圖片，它會說小眼神太犀利了，這就像人在聊天一樣，已經(jīng)可以做到這樣的水平。比如說你想秀秀六塊腹肌，它會跟你說大叔真牛。不僅僅是文字的聊天，圖片也可以聊天，這都是得益于我們對計算機視覺技術(shù)的發(fā)展和深度學習的發(fā)展。

　　第四個方向，稍微花多點時間講講，我覺得這是很有意思的方向，不僅對科研、產(chǎn)業(yè)界來說都很有意思。叫做Visual Question Answering，我問計算機一個問題，什么東西在自行車筐里？我們希望它的答案是說狗，但是想做到這一點很難，你首先知道自行車在哪兒，筐在哪兒，筐里有什么東西，都不容易，但今天我們有技術(shù)，能夠把這個做到。怎么做到呢？我稍微提一下這個算法。

　　四個部分，兩個輸入，第一個是你問的問題是什么，你問的問題是說自行車的筐里面是什么，這是一句話，這是第一步。第二步是你同時還給計算機看一個圖片，有個Image model，我們用深度學習的方式把兩種不同的模式做兩次之后，就知道和這個問題最有關(guān)的部分就在亮的這個部分，這就是和問題發(fā)生關(guān)系的地方。如果知道這個區(qū)域和這個問題發(fā)生關(guān)系就有很大的可能性知道答案。

　　還有更多的幾個例子要跟大家分享，比如我們讓計算機看這幅圖片，問：在一片空曠的海灘上，兩個藍色的椅子中間那是什么物體？這是它答案的過程，第二層聚焦到傘，一把太陽傘。還有更多的例子，在一片泥濘的土路上，什么東西在拖著馬車？答案是馬在拖著馬車。右邊那個，筐的顏色是什么？答案是紅色的。右下角這個女士戴著兩只紅色牛的角，答案是說紅色的，它知道牛角的顏色是紅色的。這些都是我們今天通過計算機視覺的方式達到問題的回答水平。

　　剛才回顧過去50年計算機視覺發(fā)展的歷程，從最早的特征提取，有直線轉(zhuǎn)角，直到說這是一個戶外的場景，場景里面有人，到說這個圖片里面這個人的名字是什么，到生成一句話來描述這個圖片，到最后我剛才提到的Visual QA，還有很長的路要走，就是我們看到圖能講出一個故事來，這是我們今后要做的事情。

　　我今天的題目叫《計算機視覺從感知到認知的長征》，長征大家也知道，最早是從江西的瑞金開始長征的，很具有里程碑的事件就是遵義會議，最后很成功的走到陜甘邊區(qū)，今天的計算機視覺也是一個長征，但還沒有到達陜甘邊區(qū)，今天2016年我們?nèi)〉昧撕艽蟮某删?，很像遵義會議取得的成就，但今后還有很長的路要走，這就是長征的一部分，怎么樣最后到達陜北，至少三個方向可以想。第一個是計算機學習算法的本身。今天“深度學習”這個詞很熱。今天因為有了好的算法，深度學習算得很成功。

　　第一塊很重要的能讓我們到達陜北的就是計算機學習算法。第二個就是我們需要一些計算機的科學家，我們也需要和一些垂直行業(yè)的朋友們一起來做這件事情，比如我們是和做金融的朋友們，就像上午楊強講的，我們能預(yù)測股票市場。我們?nèi)绻投t(yī)療的朋友來做，可不可以做出更精準的醫(yī)療，如果和植物所的朋友來做這件事情，是不是可以做出一個用手機拍照任意的花，或者一個樹，我就知道這個花叫什么名字，樹叫什么名字，最早從哪里來？等等。我想說這個的目的就是除了機器學習的專家之外，還要和很多垂直行業(yè)領(lǐng)域的專家一起合作這件事情。

　　第三個，右下角這個圈我覺得也一樣重要，我們需要高質(zhì)量的數(shù)據(jù)，這三點如果我們都能做到了，機器學習算法本身的進步，我們和行業(yè)的專家們的合作和更多的數(shù)據(jù)的獲取，我們就能從瑞金經(jīng)過遵義到達陜北。