依莊防，博士，泰伯網(wǎng)海外特約專(zhuān)欄作者。傣族，出生于西雙版納，目前就職于Development Seed（美國華盛頓特區），是一位機器學(xué)習算法工程師。

作者： 依莊防

　　人工智能不可阻擋地向各行業(yè)滲透。這一現象，恰巧撞上了“商業(yè)遙感衛星發(fā)射潮”。這似乎預示了某種潛流。此刻，從事衛星遙感影像解譯和大數據提取的專(zhuān)業(yè)人士、科研人員、政府部門(mén)和企業(yè)都躍躍欲試：恨不得在獲取數據的同時(shí)，一股腦兒在衛星上直接解譯、處理和打包，地面接收站再根據用戶(hù)需求分發(fā)。

　　顯然，這種愿景目前還無(wú)法實(shí)現。商業(yè)衛星影像本身數據量龐大，有很多難點(diǎn)尚未攻關(guān)。不過(guò)，在高分辨率影像應用領(lǐng)域，市場(chǎng)和科研都有一些亮眼的成果——它們讓高分遙感從獲取、解譯到數據分配的一條龍服務(wù)的愿景成為可能。

　?。ㄗⅲ耗壳盁嶙h的人工智能，其實(shí)包括了很多領(lǐng)域和應用。講真，所有可以用機器代替人工來(lái)做，特別是重復性強的，在媒體報道中都統稱(chēng)人工智能。本文所指的人工智能，具體指用機器學(xué)習、深度學(xué)習等計算機視覺(jué)技術(shù)去分析、解譯高分遙感數據。）

　　所以，只有充分了解高分辨率遙感影像的直接應用難度，才能為人工智能與遙感的結合，構建合理的想像。

　　高分遙感應用難度

　　難度1. 數據大

　　高分遙感影像的分辨率越大，其數據就越大。

　　30米分辨率指的是遙感影像上每一個(gè)像素對應的地物是30米x30米。比如地面120米 x 120米的地塊，在分辨率為30米的衛星影像圖上是16個(gè)像元，但是在3米x 3米的衛星影像上就是1600個(gè)像元，到了30厘米 x 30厘米的衛星影像圖中則變成了160000個(gè)像元。

　　分辨率越高記錄的數據信息越詳細，不僅僅是像元隨著(zhù)高分影像增大，其每個(gè)像元的信息復雜性也在增加，因此高分遙感影像分辨率的提高和其更低分辨率影像之間的文件大小不是線(xiàn)性關(guān)系。

　　難度2. 分析難

　　分辨率越高，信息量越大，數據提取就越難。

　　同一個(gè)地點(diǎn)，高分辨率遙感影像隨著(zhù)分辨率越高獲取的地面數據越多，信息越復雜，就越難提取有用的信息。

　　如果在一二十年前用Landsat衛星影像（30米分辨率）做一個(gè)縣市級別的土地利用分類(lèi)工作，直接把數據導入地理信息和圖像解譯工作平臺（ERDAS，ENVI和ArcGIS等等）大概都可以作出個(gè)產(chǎn)品來(lái)。但是如果衛星影像分辨率達到了30厘米(相當于30m分辨率高出100倍的精度)：30米分辨率時(shí)只能看到大概的形狀，30厘米就可以看到路上行駛的車(chē)輛了——遙感影像分辨率越高，精度越高，可以觀(guān)察到的地物就越多，那么在眾多繁雜的信息中分辨出有用信息的難度就越大。

　　普通影像處理軟件處理分辨率越高的影像就越困難，此時(shí)人工智能的作用就凸顯了。高性能超級計算機，可以不知疲倦地實(shí)時(shí)處理人工和普通影像處理軟件無(wú)法完成的工作。

Digital GlobeWorldView-3影像兩個(gè)分辨率對比圖，左圖是分辨率為1.24米（文件大小為1.7M），右圖分辨率是0.31米（圖片大小是10.2M）

難度3. 可用性不確定

　　解譯數據的可用性。

　　這時(shí)，可能會(huì )有遙感專(zhuān)業(yè)的同事說(shuō)，信息量大，正是高分辨率遙感的魅力所在。這話(huà)是沒(méi)有錯的。

　　下面咱們還要講怎么使用人工智能遙感從高分辨率遙感影像中提取有用的信息。但是在實(shí)現這一步之前，有一個(gè)不可忽視的細節難度——分辨率越高的影像解譯和提取的信息越多，處理不好，反倒可能使得結果沒(méi)辦法用。

　　我們從高分辨率影像中提取的數據，最終目的是希望可以放在地圖上，供專(zhuān)業(yè)人士或者普通市民使用?；旧虾芏嘤嬎銠C視覺(jué)里面使用到機器學(xué)習和深度學(xué)習（比如圖像分割、對象檢測和圖像分類(lèi)）都可以在高分辨率遙感中應用。

　　無(wú)人駕駛汽車(chē)使用的機器學(xué)習算法是圖像分割，即該車(chē)在街道上行駛時(shí)不斷的拍照和解讀，哪里是道路、道路邊界、行道樹(shù)和行人。從高分辨率遙感解譯信息其實(shí)也是這么一回事，從圖像分割中知道哪里是樓房、道路、橋梁、樹(shù)林、機場(chǎng)等等。

　　和一般計算機視覺(jué)不同的是，高分遙感提取的數據需要放在地圖上，就是說(shuō)這數據不僅要在機器學(xué)習（人工智能）模型中達到好的精度，還要有準確的地理信息（比如經(jīng)緯度等等）——這最終才有可用性。

　　比如咱們用圖像分割中解譯出來(lái)的道路在地圖上向右平移了5米，或者解譯出來(lái)的樓房缺了三分之一等等。那么數據要用到現實(shí)生活，如導航或者計算建筑面積，就沒(méi)啥用了。

　　難度4.其他

　　高分辨率遙感影像本身特點(diǎn)帶來(lái)的問(wèn)題。

　　除了以上高分辨率遙感影像文件大、信息復雜、信息提取難度高、以及人工智能模型結果的可用性不確定等因素之外，高分辨率遙感影像本身還存在以下問(wèn)題：

　?、僭茖痈采w。大家抬眼看天空，云層千變萬(wàn)化。不同的季節和地區云層覆蓋不一。一旦衛星影像研究區域的云覆蓋率到了10%以上就很難從中提取好的數據。當然這個(gè)問(wèn)題在商業(yè)小衛星覆蓋率高的地區，衛星可以在短時(shí)間內重復性的訪(fǎng)問(wèn)一個(gè)地點(diǎn)，或者在天氣晴朗的時(shí)候使用無(wú)人機獲取數據等，是可以解決這個(gè)問(wèn)題的。

　?、跁r(shí)空分辨率的取舍?？臻g分辨率，是到目前一直強調的高分辨率。而時(shí)間分辨率指的是遙感影像以多高的頻率獲取，比如是一天拍一次上海，還是一個(gè)月一次，還是一年一次。

　　高分辨率衛星影像不僅僅處理和解譯難，獲取的費用也是不菲的。因此沒(méi)有長(cháng)期的研究、資金支持和投入，沒(méi)有市場(chǎng)需求，同時(shí)開(kāi)發(fā)的高分遙感產(chǎn)品不能在時(shí)間或空間分辨率中占得優(yōu)勢的話(huà)，企業(yè)很難在市場(chǎng)上存活。比如美國Digital Globe，它的衛星影像是根據客戶(hù)需要去采集數據，它最好的數據產(chǎn)品WorldView-3和4的分辨率可達0.31米。Planet Lab的商業(yè)模式則不同，它是通過(guò)提高時(shí)間分辨率但（部分）放棄空間分辨率（他們的最高分辨率的衛星影像產(chǎn)品是1米空間分辨率），以實(shí)現每周生成覆蓋全球的遙感影像。當然，Planet同時(shí)也在提高衛星影像的空間分辨率來(lái)?yè)屨际袌?chǎng)。

　?、鄄ǘ味?，難以取舍。和計算機視覺(jué)的機器學(xué)習、人工智能模型中大部分只是用紅綠藍三個(gè)色相通道（就是普通的照片）不同，高分辨率遙感影像可以有十幾到上百個(gè)波段，不同的地物解譯和圖像分割可選取不通的波段組合。但是選擇多了也很痛苦，因為目前高分率波段組合和選擇在機器學(xué)習（人工智能）上的應用還沒(méi)有足夠積累。

人工智能和高分遙感的結合

　　人工智能和高分辨率遙感可以說(shuō)是天作之合。

　　高分辨率遙感影像的存在是為了能讓我們實(shí)時(shí)監測地面發(fā)生的變化。比如一個(gè)城市哪里新建了房屋，哪里新建了道路橋梁；農業(yè)上哪一個(gè)作物得了病蟲(chóng)害；或者哪一個(gè)地區發(fā)生旱災澇害，要怎樣疏導災民，如何重建。也有保險公司在實(shí)時(shí)監測用戶(hù)的屋頂材料和冰雹雪災之間的聯(lián)系，從而為拓展房屋保險業(yè)務(wù)提供服務(wù)。人工智能可以讓我們大規模、智能化、實(shí)時(shí)性的實(shí)現數據提取。

　　前面說(shuō)了那么多困難，那么，人工智能和高分辨率遙感影像解譯能結合嗎？能有未來(lái)嗎？答案是肯定的。下面待我給大家一一解讀。

　　傳統計算機視覺(jué)的新玩法

　　01.啥是機器學(xué)習（深度學(xué)習）

　　機器學(xué)習可以分為監督學(xué)習，非監督學(xué)習和強化學(xué)習。

　　顧名思義，監督學(xué)習指的是告訴模型你認為圖像里哪是房子哪是路，人工智能就會(huì )建立原始衛星影像和你給的標簽（房子，道路）之間的數學(xué)關(guān)系。非監督學(xué)習就是不告訴模型哪是房子哪是道路，模型根據衛星影像里面的像元值對圖像進(jìn)行分類(lèi)。強化學(xué)習則是啥也不告訴模型，讓模型自己學(xué)習，并不斷強化。當然我這是往簡(jiǎn)單里說(shuō)，具體的解釋大家可以參考其他機器學(xué)習的資料。

　　高分辨率遙感影像解譯用的最多的是監督學(xué)習。

第一排的兩張圖是監督學(xué)習中的圖像分割訓練數據（左圖是衛星影像圖，右圖是標簽數據——房子和道路）。這個(gè)訓練圖集的關(guān)系就如同解方程式：其中衛星影像圖就相當于X，標簽數據就是y，人工智能模型就是在X和y中找數學(xué)關(guān)系。然后我們可以通過(guò)這個(gè)關(guān)系從未被人工智能模型訓練過(guò)的衛星影像圖中提取房子和道路的信息。

　　  第二排的兩張圖是監督學(xué)習中的對象檢測訓練數據（左圖是衛星影像圖，右圖是房子的對象檢測框）。

　　在第一排訓練數據訓練的圖像分割模型，就可以從高分辨率遙感影像中找出衛星影像中哪一個(gè)像元是房子或者道路。第二排訓練數據集訓練的模型則可以用來(lái)“找房子”，這個(gè)方法一般可以用來(lái)數房子，即可以用通過(guò)新房子在一段時(shí)間的建設數量來(lái)衡量區域經(jīng)濟發(fā)展的速度。比如第一排的訓練數據集可以通過(guò)在高分辨率遙感影像和標簽數據之間建立數學(xué)關(guān)系（這里通常通過(guò)深度學(xué)習的方法），進(jìn)而預測未知影像中的檢測對象。

人工智能模型通過(guò)輸入的高分辨率遙感影像和標簽數據來(lái)預測檢測對象。圖中第一排是房屋建筑面積的預測模型，第二排是道路系統檢測模型。

　　02.高分影像和開(kāi)放街道地圖（Open Street Map）為機器學(xué)習新玩法雪中送炭

　　高分遙感影像數據量大，傳統的分析方法是下載一整片衛星影像，導入到可以用來(lái)分析這個(gè)影像的地理信息軟件中來(lái)分析。這項工作繁瑣、緩慢、不討好，而且受各種不可知因素影響。沒(méi)有大量的人工投入很難用于應急，比如洪澇災害來(lái)了，只能依靠過(guò)往的地圖和模型信息積累來(lái)開(kāi)展工作。

　　通過(guò)區塊地圖服務(wù)（Tile Map Service）實(shí)現高分遙感的實(shí)時(shí)分享，以及開(kāi)放街道地圖的存在，它們是未來(lái)人工智能在高分辨率遙感影像解譯方面長(cháng)足發(fā)展的兩個(gè)重要基礎。要做到以上實(shí)時(shí)預測道路網(wǎng)絡(luò )，離不開(kāi)這兩個(gè)基石。

　　03.區塊地圖服務(wù)（Tile Map Service）

　　大家肯定熟悉百度地圖、高德地圖、必應衛星影像圖。照理來(lái)說(shuō)，全球或整個(gè)中國的地圖數據那么大，儲存了那么多數據，比如你喜歡的餐館、書(shū)店、咖啡館、電影院等等，以及你上學(xué)、上班和回家的每一條路，還有千千萬(wàn)萬(wàn)同學(xué)的同學(xué)、朋友的朋友的住宅小區等等。數據那么大，可是并不妨礙你一打開(kāi)手機就可以瀏覽。

　　這得益于區塊地圖服務(wù)（當然還有其他的技術(shù)，咱們先往簡(jiǎn)單里說(shuō)），這個(gè)技術(shù)可以使我們從全球地圖開(kāi)始，點(diǎn)擊放大地圖20次就可以看到世界上任何一個(gè)地區的街景。地圖在每一次放大過(guò)程中的信息量不一樣，在全球水平上是非常粗糙的國家級數據，放大20次在手機屏幕上展示的信息就是你感興趣的街景圖。

　　在放大地圖的過(guò)程中越來(lái)越多的信息被展現，在縮小的過(guò)程你會(huì )發(fā)現經(jīng)常走的那條街不見(jiàn)了，慢慢的學(xué)校在地圖上消失了，然后在全國地圖上你只看到你的省會(huì )城市。

　　這和高分遙感影像實(shí)時(shí)分享有啥關(guān)系？說(shuō)白了就是同一個(gè)道理。高分遙感簡(jiǎn)單的說(shuō)是你可以放到最大看到的衛星影像圖，精細、信息量大?？梢韵胂?，這些塊狀的衛星影像就像地板磚一樣（英文用詞是tile，很形象），分辨率為1米的塊狀衛星影像要覆蓋（鋪滿(mǎn)）整個(gè)中國大概需要千萬(wàn)億塊（960萬(wàn)平方公里）?？上攵谶@個(gè)分辨率尺度上解譯國家級別的數據，這個(gè)工作量和人工需求有多大，就更不要說(shuō)比1米分辨率更高的高分辨率影像了。

　　商業(yè)衛星影像公司可以通過(guò)生成不同分辨率影像，來(lái)滿(mǎn)足不同的用戶(hù)需求。比如要做建筑物占地面積或者道路系統的人工智能模型，就會(huì )希望用到最高空間分辨率的影像（下圖提到的放大次數我們希望用到zoom level 17以上的影像數據），但是做農業(yè)相關(guān)的土地利用圖就不需要高分辨率的影像。

區塊地圖服務(wù)可以從全球低分辨率的衛星影像放大到高尺度的衛星影像。

　　04.開(kāi)放街道地圖

　　開(kāi)放街道地圖是以人人都可以編輯的世界地圖為其宗旨。全球有幾百萬(wàn)會(huì )員每天都在世界不同的國家和地區編輯和錄入數據。其中人道主義援助的貢獻特別突出，比如海地和尼泊爾地震期間就有全球的志愿者通過(guò)高清衛星影像編輯地圖，比如勾畫(huà)出哪個(gè)地段的道路和房子被毀了，哪里是最近的救援點(diǎn)和醫院等等。

　　開(kāi)放街景地圖可以作為機器學(xué)習的訓練數據集，特別是訓練數據中的標簽數據。我們最近開(kāi)發(fā)了一個(gè)開(kāi)放的python數據包，叫做Label Maker。該數據包可以從開(kāi)放街道地圖的API匹配同個(gè)地區的Mapbox衛星影像來(lái)生成包括TensorFlow、MXNet、Pytorch、Theano和Keras框架下的深度學(xué)習訓練數據集。

　　我們在Label Maker的上面放了幾個(gè)機器學(xué)習的案例，包括圖像分類(lèi)和對象檢測，大家可以去看看（我的中文博客介紹）。

　　高分影像、開(kāi)放街景地圖和Label Maker，加上云計算，可以實(shí)現很多以往傳統的中低分辨率遙感影像和傳統的衛星影像解譯無(wú)法做到的。SkyNet是我們做圖像分割的一個(gè)機器學(xué)習方法，開(kāi)放的，大家可以去玩玩。

　　我們用SkyNet可以實(shí)時(shí)從高分遙感影像中解譯道路系統。當然SkyNet的背后是劍橋大學(xué)在前幾年開(kāi)發(fā)的SegNet技術(shù)。機器學(xué)習中的圖像分割（也是SkyNet）背后的技術(shù)是目前無(wú)人駕駛汽車(chē)中主要使用的計算機視覺(jué)技術(shù)之一。 我們現在還在開(kāi)發(fā)更多、更新、運算更快的算法。北美和全球都有很多類(lèi)似的公司和機構，開(kāi)發(fā)各種深度學(xué)習、傳統機器學(xué)習在高分辨率遙感影像解譯中的應用軟件包和工具。希望未來(lái)可以給大家多多介紹。

       高分遙感影像的出現和人工智能可以幫我們做很多事情。作為這個(gè)領(lǐng)域的專(zhuān)業(yè)人士，我們該從應用的角度出發(fā)，挖掘人工智能和高分影像的應用。比如對于智能城市的建設，第一道數據關(guān)口是我們的城市里道路建設和房屋狀況是怎么樣的？哪里發(fā)展最快，哪里比較慢，為什么？洪澇災害來(lái)了哪里會(huì )受災比較嚴重？醫院學(xué)校都建在哪里，其他的公共設施都建在哪里？

　　高分遙感的實(shí)時(shí)更新以及人工智能的快速運算，需要能夠回答智能城市建設的最基本問(wèn)題。比如下圖，通過(guò)對比人工智能模型的建筑占地面積預測結果和已經(jīng)在地圖上標記的建筑占地面積，就可以找出一個(gè)城市哪些建筑是新的、還沒(méi)有標記在地圖上的。開(kāi)放街景地圖的制圖任務(wù)管理人員可以號召制圖志愿者到這些地方添加沒(méi)有地圖標記的建筑物。同樣的道理，人工智能和高分辨率遙感影像的結合，除了可以幫城市規劃機構標記城市化的進(jìn)程外，遙感的多光譜波段還可以“看見(jiàn)”城市建筑物的材料，從而“預見(jiàn)”城市在不同自然災害下的脆弱程度，這對災后重建工作也會(huì )起到很大作用。

淺見(jiàn)未來(lái)

　　01.人工智能也需要加入人的協(xié)助

　　目前人工智能在高分辨率遙感影像上的應用日新月異，但是因為衛星遙感影像應用難度，以及人工智能本身的應用瓶頸，還不能實(shí)現全程的自動(dòng)化。因此，從衛星影像采集到衛星影像解譯和數據整理一條龍服務(wù)還難以達到。不過(guò)，相關(guān)專(zhuān)業(yè)人士可以在這個(gè)過(guò)程中助力。

　　比如上面提到的道路系統和房屋建筑占地面積預測在一定程度上是可以實(shí)現全程自動(dòng)化的，但是還有大量案例是無(wú)法全部自動(dòng)化的。

　　2018年我們幫助世界銀行制作巴基斯坦、尼日利亞和贊比亞三國的高壓電網(wǎng)圖。高壓電網(wǎng)在高分辨率影像中是非常難以分辨的，我們通過(guò)人工智能模型預測高壓電塔的分布、引導專(zhuān)業(yè)制圖人員制圖的方式完成，這要比傳統人工查看高壓電塔、畫(huà)高壓電網(wǎng)的方法在速度上提高了33倍工作產(chǎn)出（該方法現在是開(kāi)放的報告和模型方法，可供大家參閱）。

02.高分辨率影像解譯和人工智能要完成三件事

　　現在人工智能（機器學(xué)習和深度學(xué)習）和高分辨率遙感的解譯和應用熱情空前高漲，但是所有業(yè)內人士也不能忽略這個(gè)問(wèn)題：如何從高分遙感影像中提取可直接應用的數據。

　　這個(gè)問(wèn)題不是專(zhuān)業(yè)人士拍拍腦袋就能夠決定的，而是應該從不同應用案例和使用者的角度出發(fā)來(lái)解譯和整理數據。比如同樣的方法論，我上面提到的應用圖像分割從高分辨率遙感影像中提取道路系統。城市規劃師需要的數據與交通管理部門(mén)不同，澇災情況下的導航需要的道路系統也與災后重建所需要的不同。

　　道路系統屬性不同，能夠支持不同的工作和需求。因此，機器學(xué)習算法工程師和高分辨率遙感影像解譯的工作，必須能夠滿(mǎn)足三方面的要求：第一，數據的完整性；第二，預測的準確性；第三，數據的應用性。其中，第三個(gè)條件不應該是最后考慮的，而是要在人工智能模型的開(kāi)發(fā)過(guò)程中貫穿始終。

　　希望我們可以一起做更多更有意義的工作，通過(guò)開(kāi)放的軟件開(kāi)發(fā)服務(wù)更多的社區、地區、國家和需要數據的人。

文章轉載泰博網(wǎng)