Google工程師：教你用樹莓派+Arduino+TensorFlow搭建影象識別小車

雷鋒網按：本文作者趙智沉，Google軟體工程師。來自知乎專欄：。雷鋒網獲授權轉載。趙智沉的作坊

從買第一個Arduino套裝開始，我接觸機器人有好幾年了，但直到最近才開始做完整的課題。期間有兩項技能為我打開了新世界的大門：Python和Linux。他們背後，是強大的開源社群。掌握了這兩樣工具的工具（元工具），你感覺網上遍地是趁手的兵器。

上週在公司內部程式設計培訓時，有一句話深得我心：我們是軟體工程師，不是程式設計師。我們的工作不是寫程式，而是合理使用工具解決問題。在Google，如果你覺得自己不得不從零開始寫某項功能，只是你還沒有找到相應的工具罷了。在開源社群更是如此。

這是一個遙控小車，透過紅外遙控或無線鍵盤可以控制小車的行動和攝像頭的角度。TensorFlow實時監測攝像頭拍攝到的畫面，語音讀出它識別出的物體。所有程式碼都放在我的上。GitHub

這個想法不是我的原創，來自Lukas Biewald去年九月寫的。核心部分，TensorFlow識別攝像頭影象並語音輸出，是我司人工智慧工程師Pete Warden的。和原部落格不同的是，製作過程中我加入了Arduino作為機械總控，也瞭解了Arduino和樹莓派對話的方法（串列埠通訊）。期間用到了許多有用的技能和工具，在這裡整理一下，歡迎同好們留言交流！這篇部落格開源工作

整個課題在命令列環境完成，沒有圖形介面。如果你不懂Linux系統，可能有些吃力。但是，你都開始玩機器人了，怎麼能不學Linux呢？我是透過《》自學Linux的，後來又嘗試，終於克服在Windows系統環境長大產生的對命令列的抗拒心理。相信我，克服這個障礙，你將開啟新世界的大門。何況，用命令列工作才顯得更酷更極客，不是嗎？除了Linux，你還要懂C++和Python來完成這個課題。鳥哥的Linux私房菜從原始碼搭建Linux

另外，這篇文章主要介紹電子部分，不講機械和美工。如你看到的，這個小車醜破了我的審美底線，我沒花心思在外觀上。我希望以後做一些兼具美學和功能的電子課題，或許會和設計師朋友們合作！

一、樹莓派

首先，你需要一個最新款的，安裝好定製的Linux系統，連上無線網。你還需要一個，並在樹莓派中。你可以將樹莓派透過HDMI連線到顯示器，但更方便的做法是ssh遠端登入，這樣你就不用在除錯過程中反覆地把樹莓派從小車上拔線、取下、連螢幕、然後安裝回小車了，你可以實時遠端修改小車的核心。甚至，我的Arduino程式也是透過樹莓派編寫、上傳、通訊的，於是也免去了電腦連線Arduino的步驟，讓一切更流暢無縫。Raspberry Pi官配攝像頭設定為可用

樹莓派的Linux系統支援圖形桌面，你可以使用RealVNC（用於Windows）或TightVNC（用於Mac）遠端登入圖形桌面。（這個課題裡不需要）

二、TensorFlow

這是課題的核心部分，反而操作起來最簡單，因為一切都在寫清楚了，按部就班就行。執行程式碼在。這裡這裡

注意：這裡用了訓練好的模型，即TensorFlow中預先給定了訓練好的引數集，訓練圖片庫是。也就是說，小車識別出的物體只能是圖片庫裡包含的labels，也沒有“學習”的過程。ImageNet

三、小車

小車套件（robot chassis）很多，選你喜歡的一款。標準的套件包括一個基座，兩組馬達+輪子，一個萬向輪，一個電池盒。這個課題不需要四驅，而且之後要用到的馬達控制器可能只支援兩個馬達。我用的是張堯姐送給我的第一個DIY套件：一個戳了很多洞的木板和3D打印出來的輪子和連線部件。這個恐怕是蘿蔔太辣最早的套件，來自矽谷的創客空間。

現在，正式出品的“起源”套件已很完善，線上也有成熟的教學資源。這個課題裡用到的舵機和金屬連線部件都來自堯姐送給我的第二個套件——“起源”套件。但從感情上來講，那套粗糙的木板套件讓我更親近，符合“用最簡單的材料實現原型”的理念。蘿蔔太辣

電源：樹莓派需要5V、2A電源，放在小車上的話需要一個電流足夠大的充電寶。連線樹莓派和Arduino的連線線同時也為Arduino供電。但是，馬達我用了外部電源（電池盒）。你會發現即使沒有外部電源，充電寶依然可以帶動馬達（儘管很慢）。但是，好的習慣是機械部分獨立供電；邏輯電路部分由充電寶提供。

下一步，操控小車。這裡有兩個方案，第一個不需要Arduino。我使用的是第二個。

3。1 樹莓派作為機械總控

我認為微控制器的精髓，不是尺寸小，而是豐富的GPIO（General Purpose Input-Output），它們是程式與外部世界對話的視窗。你看到的各種電子部件、探頭、焊接、麵包板，都是在和GPIO打交道。你需要了解基本的電路知識，也需要知道它們在微控制器上的。樹莓派有一個非常好用的GPIO Python庫：，使用方法一目瞭然。排布gpiozero

通常用四個埠控制馬達，分別連線兩個馬達的正負級，透過每個馬達的正向／逆向旋轉來實現小車的前進／後退／轉向。實現雙向電流的標準電路模型是H橋接。你可以選購一款最基本的H-bridge模組。

因為我手頭沒有，所以這個方案我沒有實現。H橋接

3。2 Arduino作為機械總控

我沒有H橋接，但有一個用於Arduino的Motor stacking shield，即Arduino上的H橋接。於是我乾脆用Arduino負責機械（馬達+舵機），相當於身體；樹莓派只負責影象識別，相當於大腦。

Arduino不是Linux系統，不能直接ssh進去寫程式，需要在外寫好後編譯上傳。我用資料線連線了樹莓派和Arduino，在樹莓派上寫好程式後上傳。我發現一個非常好用的命令列IDE：PlatformIO（也有很棒的圖形介面編輯器）。Linux上的基於Python 2。7。你需要一些初始化，如果像我一樣是Arduino Uno主機板，輸入以下命令即可：安裝過程

pio init -b uno

Arduino的C++原始碼在。進入後，輸入以下命令即可上傳：這裡這個資料夾

pio run –target upload

後來我發現PlatformIO對於Arduino主機板好像不支援C++11，如果你有這個需要，可以考慮。inotool

四、無線遙控

同樣有兩個方案：無線鍵盤，紅外遙控。兩個方案我都實現了。

4。1 無線鍵盤

如果你在上一步用了3。1，無線鍵盤操控模組就可以直接嵌入到機械操控程式碼中（我沒有實現）。如果你在上一步用了3。2，那麼需要在樹莓派上將按鍵操作轉為機械控制訊號（文字形式），透過串列埠通訊（Serial Port）操控Arduino。

python程式碼在，用到了我，用來檢測鍵盤按鍵。這個庫將單次按鍵匹配到前進／後退／轉／停止等行為；但我希望實現的是長按鍵前進／後退／轉，不按鍵時停止。但我始終沒有找到現成的庫（Update：據說在PyGame裡有）。這裡自己寫的庫

後來我試著透過背景執行緒（threading）和系統延時的方法，但效果不太理想，系統延時和程式執行時間帶來的誤差總是匹配不好，就放棄了。現在程式碼裡用的是單次按鍵行動／停止的方案。如果讀者有好的庫，請推薦！寫了一個庫

有一點要注意，使用串列埠通訊前需要disable login（既然你已經ssh遠端登入了），解釋比較清楚。這篇

4。2 紅外遙控

紅外的長按返回的是一個單獨的值（REPEAT），這點就可以讓我很容易實現“長按-車動，不按-車停”。此外，紅外遙控的程式碼直接寫在Arduino的C++程式碼裡，不需要透過樹莓派和串列埠通訊，更符合Arduino作為機械總控的設計原則。

PlatformIO不自帶紅外的庫，我用的是。PlatformIO使用第三方庫實在太簡單了，不需要下載安裝，直接在配置里加上GitHub連結即可，參考我的。這個配置檔案

還有一點，每一個紅外遙控都不一樣。家裡的電視機、音響、空調遙控都可以用，你只需要在使用前匹配好按鍵和對應的碼。我在裡define的一堆KEY只適用於我的遙控器。你可以用來獲得鍵碼。注意：紅外遙控有幾種模式，我的遙控用的是最常見的NEC模式，如果你匹配出來一堆亂碼，可以考慮庫裡的其他幾個模式。程式碼這個程式碼

對了，如果你用紅外遙控，你還需要在車上裝一個IR Receiver。我裝在Arduino上，用8號埠。

如果你用了方案3。1，你也可以直接將IR Receiver裝在樹莓派的GPIO上。

五、其他

這些已經夠你開車上路了。我在車上裝了舵機（Servo），控制攝像頭的上下轉動。操作很直觀，看程式碼就能理解。我沒有裝超聲探頭，這個可以幫助你檢測障礙，在撞牆前強行停止。

如果你想遠端看攝像頭的實時畫面，VNC不能勝任。可以考慮。但這樣的話TensorFlow就不能再用攝像頭了。應該有一個共用的方案，我沒有探究。這個方案

差不多就這些了，我的程式碼沒有太多註釋，等有空往上加。如果你有疑問，可以留言問我。

福利：有一個延時攝影的簡單程式，我在crontab裡設定為每隔一分鐘拍一張照，然後每天半夜將當天拍的照轉成錄影。下週打算帶到公司裡，找個風景好的位置，放幾天，拍紐約的24小時風景。這裡