AR+IoT 於農業方面應用
AR+IoT概要介紹
在基於擴增實境(Augmented Reality, AR)的基礎之上，混合實境(Mixed Reality, MR)能將虛擬資訊與現實環境融合在一起，經過兩者精準定位後能夠產生更逼真的虛實互動。舉例來說，透過手部動作偵測或眼球追蹤，來對虛擬物件做更精細的處理(點選、翻轉、縮放、拋擲物件等)，能夠產生比AR更為真實的操作感覺，加強使用者的體驗。例如：在引進新人的教育訓練方面，傳統的培訓方法是從物理設備或教室裡進行書籍或影片的培訓，在設備端進行培訓時，存在著施工安全、設備損耗等風險，而在課堂培訓時，卻少了實地培訓的好處。
而行之有年的物聯網(Internet of Things, IoT)概念，包含了各種可以聯網的物體或裝置，當我們無法前往現場時，透過與這些裝置連結，能夠取得這些可被看到、聽到或感知到的資料，接著可進行後續的分析與操作。透過蒐集資料，能夠結合機器學習，可以從中進行分析與學習，以利於自動化決策，也就是所謂的人工智慧。
在農業方面，物聯網技術的使用可以說是越來越純熟。像是無人機噴灑農藥、溫溼度感測器監控環境、自動灑水降溫等許多技術，能夠有效減少了人力成本。但是在遠端監控的人員，無法以直覺方式操控這些機器，並且對於需要手動操作的器具或是需要即時互動的環境，便缺少了一項有力的技術。
結合了AR與IoT這兩種完全不同的概念，能夠顛覆目前既有的工作模式。透過虛實互動與萬物聯網的能力，將AR設備與IoT裝置連接在一起，能夠讓使用者直覺操作IoT裝置；或是透過IoT裝置蒐集的資料，呈現在AR設備上，並能與遠端的專業人員協作。而現代農業開始採用物聯網解決方案，透過感測器、無人機、自動化器具等來協助降低風險或保護脆弱性的工具。結合了AR設備，可以讓第一線人員不須放下手中器具去操控手機，而是透過AR頭戴設備來強化使用者體驗，並能夠大幅提升工作效率。
智慧農業
Smart Farming AR Concept，取自於MAURICE GO
在未來的40年，世界人口將預期膨脹至90億左右，而糧食產量需要增加至少目前的70%以上，以避免大規模的饑荒。並且這些農業生產者需要學會對付氣候急遽變化、洪水或旱災、資源枯竭抑或是政治經濟上的因素，而這些需要透過降低勞動或生產成本來達到。
由Infosys (MAURICE GO), Telstra 在2018年共同開發了Smart Farming AR 的原型，並使用微軟Hololens來進行可視化的操作，並且可佈署到手機上，讓沒有Hololens的人員也能一同分享視野。那麼使用者可以進行什麼操作呢? Infosys 將農場位置透過GPS定位，並且繪製出了整個農場。在耕作方面，無人自駕機具能即時反饋機具位置，而遠端監控人員能在農場地圖上看到機具的行進狀況，並且進行細部微調；除了虛擬物件的呈現，在機具上裝上攝影機，並且與遠端裝置連線，能夠即時呈現影像畫面。
除了無人自駕機具以外，感測器也是智慧農業中重要的一環，可以有效偵測環境的各項參數，Infosys 將感測器回傳的數據整理，變成實時可視化的圖表，提供使用者做出決策。像是可以針對環境中的溫溼度，進行灑水降溫；而灌溉過程可透過土壤感測器來節省水量的使用，並且可以偵測土壤中的PH值，適時調配肥料或營養劑；此外，也可與市場系統連結取得農產品價格，避免過度投入同一種農產品而造成價格崩盤。
多人透過AR設備觀看同一個模型，取自於MAURICE GO
透過Hololens即時監測無人機的作業情況，取自於MAURICE GO
無人機的攝影畫面即時回傳，取自於MAURICE GO
自駕曳引機的即時狀況回報，取自於MAURICE GO
土壤傳感器的資料回饋，取自於MAURICE GO
影像辨識
目前市面上不少AR眼鏡都配有攝影機，像Hololens2更配有紅外線與可測深度的相機，能夠在影像辨識方面提供更多的硬體支援。位於荷蘭瓦赫寧恩大學(Wageningen University & Research)的一個研究團隊，結合了Hololens2與影像辨識的技術，針對溫室裡的植栽作物等進行辨識。
該團隊第一個應用是計算非洲菊中的雄蕊數量，藉由這個應用可以培訓新進人員識別可收穫的花朵。第二個應用則是結合了紅外線感測器，將數據整合到Hololens2上後進行彩色投影，可以偵測到植物的壓力。第三個應用則是溫室定位，將Hololens2與其觀看方向定位後，便可得知使用者正在觀察的植物，系統將會自動顯示該植物的所有資訊，免去掃描QR code的動作。最後一個應用則是語音辨識，可以讓飼養員或觀察員免去手寫紀錄的困擾，只要藉由語音，便可以紀錄相關結果。
AR+IoT系統開發方案有關內容
在導入AR+IoT系統過程，除了語音辨識、影像辨識等較高難度的操作，有沒有哪些物件是基礎開發者能夠上手的呢? 透過以上例子可以得知，導入CAD模型、置入圖片影片、器具的解說介面、物聯網連接等是較為容易上手的，以下我們呈現相關概念。
導入CAD模型
根據使用者給予的CAD模型，導入於實際場景中。可由Blender、Autodesk、SketchUp等軟體，導出3D模型至Unity中，並佈署於Hololens2裝置上。
示意圖，取自於Microsoft Dynamics 365 Guides
器具裝置之敘述介面
可以設置簡易的工具提示，使用者可以快速得知工具名稱。要進行更為複雜的步驟操作說明，可以設置類似的敘述介面設計，並且可以搭配眼動追蹤來點選上下步驟。
取自於MRTK
取自於Microsoft Dynamics 365 Guides
而整體的操作感覺，會如下圖三所示。
圖三、取自於Microsoft Dynamics 365 Guides
圖像、影片播放功能
使用文字敘述介面來指引使用者進行操作，仍有不足之處。因此會在適當的操作項目，從旁加入圖像或影片播放的功能。圖像可以進行簡易的對錯指引，而影片能夠完整敘述零件操作或是控制的方式。
簡易的對錯指引，取自於Microsoft Dynamics 365 Guides
第一人稱或第三人稱的影片教學，取自於Microsoft Dynamics 365 Guides
遠距操控真實物件
對於已經連接上網路的物聯網裝置，只要透過WiFi方式或與伺服器連線，Hololens2將可遠距控制這些物聯網裝置。
混合實境頭盔與物聯網裝置連線概念，取自於gh-BumsooKim
實際控制的示意圖，取自於gh-BumsooKim
眼動追蹤或手勢偵測
透過眼動追蹤或手勢偵測，可以在不拿起其他裝置下，輕鬆進行步驟點選、播放影片、操作物聯網裝置等功能。
手部追蹤的示意圖，取自於MRTK
眼動追蹤示意圖，取自於MRTK
如果您有任何問題的話，可以透過信箱與我們聯絡 stanleyzhang@quasitek.info