供水/廢水系統(tǒng)的無線網(wǎng)絡升級，為美國Waterford鎮(zhèn)的公共工程部（DPW），帶來了監(jiān)控和數(shù)據(jù)采集（SCADA）系統(tǒng)的升級、云功能、網(wǎng)絡安全和物理安全的改善、以及來自儀器的更多信息以及其它好處。
Waterford 鎮(zhèn)建立于1834年，位于美國密歇根州奧克蘭縣的中部，有72000多名居民。該鎮(zhèn)擁有360英里的供水干線和355英里的污水管道，水資源管理是一項不小的任務。DPW負責運營和維護19口水井、3個儲罐、11個處理廠和63個污水提升站。
為了運行這些系統(tǒng)，多年前他們投資集成了核心應用，包括地理信息系統(tǒng)（GIS）、資產(chǎn)管理系統(tǒng)（AMS）、企業(yè)內(nèi)容管理（ECM）和SCADA系統(tǒng)。
圖1: DPW的傳統(tǒng)基礎設施依賴于RTU和RF發(fā)射機網(wǎng)絡，與辦公室的SCADA工作站進行通信。圖片來源：Opto 22
升級的時機和網(wǎng)絡的選擇
2017年，DPW公共工程總監(jiān)Russell Williams和工程總監(jiān)Frank Fisher開始著手啟動升級其核心SCADA基礎設施的項目。過去，他們使用串行輪詢程序，利用遠程遙測單元（RTU）網(wǎng)絡，從其多個站點請求更新，這些RTU通過許可的射頻（RF）發(fā)射器進行通信。他們開始利用較新的遠程輸入/輸出（I/O）和工業(yè)蜂窩調(diào)制解調(diào)器取代這些設備，通過專用Verizon網(wǎng)絡進行通信。
然而，在第二年，他們參加了一個關于邊緣控制器的會議，并對引入MQTT Sparkplug后，具有消除系統(tǒng)性限制的潛力而感到興奮。
由于在整個網(wǎng)絡上有90多個控制器，并且使用的是輪詢機制，再加上無線網(wǎng)絡的帶寬有限，這就意味著每個站點的數(shù)據(jù)只能每3到5分鐘更新一次。有時，提升站會在輪詢周期之間短暫運行，從而造成數(shù)據(jù)的缺口，這就限制了運行人員檢測問題的能力，直到出現(xiàn)報警為止。他們在系統(tǒng)中每增加一個I/O點，這種延遲就會惡化。
異常時才發(fā)布報告
很明顯，MQTT可以減少帶寬使用，并確保執(zhí)行重要任務的系統(tǒng)動作。這是因為，與循環(huán)輪詢相反，MQTT遵循嚴格的異常時才發(fā)布報告的規(guī)則。當且僅當監(jiān)控值發(fā)生變化時，現(xiàn)場設備和其它MQTT網(wǎng)絡客戶端才自行發(fā)送數(shù)據(jù)，而不是等待中央服務器（在MQTT術語中稱為代理）的指令。
在不依賴中央程序輪詢的情況下，他們還看到了消除系統(tǒng)瓶頸和潛在故障點的可能性。Williams說：“我們有很多提升站，大部分時間它們什么都不做，那么為什么要一直傳輸數(shù)據(jù)呢？”
圖2:提升站控制面板的比較，展示了舊RTU布局以及基于Opto 22 GroovEPIC控制器和DIGI調(diào)制解調(diào)器的新布局。
將概念驗證升級到生產(chǎn)
為了幫助實現(xiàn)他們的愿景， DPW聘請了Perceptive Controls公司，它是一家專門從事供水/廢水、食品和飲料以及石油和天然氣行業(yè)的工業(yè)和過程控制應用的系統(tǒng)集成商。
Perceptive Controls的軟件工程師Kevin Finkler表示，第一次構(gòu)建MQTT系統(tǒng)會伴隨著學習曲線?！斑@是我第一次實施非嚴格意義上的客戶端服務器。主題系統(tǒng)和訂閱特定主題的方式截然不同?！?/div>
發(fā)布訂閱與輪詢網(wǎng)絡的5種不同方式
MQTT的發(fā)布訂閱通信模型，在以下幾個關鍵方面，與傳統(tǒng)工業(yè)協(xié)議通信有明顯的不同：
1、現(xiàn)場設備連接源自設備，而非代理。
2、每個現(xiàn)場設備僅連接到代理，而不管數(shù)據(jù)需要去哪里。
3、使用Sparkplug有效終端時，每個設備在建立到代理的連接時，發(fā)布（發(fā)送）其可用數(shù)據(jù)項（稱為主題）的列表。
4、其它MQTT客戶端也可以連接到代理，查看可用主題，然后訂閱（請求）現(xiàn)場設備的主題更新。
5、當現(xiàn)場設備發(fā)布更新時，代理將該更新轉(zhuǎn)發(fā)給所有訂閱客戶端。
Waterford面臨的第一個挑戰(zhàn)，是將這種新的通信模型集成到現(xiàn)有的SCADA系統(tǒng)中。他們的系統(tǒng)只是缺乏使用MQTT協(xié)議的能力，所以他們嘗試一些較新的系統(tǒng)，并選擇了一個提供緊密集成MQTT的系統(tǒng)，包括作為MQTT代理本身的能力。
盡管在剛開始時，理解MQTT通信模型需要費些功夫，但一旦擁有了合適的工具，建立通信就很簡單了。Finkler說：“某種程度上，這是自動發(fā)生的。定義幾個基本參數(shù)，就可以設置代理。每個邊緣控制器都非常簡單。您只需將其指向代理，它就會開始發(fā)送變量參數(shù)?！?/div>
圖3: DPW的現(xiàn)代化基礎設施，通過Verizon 4G LTE蜂窩網(wǎng)絡，將數(shù)據(jù)從Opto 22 GroovEPIC控制器，發(fā)布到云端托管的Ignition SCADA和MQTT代理。
構(gòu)建縱深防御網(wǎng)絡安全
當Fisher為構(gòu)建新的SCADA基礎設施進行考察時，他嘗試在亞馬遜云計算服務（AWS）上托管MQTT代理。由于蜂窩網(wǎng)絡已經(jīng)在建設中，這似乎是一個利用云計算來提高容錯性和可擴展性的好機會。
在成功測試了這個概念之后，F(xiàn)isher決定將SCADA系統(tǒng)直接部署在AWS上，他和Finkler開始構(gòu)建保護新基礎設施的機制。
首先，將AWS上的防火墻配置為僅接受來自Waterford和Perceptive辦公室的邊緣控制器和特定SCADA客戶端的訪問。蜂窩調(diào)制解調(diào)器上的防火墻，也配置為只接受受信任的IP。
然后，在每個邊緣控制器上安裝了客戶端SSL證書，以便使SCADA可以對連接進行身份驗證和加密，防止中間人攻擊，避免數(shù)據(jù)暴露或未經(jīng)授權的控制。
每個授權用戶都需要創(chuàng)建強密碼，才能訪問系統(tǒng)中的任何邊緣控制器或SCADA客戶端。此外，在整個系統(tǒng)中跟蹤和報告每個用戶的登錄。
圖4:Waterford提升站新的控制屏幕。提升站安全面板顯示在左側(cè)中間部分。
他們甚至將物理站點安全集成到新的SCADA中。每個提升站都有一個帶鎖和鑰匙的外門，門上的物理開關連接到就地邊緣控制器。SCADA監(jiān)控開關狀態(tài)，以檢測何時有人進入。如果在特定時間內(nèi)，未注冊具有特定房間訪問權限的用戶登錄，SCADA將生成全局警報。
圖5:Waterford的新基礎設施，將數(shù)據(jù)更新速度從幾分鐘提高到不到一秒鐘。
聯(lián)網(wǎng)污水處理項目的好處
在所有63個污水提升站和6個清潔用水站完成升級后，新的面向邊緣的基礎設施，將現(xiàn)場更新周期從幾分鐘減少至不到1秒，而且是由事件驅(qū)動發(fā)布。Waterford水務部門再也不會錯過系統(tǒng)動作或報警通知，運行人員可以通過支持蜂窩通信的平板電腦隨時隨地保持連接。
由于MQTT基于異常行為報告，再加上每個邊緣控制器中的模擬I/O具有死區(qū)，新的基礎架構(gòu)減少了帶寬消耗，使用戶能夠發(fā)布比以前更多的數(shù)據(jù)。他們可以訪問通信和控制器診斷（例如更新延遲、連接時間戳、消息大小和固件版本），在舊系統(tǒng)中這是不可能的。
此外，基于云的基礎設施，還具有更大的靈活性和可靠性。系統(tǒng)集成商可以以無線方式執(zhí)行控制器更新，從而減少差旅時間，并允許他們在整個新冠疫情期間有增無減地繼續(xù)開發(fā)項目。如果在連接到位于俄亥俄州的心SCADA服務器的數(shù)據(jù)中心時出現(xiàn)問題，F(xiàn)isher可以在30分鐘內(nèi)，將系統(tǒng)安裝到不同的數(shù)據(jù)中心并運行。而且他還能夠設置完全冗余的服務器。
最近，公共工程部辦公室的互聯(lián)網(wǎng)發(fā)生故障，對新系統(tǒng)進行了意外測試，實踐證明該系統(tǒng)是可靠的。
“我們的內(nèi)部客戶無法聯(lián)系到我們，但我們的iPad可以通過Verizon進行連接。在這種情況下，因為舊系統(tǒng)依賴于本地連接，無法發(fā)出報警。新系統(tǒng)對此則根本不受影響，因為它沒有運行任何本地連接。” Fisher說。
圖6：Waterford DPW的控制屏幕，提供了運營概述。
獲取更多來自現(xiàn)場的數(shù)據(jù)
Waterford將繼續(xù)通過其老舊SCADA系統(tǒng)管理幾個站點直至2022年底，屆時預計他們將完成所有剩余系統(tǒng)的升級改造。
隨著帶寬的大幅增加、MQTT Sparkplug的低管理開銷，以及提供現(xiàn)場備用數(shù)據(jù)處理的邊緣控制器，Waterford可以在很長一段時間內(nèi)繼續(xù)擴展其系統(tǒng)。他們在添加每個新設備或應用時，只需要連接到MQTT代理，即可為整個系統(tǒng)生成或使用數(shù)據(jù)。
“我們?nèi)栽谂μ剿鳎€能做些什么。我們有許多其它儀器，希望能夠從現(xiàn)場提取數(shù)據(jù)，而在以前這并不切實可行……不僅在我們的提升站和水處理廠，而且在整個組織中?！盕isher說：“我們要思考在哪里可以將MQTT與流量計結(jié)合使用？在哪些方面可以在所有資產(chǎn)中使用它，以便更好地了解工況？我們才剛剛開始這一旅程?！?/div>
