Technica公司發(fā)布智能霧計(jì)算平臺(tái)技術(shù)白皮書

SmartFog是一種基于軟件的原型能力，它建立在多種核心技術(shù)之上且與硬件無關(guān)。SmartFog可以輕松地將人工智能分析微服務(wù)部署到云、霧和物聯(lián)網(wǎng)設(shè)備上，其架構(gòu)支持與現(xiàn)有系統(tǒng)的靈活集成，提供了大量的實(shí)現(xiàn)方案，能夠增強(qiáng)從云到物（C2T）的安全性和私密性。此外，SmartFog賽博安全微服務(wù)通過輕松將人工智能分析微服務(wù)從云端部署（或重新部署）到物端并進(jìn)行訓(xùn)練，從根本上改變了下一代信息安全性。例如，SmartFog異常檢測(cè)微服務(wù)使用了一種先進(jìn)的機(jī)器學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)來發(fā)現(xiàn)異常數(shù)據(jù)。SmartFog并不是要取代任何現(xiàn)有的解決方案，而是要用下一代人工智能算法來彌補(bǔ)現(xiàn)有解決方案的不足。

1、萬物互聯(lián)時(shí)代的數(shù)據(jù)處理需求

物聯(lián)網(wǎng)是由移動(dòng)電話、傳感器、攝像頭、執(zhí)行器、微控制器等相互連接的設(shè)備以及其他裝有嵌入式軟件的設(shè)備構(gòu)建而成。這些設(shè)備的部署預(yù)計(jì)將呈指數(shù)級(jí)增長(zhǎng)。地球上物聯(lián)網(wǎng)設(shè)備的數(shù)量已經(jīng)超過了人口數(shù)量，創(chuàng)造了前所未有的海量數(shù)據(jù)。物聯(lián)網(wǎng)設(shè)備將給最先進(jìn)的大數(shù)據(jù)基礎(chǔ)設(shè)施帶來難以置信的壓力，并從根本上增加影響企業(yè)網(wǎng)絡(luò)安全態(tài)勢(shì)的威脅載體數(shù)量。Gartner預(yù)測(cè)，到2022年，企業(yè)生成的數(shù)據(jù)中將有超過50%在數(shù)據(jù)中心（即核心或云）之外創(chuàng)建和處理。

整合到SmartFog中的霧計(jì)算架構(gòu)將幫助處理來自物聯(lián)網(wǎng)設(shè)備的數(shù)據(jù)，可從云到網(wǎng)絡(luò)邊緣或從云端到物端提供不間斷的計(jì)算、網(wǎng)絡(luò)、存儲(chǔ)、加速、分析和管理等高級(jí)賽博安全分析所需的功能。具體來說，這意味著像異常檢測(cè)微服務(wù)這樣的人工智能算法可以部署在任何需要它提供支持的地方，如云端、霧端或網(wǎng)絡(luò)邊緣。經(jīng)過訓(xùn)練，該算法可以用來發(fā)現(xiàn)其所處環(huán)境的異常。這意味著，只需根據(jù)特定的情景調(diào)整參數(shù)，一種算法即可服務(wù)于多個(gè)目的。

2、SmartFog的核心技術(shù)

（1）霧計(jì)算

雖然各企業(yè)（包括軍方）正積極地將服務(wù)部署到云端，但是云并不適合所有用例。盡管最新的網(wǎng)絡(luò)基礎(chǔ)設(shè)施和魯棒的無線連接可以在不到400毫秒的時(shí)間內(nèi)將請(qǐng)求/響應(yīng)從設(shè)備發(fā)送到云端，但某些應(yīng)用程序需要更低的延遲。

此外，還存在許多帶寬受限或通信時(shí)斷時(shí)續(xù)的情況，最典型的就是戰(zhàn)術(shù)邊緣環(huán)境。在這種情況下，從云交付的集中式應(yīng)用程序使觀察、判斷、決策和行動(dòng)（OODA）環(huán)所需的時(shí)間超出了任務(wù)需求可接受的范圍。

霧計(jì)算是一種新興的計(jì)算范式，它使計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)、加速、分析和管理控制更接近于網(wǎng)絡(luò)的邊緣。它的名字來源于這樣一個(gè)事實(shí)：云在高高的天空，霧則離地面更近。霧計(jì)算的關(guān)鍵是，云（或核心中的企業(yè)服務(wù)器）與物聯(lián)網(wǎng)設(shè)備之間包含一個(gè)霧層，如圖1所示。來自物聯(lián)網(wǎng)設(shè)備的事件被發(fā)送到靠近網(wǎng)絡(luò)邊緣的霧節(jié)點(diǎn)。

分布式霧節(jié)點(diǎn)補(bǔ)充了集中式云，可以在邊緣設(shè)備之間移動(dòng)大量數(shù)據(jù)，只將長(zhǎng)期分析或管理控制所需的數(shù)據(jù)發(fā)送到云。霧計(jì)算對(duì)物聯(lián)網(wǎng)有諸多益處，其中最主要的是安全、認(rèn)知、敏捷、延遲和效率（SCALE）。SmartFog作為一種霧計(jì)算平臺(tái)原型，整合了所有這些優(yōu)勢(shì)。特別是在賽博安全方面，SmartFog使包裝成賽博安全微服務(wù)的人工智能算法能夠針對(duì)其環(huán)境進(jìn)行分析。例如，與在位于邊緣的微控制器上運(yùn)行的異常檢測(cè)微服務(wù)相比，位于云中的異常檢測(cè)微服務(wù)將被訓(xùn)練以發(fā)現(xiàn)不同的網(wǎng)絡(luò)異常。

OpenFog協(xié)會(huì)和國(guó)家標(biāo)準(zhǔn)協(xié)會(huì)(NIST)等標(biāo)準(zhǔn)化組織已經(jīng)發(fā)布了基于開放標(biāo)準(zhǔn)的霧計(jì)算愿景，目的是促進(jìn)互操作性并避免廠商鎖定。SmartFog遵循IEEE 1934標(biāo)準(zhǔn)（霧計(jì)算參考體系結(jié)構(gòu)）。

（2）圖形處理器（GPU）加速

在過去的五年中，人工智能的應(yīng)用范圍和性能均有著顯著的提升，而深度學(xué)習(xí)算法是人工智能進(jìn)步的主要原因。深度學(xué)習(xí)是更廣義的機(jī)器學(xué)習(xí)范疇的一種特殊形式。深度學(xué)習(xí)算法可利用不同構(gòu)建方式的各種人工神經(jīng)網(wǎng)絡(luò)（ANN），如卷積神經(jīng)網(wǎng)絡(luò)（CNN）、遞歸神經(jīng)網(wǎng)絡(luò)（RNN）、自動(dòng)編碼器、逐位等。

經(jīng)過訓(xùn)練，人工神經(jīng)網(wǎng)絡(luò)可處理信息流和識(shí)別模式，例如面部識(shí)別、圖像識(shí)別、語音識(shí)別和異常檢測(cè)。圖形處理器（GPU）大大縮短了訓(xùn)練神經(jīng)網(wǎng)絡(luò)模型的時(shí)間。模型經(jīng)過訓(xùn)練后，可以將其部署到設(shè)備上，執(zhí)行所需模式的識(shí)別，這個(gè)過程稱為推理。Technica已經(jīng)創(chuàng)建了許多包含深度學(xué)習(xí)算法的人工智能分析微服務(wù)，這些算法可以通過訓(xùn)練來執(zhí)行賽博安全任務(wù)。

如前所述，集成人工智能和物聯(lián)網(wǎng)的應(yīng)用程序極大地受益于霧計(jì)算。人工智能是從程序上操作大數(shù)據(jù)來識(shí)別模式，并做出實(shí)時(shí)和時(shí)間敏感的決策。物聯(lián)網(wǎng)包括所有在邊緣收集、分發(fā)和處理數(shù)據(jù)的設(shè)備。霧節(jié)點(diǎn)內(nèi)的計(jì)算能力允許人工智能所需的數(shù)據(jù)處理在更靠近邊緣的地方執(zhí)行，而不會(huì)遇到云的延遲。SmartFog強(qiáng)調(diào)人工智能以及人工智能和系統(tǒng)級(jí)微服務(wù)的管理，包括版本控制和配置。

（3）微服務(wù)架構(gòu)（MSA）

微服務(wù)架構(gòu)（MSA）是一種特定類型的軟件開發(fā)，專注于構(gòu)建具有明確定義的接口和操作的單用途模塊。近年來，隨著企業(yè)追求更高的敏捷性，并向DevOps解決方案中發(fā)現(xiàn)的持續(xù)集成/測(cè)試模式邁進(jìn)，MSA范式變得越來越流行。許多開源項(xiàng)目促進(jìn)了MSA的采用。微服務(wù)可以幫助創(chuàng)建能夠按天或周交付的可擴(kuò)展、可測(cè)試的軟件。

MSA可以被認(rèn)為是下一代面向服務(wù)的體系結(jié)構(gòu)（SOA）。SOA于1996年提出并在本世紀(jì)初得到廣泛應(yīng)用，其目標(biāo)是將獨(dú)立的遺留應(yīng)用程序分解為輕量、松散耦合的服務(wù)。服務(wù)通常通過SOAP/HTTP協(xié)議進(jìn)行通信。然而在實(shí)踐中，SOA是脆弱的。對(duì)服務(wù)的任何更改通常都會(huì)破壞正在使用的應(yīng)用程序，從而需要更改代碼。

MSA具有與SOA相同的目標(biāo)，即將單個(gè)應(yīng)用程序分解為可重復(fù)利用的輕量級(jí)服務(wù)。不同之處在于，SOA本質(zhì)上是使用中間件將組件粘合在一起，而MSA則使用明確定義的應(yīng)用程序編程接口（API）。這些API通常是基于REST的。

SmartFog原型由大量執(zhí)行系統(tǒng)級(jí)功能（消息代理、數(shù)據(jù)庫功能、復(fù)雜事件處理、數(shù)據(jù)轉(zhuǎn)換等）的微服務(wù)和AI分析功能/算法（異常檢測(cè)、面部識(shí)別、對(duì)象檢測(cè)等）組成。

（4）容器化/Docker容器

容器是執(zhí)行特定功能的獨(dú)立軟件單元，也稱為微服務(wù)。Docker是Linux容器的一個(gè)開源實(shí)現(xiàn)。Docker的操作類似于VMWare等虛擬化技術(shù)，但是它更輕量化，因?yàn)樗�包含了一個(gè)簡(jiǎn)化版的Linux。Docker容器鏡像是一個(gè)獨(dú)立的、可執(zhí)行的軟件組件，包含運(yùn)行微服務(wù)所需的一切。

微服務(wù)一旦被構(gòu)建并保存為Docker鏡像，其將在任何能夠運(yùn)行Linux的硬件（包括物聯(lián)網(wǎng)設(shè)備）上以完全相同的方式運(yùn)行。各種微服務(wù)可以在單個(gè)硬件上互操作，而不必?fù)?dān)心版本問題以及與其他軟件不兼容的問題。

Technica的所有AI分析微服務(wù)均被實(shí)現(xiàn)為Docker容器，并具有明確定義的API。這些微服務(wù)是可擴(kuò)展的，并且其架構(gòu)設(shè)計(jì)可兼顧高可用性和容錯(cuò)性。微服務(wù)的應(yīng)用范圍很廣，包括賽博安全領(lǐng)域，并且可在從云端到物端的IT基礎(chǔ)設(shè)施的各個(gè)節(jié)點(diǎn)上實(shí)現(xiàn)。此外，微服務(wù)可以單獨(dú)使用，也可以與現(xiàn)有的平臺(tái)、解決方案或產(chǎn)品一起使用。換句話說，Technica開發(fā)的微服務(wù)可以在SmartFog之外工作。

（5）DevOps

微服務(wù)和容器化是實(shí)現(xiàn)敏捷的DevOps戰(zhàn)略的關(guān)鍵要素。DevOps是一個(gè)概念，它打破了企業(yè)軟件開發(fā)團(tuán)隊(duì)和生產(chǎn)環(huán)境中負(fù)責(zé)軟件性能的運(yùn)營(yíng)團(tuán)隊(duì)之間的長(zhǎng)橋。團(tuán)隊(duì)之間的間隔越短，就意味著軟件功能的更新和改進(jìn)越多，企業(yè)的停工時(shí)間就越少。DevOps思維模式是SmartFog的核心，因?yàn)檐浖�功能可以在bug更少的情況下精確交付，包括經(jīng)過專門訓(xùn)練的SmartFog賽博安全微服務(wù)。

3、SmartFog原型平臺(tái)與微服務(wù)

Technica的獨(dú)立研發(fā)（IR&D）部門開發(fā)了SmartFog原型平臺(tái)，為物聯(lián)網(wǎng)設(shè)備所在的邊緣提供計(jì)算、存儲(chǔ)、聯(lián)網(wǎng)、加速、分析和管理控制等功能。這使得物聯(lián)網(wǎng)事件能夠被近實(shí)時(shí)地處理。重要的是，SmartFog允許數(shù)據(jù)本地化，即數(shù)據(jù)在邊緣附近處理。這減輕了云或企業(yè)預(yù)置型核心數(shù)據(jù)中心的某些分析負(fù)擔(dān)。與將所有數(shù)據(jù)傳輸?shù)街醒敕��?wù)器進(jìn)行處理相比，霧計(jì)算可以獲得更快的結(jié)果，并且具有更少的安全風(fēng)險(xiǎn)。

直觀的、基于web的用戶界面為管理員提供了一整套服務(wù)，如配置微服務(wù)，將微服務(wù)部署到霧節(jié)點(diǎn)，監(jiān)視微服務(wù)狀態(tài)，啟動(dòng)和停止微服務(wù)，以及將更新后的配置發(fā)送到正在運(yùn)行的微服務(wù)等。這些功能是在單個(gè)節(jié)點(diǎn)或節(jié)點(diǎn)集群上啟動(dòng)的。

（1）SmartFog架構(gòu)

圖2描述了SmartFog架構(gòu)概念。雖然有大量的低功率設(shè)備（如樹莓派）可以作為霧節(jié)點(diǎn)，但Technica通常使用NVIDIA公司的Jetson TX2s來管理霧層。這些GPU加速的設(shè)備使物聯(lián)網(wǎng)設(shè)備能夠以最小的計(jì)算、功率和存儲(chǔ)能力運(yùn)行，因?yàn)檫@些功能可以被卸載到霧節(jié)點(diǎn)。

使用MQTT發(fā)布-訂閱協(xié)議，SmartFog可以在網(wǎng)絡(luò)帶寬受限或通信連接時(shí)斷時(shí)續(xù)的情況下繼續(xù)工作。MQTT消息建立在TCP/IP協(xié)議之上，允許霧層的微服務(wù)與物聯(lián)網(wǎng)設(shè)備和云進(jìn)行通信。MQTT還能夠支持其他消息代理協(xié)議，如高級(jí)消息隊(duì)列協(xié)議（AMQP）。

圖2顯示了兩種類型的終端用戶。左邊表示的是那些使用客戶端應(yīng)用程序的用戶，而用戶使用的應(yīng)用程序則利用了來自邊緣和霧的數(shù)據(jù)。應(yīng)用程序偵聽數(shù)據(jù)，以某種方式處理數(shù)據(jù)，并將數(shù)據(jù)格式化以供用戶查看。右邊的終端用戶是SmartFog管理員，他（或她）負(fù)責(zé)部署和管理來自云的微服務(wù)。

（2）SmartFog的各類微服務(wù)

SmartFog主要包括異常檢測(cè)、長(zhǎng)-短期記憶（LSTM）、聯(lián)邦學(xué)習(xí)與生成敵神經(jīng)網(wǎng)絡(luò)（GAN）微服務(wù)。這些微服務(wù)提供離散的功能，可以被視為類似于智能手機(jī)上的應(yīng)用程序。然而，與大多數(shù)智能手機(jī)應(yīng)用程序不同的是，SmartFog的微服務(wù)可以在彼此之間傳遞信息，從而創(chuàng)建復(fù)合微服務(wù)。例如，異常檢測(cè)微服務(wù)可以與復(fù)雜事件處理器（CEP）微服務(wù)通信以觸發(fā)警報(bào)或警告。微服務(wù)可以動(dòng)態(tài)更新，類似于智能手機(jī)上的應(yīng)用升級(jí)。

盡管微服務(wù)幾乎可以應(yīng)用于所有領(lǐng)域，就像智能手機(jī)應(yīng)用程序一樣，但Technica認(rèn)為，提供微服務(wù)的最大價(jià)值在于利用硬件加速，并通過深度學(xué)習(xí)算法提供人工智能能力。即將到來的物聯(lián)網(wǎng)設(shè)備浪潮，以及這些設(shè)備所產(chǎn)生的龐大數(shù)據(jù)量，將需要利用人工智能技術(shù)領(lǐng)域的最新突破來實(shí)現(xiàn)自動(dòng)化的解決方案。對(duì)于人類來說，將會(huì)有太多的數(shù)據(jù)需要處理。在霧層中使用人工智能技術(shù)是霧計(jì)算最重要的益處之一，尤其是將這些先進(jìn)的人工智能算法應(yīng)用于網(wǎng)絡(luò)安全時(shí)。