我們從客戶(hù)那里聽(tīng)到的一些最常見(jiàn)的挑戰對你們中的一些人來(lái)說(shuō)可能太熟悉了。IT 領(lǐng)域的事物總是在迅速變化，而且只會(huì )加快速度。DevOps、以云為中心的架構和軟件定義網(wǎng)絡(luò )的爆炸式增長(cháng)使得讓監控和管理工具與環(huán)境保持同步變得越來(lái)越困難。

這導致了另一個(gè)問(wèn)題——管理層和個(gè)別團隊缺乏對整個(gè)環(huán)境的可見(jiàn)性。大多數現有的企業(yè)網(wǎng)絡(luò )管理工具在適應大多數組織中正在成為常規的快速變化和部署方面都很慢。

我們發(fā)現這通常是因為當管理困難且勞動(dòng)密集型時(shí)，可見(jiàn)性會(huì )受到影響。如果需要手動(dòng)過(guò)程來(lái)將監控添加到新系統中，那么它就永遠無(wú)法保持最新??狀態(tài)。

通常，整個(gè)組織缺乏最新的視圖會(huì )導致團隊實(shí)施他們自己的單點(diǎn)解決方案，而且你處理的工具越多，它們就越有可能相互矛盾，更不用說(shuō)增加了管理和培訓負擔，以及這可能導致的通信問(wèn)題。

幸運的是，這些挑戰中的大多數都可以通過(guò)相同的方式解決——自動(dòng)化。我們需要一種方法來(lái)跟上快速和動(dòng)態(tài)變化的環(huán)境，同時(shí)保持可見(jiàn)性、避免盲點(diǎn)并保持我們的 SLA。同時(shí)不會(huì )產(chǎn)生沒(méi)有人有時(shí)間的額外管理開(kāi)銷(xiāo)。

自動(dòng)化是我們在多年來(lái)一直在使用的東西，我們將自動(dòng)化成熟度定義為 4 個(gè)主要階段：

發(fā)現、監控、響應和人工智能或 AIOps。在過(guò)去 20 年的發(fā)展中，我們的平臺已經(jīng)發(fā)展到可以完成所有這些工作。讓我們看一下它們中的每一個(gè)，您就可以開(kāi)始了解您的組織今天可能在哪里，以及下一步可能是什么。

第一步：發(fā)現自動(dòng)化

自動(dòng)化的第一階段是發(fā)現自動(dòng)化?，F在，這項技術(shù)一直以其最基本的形式存在。我們可能都使用過(guò)執行 ping 掃描或端口掃描的工具來(lái)查找網(wǎng)絡(luò )上的設備。該技術(shù)在許多環(huán)境中仍然有意義，但它不再是全部答案。

如今，自動(dòng)發(fā)現發(fā)生了很大變化。有很多東西是您無(wú)法可靠掃描的——孤立的虛擬系統、DMZ、云系統和微服務(wù)，僅舉幾例?，F代系統利用 API 集成的力量使自動(dòng)發(fā)現更快、更可靠、更完整，而不會(huì )產(chǎn)生網(wǎng)絡(luò )流量問(wèn)題。

例如，我們利用這些 API 直接從 ServiceNow CMDB、vCenter、Azure 和 AWS 等系統以及 SD-WAN 編排器中學(xué)習。我們提供入站 API 調用，允許用戶(hù)將我們的系統與 Puppet/Chef 等現有工作流程鏈接，或輕松創(chuàng )建額外的自定義集成，而無(wú)需依賴(lài)昂貴的顧問(wèn)。

第二步：監控自動(dòng)化

下一階段是監控自動(dòng)化。這是添加新設備進(jìn)行監控并正確配置它們的地方，不再需要手動(dòng)干預。對于我們與之交談的許多組織來(lái)說(shuō)，他們甚至還沒(méi)有真正走到這一步。造成這種情況的原因有幾個(gè)，但最常見(jiàn)的原因之一是該領(lǐng)域的許多監控平臺出人意料地不發(fā)達，而且內部開(kāi)發(fā)資源稀缺且昂貴，如果它們存在的話(huà)。

為了有效地達到這一階段，管理平臺必須不僅能夠在操作系統級別識別新系統，而且還能夠檢測諸如哪些服務(wù)或應用程序正在其上運行，以便就您需要監控的內容做出正確的決定在那個(gè)系統上。

例如，將 SQL 服務(wù)器作為 VM 啟動(dòng)應該能夠監視操作系統、虛擬化堆棧、SQL 應用程序本身、適當的事件日志監視器、當它出現問(wèn)題時(shí)向誰(shuí)發(fā)出警報——這可能會(huì )因 SQL 問(wèn)題而有所不同與操作系統問(wèn)題相比——以及需要觀(guān)察什么樣的性能指標和統計數據。它還必須包括將其放入正確的類(lèi)別、站點(diǎn)和業(yè)務(wù)工作流程（驅動(dòng)報告的分組）中，以便新部署的系統始終顯示在正確的報告中，并且不會(huì )漏掉任何東西。

第三階段：自動(dòng)響應事件

第三階段是響應自動(dòng)化。這使您的管理平臺能夠在您的 NOC 或工程師必須做任何事情之前采取獨立行動(dòng)來(lái)修復問(wèn)題。為了以這種方式有效地自動(dòng)響應，我們必須允許基于一天中的時(shí)間或一周中的某天等不同的操作 - 例如，如果您希望在工作時(shí)間做出不同的響應。它還應該允許依賴(lài)關(guān)系——例如，如果有其他服務(wù)器運行相同的應用程序同時(shí)出現問(wèn)題，則采取不同的措施。

當然，應該有跨平臺的能力——無(wú)論是路由器、Windows、Linux、交換機還是云托管提供商。這需要與這些設備進(jìn)行不同的交互方法，因為有些需要 JSON API 調用，而另一些可能需要 SSH、powershell 甚至 telnet。

現在，這可能是一大步，一些組織會(huì )堅持要求操作員干預，至少要在采取行動(dòng)之前批準行動(dòng)——所謂的“點(diǎn)擊重啟”按鈕。這對于采取激烈的行動(dòng)是一個(gè)好主意，但它也讓組織在完全自動(dòng)化響應行動(dòng)之前熟悉這個(gè)過(guò)程并驗證他們的配置。無(wú)論哪種方式，我們的平臺都支持這樣做。

新領(lǐng)域：基于人工智能的自動(dòng)化

最后階段是基于人工智能的系統。如果您認為最后一步很重要，那么這遠遠不止于此。雖然圍繞人工智能的確切構成顯然有很多不同的定義，但我們在這里使用該術(shù)語(yǔ)來(lái)定義可以做出自主決策的系統。這通常被稱(chēng)為“AIOps”，它實(shí)際上只是將 AI 技術(shù)應用于您的常規操作。

例如，系統可以查看從您的監控平臺發(fā)出的警報，并檢測到某種警報發(fā)生過(guò)于頻繁并且可能是誤報，然后抑制這些警報，或者修改您的設置以阻止它們正在發(fā)生?；蛘咚赡軙?huì )注意到特定日志消息與后來(lái)的應用程序故障之間的相關(guān)性，并自動(dòng)重新啟動(dòng)一些服務(wù)以修復問(wèn)題，因為上次發(fā)生應用程序故障時(shí)這種方法有效。

理想情況下，人工智能管理系統將建立這些聯(lián)系，并可能根據了解您的環(huán)境以及其他客戶(hù)遇到的最佳實(shí)踐和場(chǎng)景采取行動(dòng)。能夠決定允許哪些操作完全自主發(fā)生以及哪些操作需要操作員干預至關(guān)重要，尤其是在剛開(kāi)始時(shí)。

人工智能最大的潛在缺點(diǎn)是它驅動(dòng)了非常高的資源需求，通常超出了您自己提供的實(shí)際能力。這通常意味著(zhù)您需要一些云托管資源來(lái)提供幫助，以便對進(jìn)入系統的所有數據進(jìn)行分類(lèi)，這將驅動(dòng)連接依賴(lài)以實(shí)現完整功能。

關(guān)鍵 #1：利用現有系統

因此，自動(dòng)化 IT 管理的第一個(gè)關(guān)鍵是確保我們充分利用發(fā)現和監控自動(dòng)化。顯然，這里的第一步是使用我們的自動(dòng)發(fā)現工具來(lái)確保在配置新設備時(shí)將其添加到監控中。

識別設備后，我們需要確保對它們進(jìn)行全面的監控自動(dòng)化，因此我們要確保識別出我們需要在這些系統上監控的所有不同應用程序或服務(wù)。

我們的平臺使用基于級聯(lián)模板的配置系統，這使得這變得更加容易。使用級聯(lián)模板，我們可以將多個(gè)模板適當地應用于設備或應用程序。

我們的自動(dòng)發(fā)現方法采用三個(gè)并行路徑，因此不會(huì )遺漏任何東西。當然，我們有可配置的子網(wǎng)掃描，因此我們可以在配置新系統時(shí)快速識別它們。這是大多數工具使用的傳統方法。

但是，我們還希望利用其他發(fā)現方法來(lái)提供更快或更詳細的信息，因此我們實(shí)現了與多個(gè)供應商平臺的 API 連接，以便能夠在您將新的 Meraki 邊緣路由器上線(xiàn)時(shí)找到它們，或者快速開(kāi)始監控新的AWS 實(shí)例或新虛擬機。

我們還提供用于系統配置的開(kāi)放入站 API，因此如果您使用 Puppet、Ansible 等部署自動(dòng)化工具，甚至只是 python 腳本，您可以將監控鏈接到該過(guò)程。

通過(guò)同時(shí)使用這三種方法，我們可以確保沒(méi)有遺漏任何東西，即使事情正在迅速或動(dòng)態(tài)地變化，即使有人沒(méi)有按照他們應有的方式準確地遵循部署過(guò)程清單。

為了讓這個(gè)進(jìn)入下一階段，我們真的需要獲取發(fā)現的設備數據并確保它得到完全配置。如果檢測到新系統并將其添加到監控中，這很有用，但如果我們沒(méi)有同時(shí)監視關(guān)鍵應用程序和服務(wù)，或者如果我們沒(méi)有在出現問(wèn)題時(shí)自動(dòng)向正確的團隊發(fā)送通知，那么它就無(wú)法獲得完全的可見(jiàn)性工作不正常。

我們解決這個(gè)問(wèn)題的方法是使用我們稱(chēng)為“自動(dòng)配置”的功能。自動(dòng)配置附帶一組規則來(lái)幫助您入門(mén)，并且可以輕松自定義或創(chuàng )建它們以適應您的環(huán)境。您可以使用它們來(lái)設置設備屬性，例如基于任何設備標準的類(lèi)別、站點(diǎn)和業(yè)務(wù)工作流——包括諸如正在運行的進(jìn)程、打開(kāi)的端口、設備的名稱(chēng)，甚至是 SNMP 值。這可以確保沒(méi)有手動(dòng)配置過(guò)程來(lái)確保設備最終出現在正確的報告中，并且它們始終應用正確的設置。

這些會(huì )在設備被發(fā)現時(shí)自動(dòng)應用到設備，無(wú)論使用什么方法添加它們或它們在什么平臺上運行，也可以自動(dòng)重新應用，或者根據需要重新應用，所以如果你想確保一切都按照您想要的方式進(jìn)行配置，您可以強制執行。

但是為了關(guān)閉自動(dòng)化循環(huán)，一旦應用了屬性，我們的平臺就會(huì )動(dòng)態(tài)地將所有相關(guān)模板應用到您的設備上。這可確保在無(wú)需手動(dòng)干預的情況下應用您需要應用于新設備的所有設置。

因此，例如，一個(gè)新的 SQL 服務(wù)器上線(xiàn)不僅會(huì )獲得您想要的基本 Windows 服務(wù)器設置，還會(huì )獲得特定于 SQL 的應用程序檢查和設置，并且只要它出現問(wèn)題，SQL 團隊就會(huì )收到警報. 我們還可以預先定義要查找和報告的事件日志，并設置我們想要觀(guān)察的性能指標。

您可以使用模板來(lái)定義身份驗證、升級、日志記錄警報、配置規則、主動(dòng)響應自動(dòng)化操作等。它的設計足夠靈活，可以滿(mǎn)足全球企業(yè)客戶(hù)的需求，同時(shí)對于小型 IT 部門(mén)來(lái)說(shuō)仍然足夠簡(jiǎn)單，無(wú)需大量培訓或專(zhuān)職人員即可使用。

關(guān)鍵 #2：自動(dòng)化您的響應

既然我們已經(jīng)自動(dòng)化了配置新監控的過(guò)程，那么自動(dòng)化監控的下一個(gè)級別包括自動(dòng)化您的響應。這允許您通過(guò)在設備上自動(dòng)執行命令或向您的應用程序或云提供商發(fā)送 API 調用來(lái)在發(fā)生故障甚至異常時(shí)采取適當的措施。

您可以鏈接 SSH 或 powershell 等 CLI 命令，或使用 Web 掛鉤等 API，以便您的監控系統可以重新啟動(dòng)端口、部署其他容器、重新測試應用程序，甚至轉儲實(shí)時(shí)診斷以響應事件。

有些人對自動(dòng)執行命令感到不舒服，因此如果您愿意，我們的平臺允許您通過(guò)操作員干預手動(dòng)控制這些命令。這樣，如果您想將“單擊以重新啟動(dòng)服務(wù)器”功能直接添加到監控系統的 Web 界面中，并將訪(fǎng)問(wèn)權限限制為管理員，那么有一種簡(jiǎn)單的方法可以做到這一點(diǎn)。

一位客戶(hù)甚至將系統設置為在下班后自動(dòng)重啟服務(wù)器，但只在工作時(shí)間通知 NOC，以便他們可以在有空時(shí)做出決定。

要記住的一個(gè)重要事項是，如果您要自動(dòng)響應，維護窗口就變得非常重要。否則，計劃的軟件升級可能不會(huì )如您預期的那樣進(jìn)行，因為您的監控系統開(kāi)始在后臺采取行動(dòng)。沒(méi)有什么比暫停應用程序服務(wù)以進(jìn)行部署并讓服務(wù)器突然重新啟動(dòng)更令人沮喪的了。不過(guò)，我們讓這一切變得簡(jiǎn)單——您可以通過(guò) Web 界面、移動(dòng)應用程序甚至 API 創(chuàng )建維護窗口，將其直接綁定到您的變更控制或故障單系統。

自動(dòng)化事件響應的一個(gè)關(guān)鍵部分是使用我們所說(shuō)的“事件管理”。這就是我們所指的過(guò)程，它允許平臺了解復雜或高級的依賴(lài)關(guān)系，以達到零誤報的目標。

這是一個(gè)基于規則的系統，可讓您輕松覆蓋配置的操作，以發(fā)送自定義警報、抑制冗余警報或自動(dòng)執行特定響應。這方面的一個(gè)例子是一個(gè)客戶(hù)，他有很多帶寬有限的遠程零售點(diǎn)。一旦他們檢測到站點(diǎn)變得擁擠，他們就會(huì )安排電路升級，但這需要 30-45 天。因此，他們制定了一條規則，攔截該站點(diǎn)的任何帶寬或延遲警報，并向分行經(jīng)理發(fā)送消息，讓他們知道他們知道問(wèn)題，并且已經(jīng)下令升級 - 并設法將這些呼叫減少到他們的 NOC 80%。

您可以基于分組配置依賴(lài)關(guān)系——例如，如果您在站點(diǎn)上看到帶寬問(wèn)題，您可以抑制同一位置的任何延遲警報?；蛘?，如果您正在運行一個(gè)系統集群，您可以根據當時(shí)其他集群成員的狀態(tài)采取不同的操作。

為了真正利用自動(dòng)響應，我們要確保我們正在消除誤報以及發(fā)現隱藏的問(wèn)題。檢測異常行為，而不是僅僅依靠靜態(tài)警報設置，是實(shí)現這項工作的關(guān)鍵方法。

在我們的平臺中，您可以使用我們的異常檢測功能來(lái)發(fā)現應用程序行為的變化，它幾乎可以應用于任何地方——CPU、內存使用、正在運行的進(jìn)程，甚至是日志消息。例如，如果您的應用程序從每小時(shí) 10 次登錄失敗變?yōu)?1000 次，那么最后一次部署可能沒(méi)有您預期的那么順利，現在您可以開(kāi)始進(jìn)行故障排除了。

我們將使用我們保留的大量歷史數據（通常默認為 100 天的高分辨率數據）自動(dòng)生成基線(xiàn)行為模型，并且隨著(zhù)您的環(huán)境動(dòng)態(tài)變化和演變，我們將自動(dòng)調整基線(xiàn)?？梢愿鶕^(guān)察一天中的某個(gè)時(shí)間、一周中的某天甚至每小時(shí)的基線(xiàn)行為的變化來(lái)檢測異常情況。

這使您可以發(fā)現意外影響，例如導致后端 SQL 服務(wù)器上 CPU 出現異常行為的軟件更改。我們的一位客戶(hù)發(fā)現了一個(gè)問(wèn)題，通常在周三上午 10 點(diǎn)，數據庫服務(wù)器運行在 50-60%，但突然以 15% 運行。事實(shí)證明，前一天晚上推送到 UI 的更改將測試 API 密鑰放入應用程序而不是生產(chǎn)密鑰，客戶(hù)無(wú)法完成他們的訂單。這種異常是一種不尋常的行為，永遠不會(huì )觸發(fā)基于靜態(tài)閾值的警報，但在這種情況下，早在他們注意到可能導致的訂單急劇下降之前就發(fā)現了一個(gè)問(wèn)題。

關(guān)鍵#3：利用人工智能

即使在發(fā)現要監控的新事物的過(guò)程自動(dòng)化，并自動(dòng)化設置所有監控的過(guò)程之后，我們仍然需要定期檢查環(huán)境中發(fā)生的事情，調整以減少誤報，并優(yōu)化我們的運動(dòng)配置。因此，為了達到自動(dòng)化成熟度的第四階段，現在我們將利用人工智能和機器學(xué)習的力量來(lái)幫助我們保持環(huán)境的運行和監控。

第一階段是我們稱(chēng)為 AI Autopilot 的自動(dòng)管理工具，我們使用 AI 工具來(lái)評估我們的系統配置方式、我們使用的性能指標和閾值，并分析它們在我們的環(huán)境中的執行情況。本質(zhì)上，人工智能正在為我們查看報告，因此它可以提出建議或更改。

AI Autopilot 系統可以自動(dòng)識別常見(jiàn)的配置問(wèn)題或集成問(wèn)題，例如查找身份驗證憑據已更改且監控系統未更新的系統，并找到正確的系統并自動(dòng)應用它們——因此我們不會(huì )錯過(guò)任何性能數據或警報。它還可以查看其他客戶(hù)正在做什么并制定最佳實(shí)踐建議，指出可能配置異常的事情或存在更優(yōu)化的監控方式的地方，然后它可以提供建議，以便管理員可以應用它們單擊一下，甚至自動(dòng)部署更改。

由于這是完全自動(dòng)化的，因此只需將其打開(kāi)，并決定您是否希望它在進(jìn)行更改之前請求批準。AI Autopilot 會(huì )檢查所有不同系統元素的配置，然后查找它可以?xún)?yōu)化的東西、配置錯誤或未正確集成的東西，或者以與最佳實(shí)踐相反的方式配置的東西，然后提供報告和建議，包括手動(dòng)批準過(guò)程（如果需要），然后自動(dòng)將批準的更改應用于平臺內的各種配置。

這有效地減少了培訓和管理負擔，并確保該工具可以為您的環(huán)境保持最佳配置，而無(wú)需大量時(shí)間投資。建議和最佳實(shí)踐會(huì )從云端不斷更新，以確保當我們的客戶(hù)找到新的、更有效的做事方式或行業(yè)標準發(fā)生變化時(shí)，您的平臺可以持續保持最新?tīng)顟B(tài)。

人工智能開(kāi)發(fā)的下一階段包括無(wú)需詢(xún)問(wèn)即可生成自動(dòng)報告的能力。因此，例如，如果系統檢測到存在看起來(lái)像容量問(wèn)題的模式，即使您沒(méi)有安排自動(dòng)運行的容量規劃報告，它也可以生成并向您發(fā)送一份說(shuō)明您可能會(huì )這樣做的原因想看看那些特定的系統或電路?；蛘咄扑]您所在行業(yè)的其他人認為有用的報告，然后自動(dòng)為您設置它們。

它還將包括優(yōu)化的主動(dòng)響應，當檢測到新問(wèn)題時(shí)，如果其他客戶(hù)已成功自動(dòng)解決該問(wèn)題，系統可能會(huì )根據對具有類(lèi)似環(huán)境的其他客戶(hù)有效的操作向您推薦操作。

它還包括使用人工智能進(jìn)行高級類(lèi)型的根本原因分析和事件關(guān)聯(lián)的能力，包括預測關(guān)聯(lián)。例如，“85% 的客戶(hù)在 1 天內 10 次看到這種類(lèi)型的日志消息，在 24 小時(shí)內出現與高內存利用率相關(guān)的服務(wù)故障”，然后提供可能防止該問(wèn)題的選項，例如安排服務(wù)重啟或服務(wù)器重啟。