在實際的運維場景中，構建一個異常檢測系統往往需要兩個角色共同參與：領域專家和算法開發人員。領域專家也就是我們的運維人員，他們對KPI曲線的行為很熟悉，可以通過觀察KPI曲線并結合自己的領域知識，判斷KPI曲線是否出現異常；算法開發人員負責構建異常檢測系統，他們熟悉異常檢測器（算法），但是實際中有各種不同類型的KPI曲線需要維護，所以需要為不同類型的KPI曲線選擇合適的異常檢測器以及合適的算法參數。

在實際構建異常檢測系統時，首先需要運維人員結合自己的領域知識向算法開發人員描述異常，然后開發人員根據這些描述來為KPI曲線選擇合適的檢測器和算法參數，接著領域專家根據這些檢測器的檢測結果向開發人員反饋，來進一步優化檢測器。所以實際中經常需要經過多次迭代才能開發出可用的異常檢測系統，有時還會出現最終開發失敗的例子，這是因為：

1.運維人員難以事先給出準確、量化的異常定義

2.選擇和綜合不同的檢測器需要很多人力

3.檢測器算法復雜，參數調節不直觀

實際中經常需要經過多次迭代才能開發出可用的異常檢測系統，有時還會出現最終開發失敗的例子。因此，我們就會問，有沒有一個可以自動選擇異常檢測器和自動調節算法參數的系統呢？答案是有！，我們實驗室的研究成果：基于機器學習的KPI自動化異常檢測系統(Opprentice)就是針對它設計的，下文將主要介紹Opprentice 的設計思想以及設計框架。

設計思想

Opprentice (Operator's Apprentice)的主要思想就是跟著運維人員從歷史數據中學習，運維人員就像是一個“師傅”，將自己的領域知識“教“給Opprentice，然后Opprentice根據“學”到的知識來自動選擇合適的異常檢測器和算法參數。如下圖所示，運維人員首先在歷史的KPI曲線上標記出異常，接著Opprentice 使用十幾種不同類型的檢測器提取出上百個異常特征，此時有了人工標記的數據和異常特征，我們就可以將異常檢測問題轉化成機器學習中監督式的分類問題，將提取出的特征作為機器學習算法的輸入，通過分類算法將KPI曲線上的點分為正常和異常，從而實現了異常檢測。

　　設計框架

Opprentice主要由兩部分組成：離線訓練分類器和在線檢測，在離線訓練分類器部分，首先運維人員使用我們開發的異常標注工具，方便快速的標注出KPI曲線上的異常數據，并且設置期望Opprentice達到的準確率（precision）和召回率（recall），然后Opprentice會使用十幾種不同類型的檢測器提取出KPI曲線的特征，其中每種檢測器都有多種不同的參數配置，因此最終會提取出上百個異常特征。因為提取出的上百個異常特征中會存在無關特征和冗余特征，一些機器學習算法使用包含有這些特征的數據訓練模型時準確度會降低，為了解決這個問題，我們選擇了一種集成學習算法（ensemble learning algorithm）來訓練分類器：隨機森林，隨機森林算法使用了多棵決策樹，最終的結果是由每棵決策樹的結果投票決定的，并且訓練決策樹的特征和數據都只是采樣了整體特征和數據的一部分，因此使用隨機森林訓練模型時，無關特征和冗余特征不會影響算法的性能。最后，將提取出的異常特征，運維人員的標注數據和準確性傾向作為輸入，訓練出異常分類器。

在線檢測部分中，首先對于新的數據點進行特征提取，然后用訓練出的分類器判斷數據點是否異常。在實際中，新的KPI數據中往往會出現一些歷史數據中沒有出現過的異常類型，為了讓分類器可以適應新出現的異常，就需要運維人員定期的對最新的KPI數據進行異常標記，Opprentice會定期訓練新的模型來更新分類器。

離線訓練分離器

我們使用了來自百度和清華校園網的數個月的真實數據對系統的性能進行了驗證，下面四幅圖是在四個不同類型的KPI數據上，Opprentice使用的隨機森林模型跟其它檢測器的性能對比，可以看出Opprentice均取得了優異的結果。

總結

Opprentice將異常檢測問題轉換成了機器學習中的監督式分類問題，使用運維人員的標注數據，在歷史數據中訓練出分類模型來自動構建異常檢測系統，從而解決了異常檢測器的選擇和算法參數調整的難題，為復雜檢測器的實際應用提供了自動化的框架。