智能客服系統(tǒng)需要有一個完備的評價體系去評價它的好壞，在我們的評價體系中有基于人工標注的評價和基于用戶反饋的評價兩種方式：

基于人工標注的評價

系統(tǒng)的回答能力受限于知識庫的豐富程度，因此并非能回答用戶的所有問題，系統(tǒng)的狀態(tài)是將能回答的全部回答準確，不能回答的全部拒識，即拒絕回答。因此這里的評價指標包括有結果率、拒識率、召回率和準確率等，我們的目標是讓系統(tǒng)的有結果率無限接近數(shù)據(jù)的真實有結果率，召回率和準確率盡量高。這里我們是通過標注標準評測集來計算系統(tǒng)的各項指標，我們會從每日的全量數(shù)據(jù)集中抽樣出一個小數(shù)據(jù)集，保證小數(shù)據(jù)集的數(shù)據(jù)分布盡量符合全量數(shù)據(jù)集，然后由標注團隊對數(shù)據(jù)集做標注，標注出每個問題的實際答案，一般標注完成后還有質(zhì)檢的環(huán)節(jié)，以保證標注結果盡量準確，這樣便生成了每日數(shù)據(jù)的標準評測集。基于該標準評測集我們會去評價系統(tǒng)的好壞，并且每次做新模型迭代時都會使用標準評測集去評價新模型，只有新模型的效果好了才允許上線。

基于用戶反饋的評價

人工評價能夠評價智能客服系統(tǒng)的準確率，但是答案是否合理，能否為用戶解決問題，需要用戶去反饋評價，整個智能客服系統(tǒng)的終目標是幫助用戶解決問題。我們會在產(chǎn)品上設計智能客服和在線客服的評價功能，例如會讓用戶評價智能客服的每個答案或者某次會話，在和人工客服聊天完畢會發(fā)送評價卡片給用戶去評價滿意度。終我們會統(tǒng)計參評比例、滿意度等指標，這些指標能夠真正反應智能客服系統(tǒng)的好壞。實際中往往用戶參評比例低，我們會使用各種方法去刺激用戶評價。

一個完整的智能客服系統(tǒng)，需要用到電話交換、語音識別、語音合成、話術交互等多方面的技術。如果不想專注那么多細節(jié)，集成商也可以直接使用中間層產(chǎn)品，例如朗深電話AI中間件等，這些產(chǎn)品都提供了豐富的接口，可以幫助集成商快速將電話機器人集成到自己的業(yè)務應用。

朗深推出的“AI智能呼叫中心升級套件”，能在現(xiàn)有呼叫中心不做代碼級修改的情況下，輕松實現(xiàn)基于AI人工智能的 智能呼叫中心功能，包括智能客服機器人、 智能質(zhì)檢等，是對現(xiàn)有智能客服系統(tǒng)升級的選擇。