欧美www网站,另类老妇性bbwbbw,久青草久青草视频在线观看,男女一进一出抽搐18禁视频,免费网站看av片

權(quán)利要求
1.一種AI客服模型測試方法，其特征在于，所述AI客服模型測試方法包括：
當(dāng)接收到對待測AI客服模型的測試指令時(shí)，從語料庫中獲取預(yù)先配置的標(biāo)準(zhǔn)語料，所述標(biāo)準(zhǔn)語料包括輸入標(biāo)準(zhǔn)語料及輸出標(biāo)準(zhǔn)語料；
基于語義相似算法對所述標(biāo)準(zhǔn)語料進(jìn)行相似度分析，得到分類語料；
基于預(yù)設(shè)詞庫對所述分類語料進(jìn)行擴(kuò)展，生成測試樣本，所述測試樣本中包括與所述輸入標(biāo)準(zhǔn)語料對應(yīng)的輸入數(shù)據(jù)及與所述輸出標(biāo)準(zhǔn)語料對應(yīng)的期望數(shù)據(jù)；
將所述輸入數(shù)據(jù)輸入至所述待測AI客服模型中，得到輸出數(shù)據(jù)；
以配置腳本調(diào)用所述輸出數(shù)據(jù)及所述期望數(shù)據(jù)，輸出對所述待測AI客服模型的測試結(jié)果。
2.如權(quán)利要求1所述的AI客服模型測試方法，其特征在于，所述基于語義相似算法對所述標(biāo)準(zhǔn)語料進(jìn)行相似度分析，得到分類語料包括：
基于自然語言處理將所述標(biāo)準(zhǔn)語料轉(zhuǎn)換為語義向量；
采用余弦相似度算法計(jì)算所述語義向量中各個(gè)詞向量間的余弦距離；
根據(jù)所述余弦距離對各個(gè)詞向量進(jìn)行分類，得到所述分類語料。
3.如權(quán)利要求1所述的AI客服模型測試方法，其特征在于，所述基于預(yù)設(shè)詞庫對所述分類語料進(jìn)行擴(kuò)展，生成測試樣本包括：
對于所述分類語料中的每個(gè)目標(biāo)詞向量，計(jì)算所述目標(biāo)詞向量與所述預(yù)設(shè)詞庫中詞向量的相似度；
從所述預(yù)設(shè)詞庫中獲取與所述目標(biāo)詞向量的相似度大于或者等于預(yù)設(shè)相似度的詞向量作為所述目標(biāo)詞向量的擴(kuò)展詞向量；
將每個(gè)目標(biāo)詞向量的擴(kuò)展詞向量添加至所述分類語料，得到所述測試樣本。
4.如權(quán)利要求1所述的AI客服模型測試方法，其特征在于，所述以配置腳本調(diào)用所述輸出數(shù)據(jù)及所述期望數(shù)據(jù)，輸出對所述待測AI客服模型的測試結(jié)果包括：
采用POI將所述輸出數(shù)據(jù)及所述期望數(shù)據(jù)寫入Excel，生成excel文件；
確定所述excel文件的文件名稱及指定接口的接口參數(shù)；
以所述文件名稱及所述接口參數(shù)修改所述配置腳本；
以修改后的配置腳本調(diào)用所述excel文件，輸出對所述待測AI客服模型的測試結(jié)果。
5.如權(quán)利要求1所述的AI客服模型測試方法，其特征在于，所述測試結(jié)果包括準(zhǔn)確率，所述AI客服模型測試方法還包括：
獲取所述輸出數(shù)據(jù)中與所述期望數(shù)據(jù)的相似度大于或者等于第一相似度的數(shù)據(jù)的第一數(shù)量；
確定所述輸出數(shù)據(jù)的第二數(shù)量；
計(jì)算所述第一數(shù)量與所述第二數(shù)量的商作為所述準(zhǔn)確率。
6.如權(quán)利要求1所述的AI客服模型測試方法，其特征在于，所述測試結(jié)果還包括召回率，所述AI客服模型測試方法還包括：
對于任意類別下的第一輸出數(shù)據(jù)，確定所述第一輸出數(shù)據(jù)對應(yīng)的第一期望數(shù)據(jù)；
獲取所述第一輸出數(shù)據(jù)中與所述第一期望數(shù)據(jù)的相似度大于或者等于第二相似度的數(shù)據(jù)的第三數(shù)量；
確定所述第一輸出數(shù)據(jù)的第四數(shù)量；
計(jì)算所述第三數(shù)量與所述第四數(shù)量的商作為所述任意類別下的召回率。
7.如權(quán)利要求1所述的AI客服模型測試方法，其特征在于，所述AI客服模型測試方法還包括：
當(dāng)檢測到所述待測AI客服模型有更新時(shí)，重新執(zhí)行對所述待測AI客服模型的檢測。
8.一種AI客服模型測試裝置，其特征在于，所述AI客服模型測試裝置包括：
獲取單元，用于當(dāng)接收到對待測AI客服模型的測試指令時(shí)，從語料庫中獲取預(yù)先配置的標(biāo)準(zhǔn)語料，所述標(biāo)準(zhǔn)語料包括輸入標(biāo)準(zhǔn)語料及輸出標(biāo)準(zhǔn)語料；
分析單元，用于基于語義相似算法對所述標(biāo)準(zhǔn)語料進(jìn)行相似度分析，得到分類語料；
擴(kuò)展單元，用于基于預(yù)設(shè)詞庫對所述分類語料進(jìn)行擴(kuò)展，生成測試樣本，所述測試樣本中包括與所述輸入標(biāo)準(zhǔn)語料對應(yīng)的輸入數(shù)據(jù)及與所述輸出標(biāo)準(zhǔn)語料對應(yīng)的期望數(shù)據(jù)；
輸入單元，用于將所述輸入數(shù)據(jù)輸入至所述待測AI客服模型中，得到輸出數(shù)據(jù)；
測試單元，用于以配置腳本調(diào)用所述輸出數(shù)據(jù)及所述期望數(shù)據(jù)，輸出對所述待測AI客服模型的測試結(jié)果。
9.一種電子設(shè)備，其特征在于，所述電子設(shè)備包括：
存儲器，存儲至少一個(gè)指令；及
處理器，執(zhí)行所述存儲器中存儲的指令以實(shí)現(xiàn)如權(quán)利要求1至7中任意一項(xiàng)所述的AI客服模型測試方法。
10.一種計(jì)算機(jī)可讀存儲介質(zhì)，其特征在于：所述計(jì)算機(jī)可讀存儲介質(zhì)中存儲有至少一個(gè)指令，所述至少一個(gè)指令被電子設(shè)備中的處理器執(zhí)行以實(shí)現(xiàn)如權(quán)利要求1至7中任意一項(xiàng)所述的AI客服模型測試方法。

說明書
AI客服模型測試方法、裝置、電子設(shè)備及存儲介質(zhì)
技術(shù)領(lǐng)域
本發(fā)明涉及人工智能技術(shù)領(lǐng)域，尤其涉及一種AI客服模型測試方法、裝置、電子設(shè)備及存儲介質(zhì)。
背景技術(shù)
現(xiàn)有技術(shù)方案中，通常采用人工打標(biāo)的方式對AI(Artificial Intelligence，人工智能)客服模型輸出結(jié)果的準(zhǔn)確性進(jìn)行評價(jià)，耗時(shí)較長，且由于人為操作的不可控性，還可能產(chǎn)生滯后現(xiàn)象。
發(fā)明內(nèi)容
鑒于以上內(nèi)容，有必要提供一種AI客服模型測試方法、裝置、電子設(shè)備及存儲介質(zhì)，能夠基于語義相似算法對AI客服模型進(jìn)行有針對性地測試，且測試樣本的覆蓋面更加全面，有效解決了測試數(shù)據(jù)不足的問題，基于人工智能手段實(shí)現(xiàn)對AI客服模型快速地自動(dòng)化測試。
一種AI客服模型測試方法，所述AI客服模型測試方法包括：
當(dāng)接收到對待測AI客服模型的測試指令時(shí)，從語料庫中獲取預(yù)先配置的標(biāo)準(zhǔn)語料，所述標(biāo)準(zhǔn)語料包括輸入標(biāo)準(zhǔn)語料及輸出標(biāo)準(zhǔn)語料；
基于語義相似算法對所述標(biāo)準(zhǔn)語料進(jìn)行相似度分析，得到分類語料；
基于預(yù)設(shè)詞庫對所述分類語料進(jìn)行擴(kuò)展，生成測試樣本，所述測試樣本中包括與所述輸入標(biāo)準(zhǔn)語料對應(yīng)的輸入數(shù)據(jù)及與所述輸出標(biāo)準(zhǔn)語料對應(yīng)的期望數(shù)據(jù)；
將所述輸入數(shù)據(jù)輸入至所述待測AI客服模型中，得到輸出數(shù)據(jù)；
以配置腳本調(diào)用所述輸出數(shù)據(jù)及所述期望數(shù)據(jù)，輸出對所述待測AI客服模型的測試結(jié)果。
根據(jù)本發(fā)明優(yōu)選實(shí)施例，所述基于語義相似算法對所述標(biāo)準(zhǔn)語料進(jìn)行相似度分析，得到分類語料包括：
基于自然語言處理將所述標(biāo)準(zhǔn)語料轉(zhuǎn)換為語義向量；
采用余弦相似度算法計(jì)算所述語義向量中各個(gè)詞向量間的余弦距離；
根據(jù)所述余弦距離對各個(gè)詞向量進(jìn)行分類，得到所述分類語料。
根據(jù)本發(fā)明優(yōu)選實(shí)施例，所述基于預(yù)設(shè)詞庫對所述分類語料進(jìn)行擴(kuò)展，生成測試樣本包括：
對于所述分類語料中的每個(gè)目標(biāo)詞向量，計(jì)算所述目標(biāo)詞向量與所述預(yù)設(shè)詞庫中詞向量的相似度；
從所述預(yù)設(shè)詞庫中獲取與所述目標(biāo)詞向量的相似度大于或者等于預(yù)設(shè)相似度的詞向量作為所述目標(biāo)詞向量的擴(kuò)展詞向量；
將每個(gè)目標(biāo)詞向量的擴(kuò)展詞向量添加至所述分類語料，得到所述測試樣本。
根據(jù)本發(fā)明優(yōu)選實(shí)施例，所述以配置腳本調(diào)用所述輸出數(shù)據(jù)及所述期望數(shù)據(jù)，輸出對所述待測AI客服模型的測試結(jié)果包括：
采用POI將所述輸出數(shù)據(jù)及所述期望數(shù)據(jù)寫入Excel，生成excel文件；
確定所述excel文件的文件名稱及指定接口的接口參數(shù)；
以所述文件名稱及所述接口參數(shù)修改所述配置腳本；
以修改后的配置腳本調(diào)用所述excel文件，輸出對所述待測AI客服模型的測試結(jié)果。
根據(jù)本發(fā)明優(yōu)選實(shí)施例，所述測試結(jié)果包括準(zhǔn)確率，所述AI客服模型測試方法還包括：
獲取所述輸出數(shù)據(jù)中與所述期望數(shù)據(jù)的相似度大于或者等于第一相似度的數(shù)據(jù)的第一數(shù)量；
確定所述輸出數(shù)據(jù)的第二數(shù)量；
計(jì)算所述第一數(shù)量與所述第二數(shù)量的商作為所述準(zhǔn)確率。
根據(jù)本發(fā)明優(yōu)選實(shí)施例，所述測試結(jié)果還包括召回率，所述AI客服模型測試方法還包括：
對于任意類別下的第一輸出數(shù)據(jù)，確定所述第一輸出數(shù)據(jù)對應(yīng)的第一期望數(shù)據(jù)；
獲取所述第一輸出數(shù)據(jù)中與所述第一期望數(shù)據(jù)的相似度大于或者等于第二相似度的數(shù)據(jù)的第三數(shù)量；
確定所述第一輸出數(shù)據(jù)的第四數(shù)量；
計(jì)算所述第三數(shù)量與所述第四數(shù)量的商作為所述任意類別下的召回率。
根據(jù)本發(fā)明優(yōu)選實(shí)施例，所述AI客服模型測試方法還包括：
當(dāng)檢測到所述待測AI客服模型有更新時(shí)，重新執(zhí)行對所述待測AI客服模型的檢測。
一種AI客服模型測試裝置，所述AI客服模型測試裝置包括：
獲取單元，用于當(dāng)接收到對待測AI客服模型的測試指令時(shí)，從語料庫中獲取預(yù)先配置的標(biāo)準(zhǔn)語料，所述標(biāo)準(zhǔn)語料包括輸入標(biāo)準(zhǔn)語料及輸出標(biāo)準(zhǔn)語料；
分析單元，用于基于語義相似算法對所述標(biāo)準(zhǔn)語料進(jìn)行相似度分析，得到分類語料；
擴(kuò)展單元，用于基于預(yù)設(shè)詞庫對所述分類語料進(jìn)行擴(kuò)展，生成測試樣本，所述測試樣本中包括與所述輸入標(biāo)準(zhǔn)語料對應(yīng)的輸入數(shù)據(jù)及與所述輸出標(biāo)準(zhǔn)語料對應(yīng)的期望數(shù)據(jù)；
輸入單元，用于將所述輸入數(shù)據(jù)輸入至所述待測AI客服模型中，得到輸出數(shù)據(jù)；
測試單元，用于以配置腳本調(diào)用所述輸出數(shù)據(jù)及所述期望數(shù)據(jù)，輸出對所述待測AI客服模型的測試結(jié)果。
根據(jù)本發(fā)明優(yōu)選實(shí)施例，所述分析單元具體用于：
基于自然語言處理將所述標(biāo)準(zhǔn)語料轉(zhuǎn)換為語義向量；
采用余弦相似度算法計(jì)算所述語義向量中各個(gè)詞向量間的余弦距離；
根據(jù)所述余弦距離對各個(gè)詞向量進(jìn)行分類，得到所述分類語料。
根據(jù)本發(fā)明優(yōu)選實(shí)施例，所述擴(kuò)展單元具體用于：
對于所述分類語料中的每個(gè)目標(biāo)詞向量，計(jì)算所述目標(biāo)詞向量與所述預(yù)設(shè)詞庫中詞向量的相似度；
從所述預(yù)設(shè)詞庫中獲取與所述目標(biāo)詞向量的相似度大于或者等于預(yù)設(shè)相似度的詞向量作為所述目標(biāo)詞向量的擴(kuò)展詞向量；
將每個(gè)目標(biāo)詞向量的擴(kuò)展詞向量添加至所述分類語料，得到所述測試樣本。
根據(jù)本發(fā)明優(yōu)選實(shí)施例，所述測試單元具體用于：
采用POI將所述輸出數(shù)據(jù)及所述期望數(shù)據(jù)寫入Excel，生成excel文件；
確定所述excel文件的文件名稱及指定接口的接口參數(shù)；
以所述文件名稱及所述接口參數(shù)修改所述配置腳本；
以修改后的配置腳本調(diào)用所述excel文件，輸出對所述待測AI客服模型的測試結(jié)果。
根據(jù)本發(fā)明優(yōu)選實(shí)施例，所述測試結(jié)果包括準(zhǔn)確率，所述獲取單元，還用于獲取所述輸出數(shù)據(jù)中與所述期望數(shù)據(jù)的相似度大于或者等于第一相似度的數(shù)據(jù)的第一數(shù)量；
所述AI客服模型測試裝置還包括：
確定單元，用于確定所述輸出數(shù)據(jù)的第二數(shù)量；
計(jì)算單元，用于計(jì)算所述第一數(shù)量與所述第二數(shù)量的商作為所述準(zhǔn)確率。
根據(jù)本發(fā)明優(yōu)選實(shí)施例，所述測試結(jié)果還包括召回率，所述確定單元，用于對于任意類別下的第一輸出數(shù)據(jù)，確定所述第一輸出數(shù)據(jù)對應(yīng)的第一期望數(shù)據(jù)；
所述獲取單元，還用于獲取所述第一輸出數(shù)據(jù)中與所述第一期望數(shù)據(jù)的相似度大于或者等于第二相似度的數(shù)據(jù)的第三數(shù)量；
所述確定單元，還用于確定所述第一輸出數(shù)據(jù)的第四數(shù)量；
所述計(jì)算單元，還用于計(jì)算所述第三數(shù)量與所述第四數(shù)量的商作為所述任意類別下的召回率。
根據(jù)本發(fā)明優(yōu)選實(shí)施例，所述測試單元，還用于當(dāng)檢測到所述待測AI客服模型有更新時(shí)，重新執(zhí)行對所述待測AI客服模型的檢測。
一種電子設(shè)備，所述電子設(shè)備包括：
存儲器，存儲至少一個(gè)指令；及
處理器，執(zhí)行所述存儲器中存儲的指令以實(shí)現(xiàn)所述AI客服模型測試方法。
一種計(jì)算機(jī)可讀存儲介質(zhì)，所述計(jì)算機(jī)可讀存儲介質(zhì)中存儲有至少一個(gè)指令，所述至少一個(gè)指令被電子設(shè)備中的處理器執(zhí)行以實(shí)現(xiàn)所述AI客服模型測試方法。
由以上技術(shù)方案可以看出，本發(fā)明能夠當(dāng)接收到對待測AI客服模型的測試指令時(shí)，從語料庫中獲取預(yù)先配置的標(biāo)準(zhǔn)語料，所述標(biāo)準(zhǔn)語料包括輸入標(biāo)準(zhǔn)語料及輸出標(biāo)準(zhǔn)語料，基于語義相似算法對所述標(biāo)準(zhǔn)語料進(jìn)行相似度分析，得到分類語料，使后續(xù)的測試更加有針對性，進(jìn)一步基于預(yù)設(shè)詞庫對所述分類語料進(jìn)行擴(kuò)展，生成測試樣本，所述測試樣本中包括與所述輸入標(biāo)準(zhǔn)語料對應(yīng)的輸入數(shù)據(jù)及與所述輸出標(biāo)準(zhǔn)語料對應(yīng)的期望數(shù)據(jù)，使生成的所述測試樣本的覆蓋面更加全面，并可以有效解決測試數(shù)據(jù)不足的問題，將所述輸入數(shù)據(jù)輸入至所述待測AI客服模型中，得到輸出數(shù)據(jù)，并以配置腳本調(diào)用所述輸出數(shù)據(jù)及所述期望數(shù)據(jù)，輸出對所述待測AI客服模型的測試結(jié)果，進(jìn)而實(shí)現(xiàn)對AI客服模型快速地自動(dòng)化測試。
附圖說明
圖1是本發(fā)明AI客服模型測試方法的較佳實(shí)施例的流程圖。
圖2是本發(fā)明AI客服模型測試裝置的較佳實(shí)施例的功能模塊圖。
圖3是本發(fā)明實(shí)現(xiàn)AI客服模型測試方法的較佳實(shí)施例的電子設(shè)備的結(jié)構(gòu)示意圖。
具體實(shí)施方式
為了使本發(fā)明的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚，下面結(jié)合附圖和具體實(shí)施例對本發(fā)明進(jìn)行詳細(xì)描述。
如圖1所示，是本發(fā)明AI客服模型測試方法的較佳實(shí)施例的流程圖。根據(jù)不同的需求，該流程圖中步驟的順序可以改變，某些步驟可以省略。
所述AI客服模型測試方法應(yīng)用于一個(gè)或者多個(gè)電子設(shè)備中，所述電子設(shè)備是一種能夠按照事先設(shè)定或存儲的指令，自動(dòng)進(jìn)行數(shù)值計(jì)算和/或信息處理的設(shè)備，其硬件包括但不限于微處理器、專用集成電路(Application Specific Integrated Circuit，ASIC)、可編程門陣列(Field－Programmable Gate Array，F(xiàn)PGA)、數(shù)字處理器(Digital SignalProcessor，DSP)、嵌入式設(shè)備等。
所述電子設(shè)備可以是任何一種可與用戶進(jìn)行人機(jī)交互的電子產(chǎn)品，例如，個(gè)人計(jì)算機(jī)、平板電腦、智能手機(jī)、個(gè)人數(shù)字助理(Personal Digital Assistant，PDA)、游戲機(jī)、交互式網(wǎng)絡(luò)電視(Internet Protocol Television，IPTV)、智能式穿戴式設(shè)備等。
所述電子設(shè)備還可以包括網(wǎng)絡(luò)設(shè)備和/或用戶設(shè)備。其中，所述網(wǎng)絡(luò)設(shè)備包括，但不限于單個(gè)網(wǎng)絡(luò)服務(wù)器、多個(gè)網(wǎng)絡(luò)服務(wù)器組成的服務(wù)器組或基于云計(jì)算(CloudComputing)的由大量主機(jī)或網(wǎng)絡(luò)服務(wù)器構(gòu)成的云。
所述電子設(shè)備所處的網(wǎng)絡(luò)包括但不限于互聯(lián)網(wǎng)、廣域網(wǎng)、城域網(wǎng)、局域網(wǎng)、虛擬專用網(wǎng)絡(luò)(Virtual Private Network，VPN)等。
S10，當(dāng)接收到對待測AI客服模型的測試指令時(shí)，從語料庫中獲取預(yù)先配置的標(biāo)準(zhǔn)語料。
在本發(fā)明的至少一個(gè)實(shí)施例中，所述待測AI客服模型的測試指令可以由相關(guān)工作人員觸發(fā)，也可以根據(jù)實(shí)際使用根據(jù)預(yù)先配置的測試時(shí)間自動(dòng)觸發(fā)。
在本發(fā)明的至少一個(gè)實(shí)施例中，所述語料庫可以是預(yù)先配置的具有多種語料的數(shù)據(jù)庫。
在本發(fā)明的至少一個(gè)實(shí)施例中，所述標(biāo)準(zhǔn)語料包括輸入標(biāo)準(zhǔn)語料及輸出標(biāo)準(zhǔn)語料。
其中，所述待測AI(Artificial Intelligence，人工智能)客服模型用于自動(dòng)對客戶的提問進(jìn)行解答。
實(shí)際應(yīng)用中，用戶的提問是多種多樣的，以貸款場景為例，用戶會提問貸款時(shí)所涉及到的各個(gè)環(huán)節(jié)的問題，例如：利率問題、放款問題、還款問題等，甚至還可能包括各種調(diào)侃語句等。
針對如此分類的各種場景，首先在初建模時(shí)，會對各個(gè)場景進(jìn)行分類并收集用戶的真實(shí)問題，用以模型的標(biāo)準(zhǔn)回答，以確?；卮鸱瞎緦ν饨y(tǒng)一話術(shù)，并沒有法律風(fēng)險(xiǎn)等，建模完成后即可進(jìn)入測試階段。
具體而言，所述AI客服模型能夠針對上述不同場景下的用戶提問給出自動(dòng)解答，因此，AI客服模型解答的準(zhǔn)確性則尤為重要，也就需要對AI客服模型進(jìn)行測試。
在本發(fā)明的至少一個(gè)實(shí)施例中，所述輸入標(biāo)準(zhǔn)語料是指采集的用戶輸入的標(biāo)準(zhǔn)化語料。
在本發(fā)明的至少一個(gè)實(shí)施例中，所述輸出標(biāo)準(zhǔn)語料是指對所述輸入標(biāo)準(zhǔn)語料的標(biāo)準(zhǔn)回答語料。
S11，基于語義相似算法對所述標(biāo)準(zhǔn)語料進(jìn)行相似度分析，得到分類語料。
具體地，所述基于語義相似算法對所述標(biāo)準(zhǔn)語料進(jìn)行相似度分析，得到分類語料包括：
基于自然語言處理將所述標(biāo)準(zhǔn)語料轉(zhuǎn)換為語義向量；
進(jìn)一步采用余弦相似度算法計(jì)算所述語義向量中各個(gè)詞向量間的余弦距離；
所述電子設(shè)備根據(jù)所述余弦距離對各個(gè)詞向量進(jìn)行分類，得到所述分類語料。
通過上述實(shí)施方式，能夠?qū)λ鰳?biāo)準(zhǔn)語料進(jìn)行分類，使后續(xù)的測試更加有針對性。
S12，基于預(yù)設(shè)詞庫對所述分類語料進(jìn)行擴(kuò)展，生成測試樣本，所述測試樣本中包括與所述輸入標(biāo)準(zhǔn)語料對應(yīng)的輸入數(shù)據(jù)及與所述輸出標(biāo)準(zhǔn)語料對應(yīng)的期望數(shù)據(jù)。
具體地，所述電子設(shè)備基于預(yù)設(shè)詞庫對所述分類語料進(jìn)行擴(kuò)展，生成測試樣本包括：
對于所述分類語料中的每個(gè)目標(biāo)詞向量，所述電子設(shè)備計(jì)算所述目標(biāo)詞向量與所述預(yù)設(shè)詞庫中詞向量的相似度；
從所述預(yù)設(shè)詞庫中獲取與所述目標(biāo)詞向量的相似度大于或者等于預(yù)設(shè)相似度的詞向量作為所述目標(biāo)詞向量的擴(kuò)展詞向量；
將每個(gè)目標(biāo)詞向量的擴(kuò)展詞向量添加至所述分類語料，得到所述測試樣本。
例如：對于語料“你們公司利息多少”，該語料分別包括以下詞語對應(yīng)的詞向量：“你們”、“公司”、“利息”以及“多少”，其中，詞向量“公司”以及詞向量“利息”為關(guān)鍵字，所述電子設(shè)備通過相似度計(jì)算，可選取出“公司”的近義詞“單位”等，“利息”的相似詞“收益”、“利率”等，那么語料“你們公司利息多少”則可以包括擴(kuò)展語料“你們單位利率多少”等。
通過上述實(shí)施方式，所述電子設(shè)備能夠通過擴(kuò)展所述分類語料，使生成的所述測試樣本的覆蓋面更加全面，進(jìn)而能夠?qū)崿F(xiàn)對所述待測AI客服模型的更加準(zhǔn)確的測試。
另外，現(xiàn)有語料庫主要以生產(chǎn)數(shù)據(jù)為基礎(chǔ)，數(shù)據(jù)量有限，本實(shí)施例也可以有效解決測試數(shù)據(jù)不足的問題。
S13，將所述輸入數(shù)據(jù)輸入至所述待測AI客服模型中，得到輸出數(shù)據(jù)。
在本實(shí)施例中，所述待測AI客服模型能夠響應(yīng)于所述輸入數(shù)據(jù)進(jìn)行語音的輸出。
其中，所述輸出數(shù)據(jù)是所述待測AI客服模型響應(yīng)所述輸入數(shù)據(jù)所得到的輸出結(jié)果，屬于模型的自動(dòng)解答。
例如：當(dāng)所述輸入數(shù)據(jù)為“該次貸款的收益是多少”時(shí)，通過所述待測AI客服模型的分析及匹配等自動(dòng)化處理，得到所述輸出數(shù)據(jù)“該次貸款的收益是50萬”。
S14，以配置腳本調(diào)用所述輸出數(shù)據(jù)及所述期望數(shù)據(jù)，輸出對所述待測AI客服模型的測試結(jié)果。
具體地，所述以配置腳本調(diào)用所述輸出數(shù)據(jù)及所述期望數(shù)據(jù)，輸出對所述待測AI客服模型的測試結(jié)果包括：
所述電子設(shè)備采用POI將所述輸出數(shù)據(jù)及所述期望數(shù)據(jù)寫入Excel，生成excel文件；
進(jìn)一步地，所述電子設(shè)備確定所述excel文件的文件名稱及指定接口的接口參數(shù)；
更進(jìn)一步地，所述電子設(shè)備以所述文件名稱及所述接口參數(shù)修改所述配置腳本；
以修改后的配置腳本調(diào)用所述excel文件，輸出對所述待測AI客服模型的測試結(jié)果。
其中，所述接口參數(shù)可以包括，但不限于：服務(wù)器IP(Internet Protocol，網(wǎng)際互連協(xié)議)、端口、測試URI(Uniform Resource Identifier，統(tǒng)一資源標(biāo)識符)等。
POI是對office的文檔進(jìn)行讀和寫的工具，POI中的組件(如HSSF和XSS)可以讀寫excel。
所述配置腳本可以進(jìn)行預(yù)先配置，以便于修改相關(guān)參數(shù)后直接調(diào)用，提升了運(yùn)行效率，且簡化了開發(fā)流程。
通過上述實(shí)施方式，結(jié)合POI技術(shù)生成excel文件，并進(jìn)一步通過以修改后的配置腳本調(diào)用生成的所述excel文件，輸出對所述待測AI客服模型的測試結(jié)果即可實(shí)現(xiàn)快速的自動(dòng)化測試。
在本發(fā)明的至少一個(gè)實(shí)施例中，所述測試結(jié)果包括準(zhǔn)確率，所述方法還包括：
獲取所述輸出數(shù)據(jù)中與所述期望數(shù)據(jù)的相似度大于或者等于第一相似度的數(shù)據(jù)的第一數(shù)量；
確定所述輸出數(shù)據(jù)的第二數(shù)量；
進(jìn)一步地，所述電子設(shè)備計(jì)算所述第一數(shù)量與所述第二數(shù)量的商作為所述準(zhǔn)確率。
例如：某次測試共10000個(gè)測試樣本，正確的輸出數(shù)據(jù)有5000個(gè)，那準(zhǔn)確率＝5000/10000＝50％。
在本發(fā)明的至少一個(gè)實(shí)施例中，所述測試結(jié)果還包括召回率，所述方法還包括：
對于任意類別下的第一輸出數(shù)據(jù)，確定所述第一輸出數(shù)據(jù)對應(yīng)的第一期望數(shù)據(jù)；
獲取所述第一輸出數(shù)據(jù)中與所述第一期望數(shù)據(jù)的相似度大于或者等于第二相似度的數(shù)據(jù)的第三數(shù)量；
確定所述第一輸出數(shù)據(jù)的第四數(shù)量；
進(jìn)一步計(jì)算所述第三數(shù)量與所述第四數(shù)量的商作為所述任意類別下的召回率。
通過上述實(shí)施方式，能夠計(jì)算所述待測AI客服模型的準(zhǔn)確率與召回率，以便于對所述待測AI客服模型進(jìn)行有效檢測。
在本發(fā)明的至少一個(gè)實(shí)施例中，所述AI客服模型測試方法還包括：
當(dāng)檢測到所述待測AI客服模型有更新時(shí)，重新執(zhí)行對所述待測AI客服模型的檢測。
因?yàn)槟Ｐ驮趦?yōu)化的過程中，閾值的調(diào)整會影響到各個(gè)分類的情況，比如利息問題的準(zhǔn)確率提升了，那可能會導(dǎo)致用戶操作類的準(zhǔn)確率降低了，但用戶的高頻問題準(zhǔn)確率需呈上升趨勢才行，因此，需要對所述待測AI客服模型進(jìn)行重新檢測，以保證所述待測AI客服模型能夠?qū)τ脩舻奶釂栕龀鲎罴训捻憫?yīng)。
需要說明的是，為了提高數(shù)據(jù)的安全性及隱私性，可將測試結(jié)果存儲于區(qū)塊鏈中。
由以上技術(shù)方案可以看出，本發(fā)明能夠當(dāng)接收到對待測AI客服模型的測試指令時(shí)，從語料庫中獲取預(yù)先配置的標(biāo)準(zhǔn)語料，所述標(biāo)準(zhǔn)語料包括輸入標(biāo)準(zhǔn)語料及輸出標(biāo)準(zhǔn)語料，基于語義相似算法對所述標(biāo)準(zhǔn)語料進(jìn)行相似度分析，得到分類語料，使后續(xù)的測試更加有針對性，進(jìn)一步基于預(yù)設(shè)詞庫對所述分類語料進(jìn)行擴(kuò)展，生成測試樣本，所述測試樣本中包括與所述輸入標(biāo)準(zhǔn)語料對應(yīng)的輸入數(shù)據(jù)及與所述輸出標(biāo)準(zhǔn)語料對應(yīng)的期望數(shù)據(jù)，使生成的所述測試樣本的覆蓋面更加全面，并可以有效解決測試數(shù)據(jù)不足的問題，將所述輸入數(shù)據(jù)輸入至所述待測AI客服模型中，得到輸出數(shù)據(jù)，并以配置腳本調(diào)用所述輸出數(shù)據(jù)及所述期望數(shù)據(jù)，輸出對所述待測AI客服模型的測試結(jié)果，進(jìn)而實(shí)現(xiàn)對AI客服模型快速地自動(dòng)化測試。
如圖2所示，是本發(fā)明AI客服模型測試裝置的較佳實(shí)施例的功能模塊圖。所述AI客服模型測試裝置11包括獲取單元110、分析單元111、擴(kuò)展單元112、輸入單元113、測試單元114、確定單元115、計(jì)算單元116。本發(fā)明所稱的模塊/單元是指一種能夠被處理器13所執(zhí)行，并且能夠完成固定功能的一系列計(jì)算機(jī)程序段，其存儲在存儲器12中。在本實(shí)施例中，關(guān)于各模塊/單元的功能將在后續(xù)的實(shí)施例中詳述。
當(dāng)接收到對待測AI客服模型的測試指令時(shí)，獲取單元110從語料庫中獲取預(yù)先配置的標(biāo)準(zhǔn)語料。
在本發(fā)明的至少一個(gè)實(shí)施例中，所述待測AI客服模型的測試指令可以由相關(guān)工作人員觸發(fā)，也可以根據(jù)實(shí)際使用根據(jù)預(yù)先配置的測試時(shí)間自動(dòng)觸發(fā)。
在本發(fā)明的至少一個(gè)實(shí)施例中，所述語料庫可以是預(yù)先配置的具有多種語料的數(shù)據(jù)庫。
在本發(fā)明的至少一個(gè)實(shí)施例中，所述標(biāo)準(zhǔn)語料包括輸入標(biāo)準(zhǔn)語料及輸出標(biāo)準(zhǔn)語料。
其中，所述待測AI(Artificial Intelligence，人工智能)客服模型用于自動(dòng)對客戶的提問進(jìn)行解答。
實(shí)際應(yīng)用中，用戶的提問是多種多樣的，以貸款場景為例，用戶會提問貸款時(shí)所涉及到的各個(gè)環(huán)節(jié)的問題，例如：利率問題、放款問題、還款問題等，甚至還可能包括各種調(diào)侃語句等。
針對如此分類的各種場景，首先在初建模時(shí)，會對各個(gè)場景進(jìn)行分類并收集用戶的真實(shí)問題，用以模型的標(biāo)準(zhǔn)回答，以確?；卮鸱瞎緦ν饨y(tǒng)一話術(shù)，并沒有法律風(fēng)險(xiǎn)等，建模完成后即可進(jìn)入測試階段。
具體而言，所述AI客服模型能夠針對上述不同場景下的用戶提問給出自動(dòng)解答，因此，AI客服模型解答的準(zhǔn)確性則尤為重要，也就需要對AI客服模型進(jìn)行測試。
在本發(fā)明的至少一個(gè)實(shí)施例中，所述輸入標(biāo)準(zhǔn)語料是指采集的用戶輸入的標(biāo)準(zhǔn)化語料。
在本發(fā)明的至少一個(gè)實(shí)施例中，所述輸出標(biāo)準(zhǔn)語料是指對所述輸入標(biāo)準(zhǔn)語料的標(biāo)準(zhǔn)回答語料。
分析單元111基于語義相似算法對所述標(biāo)準(zhǔn)語料進(jìn)行相似度分析，得到分類語料。
具體地，所述分析單元111基于語義相似算法對所述標(biāo)準(zhǔn)語料進(jìn)行相似度分析，得到分類語料包括：
基于自然語言處理將所述標(biāo)準(zhǔn)語料轉(zhuǎn)換為語義向量；
進(jìn)一步采用余弦相似度算法計(jì)算所述語義向量中各個(gè)詞向量間的余弦距離；
所述分析單元111根據(jù)所述余弦距離對各個(gè)詞向量進(jìn)行分類，得到所述分類語料。
通過上述實(shí)施方式，能夠?qū)λ鰳?biāo)準(zhǔn)語料進(jìn)行分類，使后續(xù)的測試更加有針對性。
進(jìn)一步地，擴(kuò)展單元112基于預(yù)設(shè)詞庫對所述分類語料進(jìn)行擴(kuò)展，生成測試樣本。
其中，所述測試樣本中包括與所述輸入標(biāo)準(zhǔn)語料對應(yīng)的輸入數(shù)據(jù)及與所述輸出標(biāo)準(zhǔn)語料對應(yīng)的期望數(shù)據(jù)。
具體地，所述擴(kuò)展單元112基于預(yù)設(shè)詞庫對所述分類語料進(jìn)行擴(kuò)展，生成測試樣本包括：
對于所述分類語料中的每個(gè)目標(biāo)詞向量，所述擴(kuò)展單元112計(jì)算所述目標(biāo)詞向量與所述預(yù)設(shè)詞庫中詞向量的相似度；
從所述預(yù)設(shè)詞庫中獲取與所述目標(biāo)詞向量的相似度大于或者等于預(yù)設(shè)相似度的詞向量作為所述目標(biāo)詞向量的擴(kuò)展詞向量；
將每個(gè)目標(biāo)詞向量的擴(kuò)展詞向量添加至所述分類語料，得到所述測試樣本。
例如：對于語料“你們公司利息多少”，該語料分別包括以下詞語對應(yīng)的詞向量：“你們”、“公司”、“利息”以及“多少”，其中，詞向量“公司”以及詞向量“利息”為關(guān)鍵字，所述擴(kuò)展單元112通過相似度計(jì)算，可選取出“公司”的近義詞“單位”等，“利息”的相似詞“收益”、“利率”等，那么語料“你們公司利息多少”則可以包括擴(kuò)展語料“你們單位利率多少”等。
通過上述實(shí)施方式，所述擴(kuò)展單元112能夠通過擴(kuò)展所述分類語料，使生成的所述測試樣本的覆蓋面更加全面，進(jìn)而能夠?qū)崿F(xiàn)對所述待測AI客服模型的更加準(zhǔn)確的測試。
另外，現(xiàn)有語料庫主要以生產(chǎn)數(shù)據(jù)為基礎(chǔ)，數(shù)據(jù)量有限，本實(shí)施例也可以有效解決測試數(shù)據(jù)不足的問題。
輸入單元113將所述輸入數(shù)據(jù)輸入至所述待測AI客服模型中，得到輸出數(shù)據(jù)。
在本實(shí)施例中，所述待測AI客服模型能夠響應(yīng)于所述輸入數(shù)據(jù)進(jìn)行語音的輸出。
其中，所述輸出數(shù)據(jù)是所述待測AI客服模型響應(yīng)所述輸入數(shù)據(jù)所得到的輸出結(jié)果，屬于模型的自動(dòng)解答。
例如：當(dāng)所述輸入數(shù)據(jù)為“該次貸款的收益是多少”時(shí)，通過所述待測AI客服模型的分析及匹配等自動(dòng)化處理，得到所述輸出數(shù)據(jù)“該次貸款的收益是50萬”。
具體地，所述測試單元114以配置腳本調(diào)用所述輸出數(shù)據(jù)及所述期望數(shù)據(jù)，輸出對所述待測AI客服模型的測試結(jié)果。
所述測試單元114以配置腳本調(diào)用所述輸出數(shù)據(jù)及所述期望數(shù)據(jù)，輸出對所述待測AI客服模型的測試結(jié)果包括：
所述測試單元114采用POI將所述輸出數(shù)據(jù)及所述期望數(shù)據(jù)寫入Excel，生成excel文件；
進(jìn)一步地，所述測試單元114確定所述excel文件的文件名稱及指定接口的接口參數(shù)；
更進(jìn)一步地，所述測試單元114以所述文件名稱及所述接口參數(shù)修改所述配置腳本；
以修改后的配置腳本調(diào)用所述excel文件，輸出對所述待測AI客服模型的測試結(jié)果。
其中，所述接口參數(shù)可以包括，但不限于：服務(wù)器IP(Internet Protocol，網(wǎng)際互連協(xié)議)、端口、測試URI(Uniform Resource Identifier，統(tǒng)一資源標(biāo)識符)等。
POI是對office的文檔進(jìn)行讀和寫的工具，POI中的組件(如HSSF和XSS)可以讀寫excel。
所述配置腳本可以進(jìn)行預(yù)先配置，以便于修改相關(guān)參數(shù)后直接調(diào)用，提升了運(yùn)行效率，且簡化了開發(fā)流程。
通過上述實(shí)施方式，結(jié)合POI技術(shù)生成excel文件，并進(jìn)一步通過以修改后的配置腳本調(diào)用生成的所述excel文件，輸出對所述待測AI客服模型的測試結(jié)果即可實(shí)現(xiàn)快速的自動(dòng)化測試。
在本發(fā)明的至少一個(gè)實(shí)施例中，所述測試結(jié)果包括準(zhǔn)確率，所述獲取單元110獲取所述輸出數(shù)據(jù)中與所述期望數(shù)據(jù)的相似度大于或者等于第一相似度的數(shù)據(jù)的第一數(shù)量；
確定單元115確定所述輸出數(shù)據(jù)的第二數(shù)量；
進(jìn)一步地，計(jì)算單元116計(jì)算所述第一數(shù)量與所述第二數(shù)量的商作為所述準(zhǔn)確率。
例如：某次測試共10000個(gè)測試樣本，正確的輸出數(shù)據(jù)有5000個(gè)，那準(zhǔn)確率＝5000/10000＝50％。
在本發(fā)明的至少一個(gè)實(shí)施例中，所述測試結(jié)果還包括召回率，對于任意類別下的第一輸出數(shù)據(jù)，所述確定單元115確定所述第一輸出數(shù)據(jù)對應(yīng)的第一期望數(shù)據(jù)；
所述獲取單元110獲取所述第一輸出數(shù)據(jù)中與所述第一期望數(shù)據(jù)的相似度大于或者等于第二相似度的數(shù)據(jù)的第三數(shù)量；
所述確定單元115確定所述第一輸出數(shù)據(jù)的第四數(shù)量；
所述計(jì)算單元116進(jìn)一步計(jì)算所述第三數(shù)量與所述第四數(shù)量的商作為所述任意類別下的召回率。
通過上述實(shí)施方式，能夠計(jì)算所述待測AI客服模型的準(zhǔn)確率與召回率，以便于對所述待測AI客服模型進(jìn)行有效檢測。
在本發(fā)明的至少一個(gè)實(shí)施例中，當(dāng)檢測到所述待測AI客服模型有更新時(shí)，所述測試單元114重新執(zhí)行對所述待測AI客服模型的檢測。
因?yàn)槟Ｐ驮趦?yōu)化的過程中，閾值的調(diào)整會影響到各個(gè)分類的情況，比如利息問題的準(zhǔn)確率提升了，那可能會導(dǎo)致用戶操作類的準(zhǔn)確率降低了，但用戶的高頻問題準(zhǔn)確率需呈上升趨勢才行，因此，需要對所述待測AI客服模型進(jìn)行重新檢測，以保證所述待測AI客服模型能夠?qū)τ脩舻奶釂栕龀鲎罴训捻憫?yīng)。
需要說明的是，為了提高數(shù)據(jù)的安全性及隱私性，可將測試結(jié)果存儲于區(qū)塊鏈中。
由以上技術(shù)方案可以看出，本發(fā)明能夠當(dāng)接收到對待測AI客服模型的測試指令時(shí)，從語料庫中獲取預(yù)先配置的標(biāo)準(zhǔn)語料，所述標(biāo)準(zhǔn)語料包括輸入標(biāo)準(zhǔn)語料及輸出標(biāo)準(zhǔn)語料，基于語義相似算法對所述標(biāo)準(zhǔn)語料進(jìn)行相似度分析，得到分類語料，使后續(xù)的測試更加有針對性，進(jìn)一步基于預(yù)設(shè)詞庫對所述分類語料進(jìn)行擴(kuò)展，生成測試樣本，所述測試樣本中包括與所述輸入標(biāo)準(zhǔn)語料對應(yīng)的輸入數(shù)據(jù)及與所述輸出標(biāo)準(zhǔn)語料對應(yīng)的期望數(shù)據(jù)，使生成的所述測試樣本的覆蓋面更加全面，并可以有效解決測試數(shù)據(jù)不足的問題，將所述輸入數(shù)據(jù)輸入至所述待測AI客服模型中，得到輸出數(shù)據(jù)，并以配置腳本調(diào)用所述輸出數(shù)據(jù)及所述期望數(shù)據(jù)，輸出對所述待測AI客服模型的測試結(jié)果，進(jìn)而實(shí)現(xiàn)對AI客服模型快速地自動(dòng)化測試。
如圖3所示，是本發(fā)明實(shí)現(xiàn)AI客服模型測試方法的較佳實(shí)施例的電子設(shè)備的結(jié)構(gòu)示意圖。
所述電子設(shè)備1可以包括存儲器12、處理器13和總線，還可以包括存儲在所述存儲器12中并可在所述處理器13上運(yùn)行的計(jì)算機(jī)程序，例如AI客服模型測試程序。
本領(lǐng)域技術(shù)人員可以理解，所述示意圖僅僅是電子設(shè)備1的示例，并不構(gòu)成對電子設(shè)備1的限定，所述電子設(shè)備1既可以是總線型結(jié)構(gòu)，也可以是星形結(jié)構(gòu)，所述電子設(shè)備1還可以包括比圖示更多或更少的其他硬件或者軟件，或者不同的部件布置，例如所述電子設(shè)備1還可以包括輸入輸出設(shè)備、網(wǎng)絡(luò)接入設(shè)備等。
需要說明的是，所述電子設(shè)備1僅為舉例，其他現(xiàn)有的或今后可能出現(xiàn)的電子產(chǎn)品如可適應(yīng)于本發(fā)明，也應(yīng)包含在本發(fā)明的保護(hù)范圍以內(nèi)，并以引用方式包含于此。
其中，存儲器12至少包括一種類型的可讀存儲介質(zhì)，所述可讀存儲介質(zhì)包括閃存、移動(dòng)硬盤、多媒體卡、卡型存儲器(例如：SD或DX存儲器等)、磁性存儲器、磁盤、光盤等。存儲器12在一些實(shí)施例中可以是電子設(shè)備1的內(nèi)部存儲單元，例如該電子設(shè)備1的移動(dòng)硬盤。存儲器12在另一些實(shí)施例中也可以是電子設(shè)備1的外部存儲設(shè)備，例如電子設(shè)備1上配備的插接式移動(dòng)硬盤、智能存儲卡(Smart Media Card,SMC)、安全數(shù)字(Secure Digital,SD)卡、閃存卡(Flash Card)等。進(jìn)一步地，存儲器12還可以既包括電子設(shè)備1的內(nèi)部存儲單元也包括外部存儲設(shè)備。存儲器12不僅可以用于存儲安裝于電子設(shè)備1的應(yīng)用軟件及各類數(shù)據(jù)，例如AI客服模型測試程序的代碼等，還可以用于暫時(shí)地存儲已經(jīng)輸出或者將要輸出的數(shù)據(jù)。
處理器13在一些實(shí)施例中可以由集成電路組成，例如可以由單個(gè)封裝的集成電路所組成，也可以是由多個(gè)相同功能或不同功能封裝的集成電路所組成，包括一個(gè)或者多個(gè)中央處理器(Central Processing unit，CPU)、微處理器、數(shù)字處理芯片、圖形處理器及各種控制芯片的組合等。處理器13是所述電子設(shè)備1的控制核心(Control Unit)，利用各種接口和線路連接整個(gè)電子設(shè)備1的各個(gè)部件，通過運(yùn)行或執(zhí)行存儲在所述存儲器12內(nèi)的程序或者模塊(例如執(zhí)行AI客服模型測試程序等)，以及調(diào)用存儲在所述存儲器12內(nèi)的數(shù)據(jù)，以執(zhí)行電子設(shè)備1的各種功能和處理數(shù)據(jù)。
所述處理器13執(zhí)行所述電子設(shè)備1的操作系統(tǒng)以及安裝的各類應(yīng)用程序。所述處理器13執(zhí)行所述應(yīng)用程序以實(shí)現(xiàn)上述各個(gè)AI客服模型測試方法實(shí)施例中的步驟，例如圖1所示的步驟：S10、S11、S12、S13、S14。
或者，所述處理器13執(zhí)行所述計(jì)算機(jī)程序時(shí)實(shí)現(xiàn)上述各裝置實(shí)施例中各模塊/單元的功能，例如：
當(dāng)接收到對待測AI客服模型的測試指令時(shí)，從語料庫中獲取預(yù)先配置的標(biāo)準(zhǔn)語料，所述標(biāo)準(zhǔn)語料包括輸入標(biāo)準(zhǔn)語料及輸出標(biāo)準(zhǔn)語料；
基于語義相似算法對所述標(biāo)準(zhǔn)語料進(jìn)行相似度分析，得到分類語料；
基于預(yù)設(shè)詞庫對所述分類語料進(jìn)行擴(kuò)展，生成測試樣本，所述測試樣本中包括與所述輸入標(biāo)準(zhǔn)語料對應(yīng)的輸入數(shù)據(jù)及與所述輸出標(biāo)準(zhǔn)語料對應(yīng)的期望數(shù)據(jù)；
將所述輸入數(shù)據(jù)輸入至所述待測AI客服模型中，得到輸出數(shù)據(jù)；
以配置腳本調(diào)用所述輸出數(shù)據(jù)及所述期望數(shù)據(jù)，輸出對所述待測AI客服模型的測試結(jié)果。
示例性的，所述計(jì)算機(jī)程序可以被分割成一個(gè)或多個(gè)模塊/單元，所述一個(gè)或者多個(gè)模塊/單元被存儲在所述存儲器12中，并由所述處理器13執(zhí)行，以完成本發(fā)明。所述一個(gè)或多個(gè)模塊/單元可以是能夠完成特定功能的一系列計(jì)算機(jī)程序指令段，該指令段用于描述所述計(jì)算機(jī)程序在所述電子設(shè)備1中的執(zhí)行過程。例如，所述計(jì)算機(jī)程序可以被分割成獲取單元110、分析單元111、擴(kuò)展單元112、輸入單元113、測試單元114、確定單元115、計(jì)算單元116。
上述以軟件功能模塊的形式實(shí)現(xiàn)的集成的單元，可以存儲在一個(gè)計(jì)算機(jī)可讀取存儲介質(zhì)中。上述軟件功能模塊存儲在一個(gè)存儲介質(zhì)中，包括若干指令用以使得一臺計(jì)算機(jī)設(shè)備(可以是個(gè)人計(jì)算機(jī)、計(jì)算機(jī)設(shè)備，或者網(wǎng)絡(luò)設(shè)備等)或處理器(processor)執(zhí)行本發(fā)明各個(gè)實(shí)施例所述AI客服模型測試方法的部分。
所述電子設(shè)備1集成的模塊/單元如果以軟件功能單元的形式實(shí)現(xiàn)并作為獨(dú)立的產(chǎn)品銷售或使用時(shí)，可以存儲在一個(gè)計(jì)算機(jī)可讀取存儲介質(zhì)中?；谶@樣的理解，本發(fā)明實(shí)現(xiàn)上述實(shí)施例方法中的全部或部分流程，也可以通過計(jì)算機(jī)程序來指示相關(guān)的硬件設(shè)備來完成，所述的計(jì)算機(jī)程序可存儲于一計(jì)算機(jī)可讀存儲介質(zhì)中，該計(jì)算機(jī)程序在被處理器執(zhí)行時(shí)，可實(shí)現(xiàn)上述各個(gè)方法實(shí)施例的步驟。
其中，所述計(jì)算機(jī)程序包括計(jì)算機(jī)程序代碼，所述計(jì)算機(jī)程序代碼可以為源代碼形式、對象代碼形式、可執(zhí)行文件或某些中間形式等。所述計(jì)算機(jī)可讀介質(zhì)可以包括：能夠攜帶所述計(jì)算機(jī)程序代碼的任何實(shí)體或裝置、記錄介質(zhì)、U盤、移動(dòng)硬盤、磁碟、光盤、計(jì)算機(jī)存儲器、只讀存儲器(ROM，Read-Only Memory)。
進(jìn)一步地，計(jì)算機(jī)可用存儲介質(zhì)可主要包括存儲程序區(qū)和存儲數(shù)據(jù)區(qū)，其中，存儲程序區(qū)可存儲操作系統(tǒng)、至少一個(gè)功能所需的應(yīng)用程序等；存儲數(shù)據(jù)區(qū)可存儲根據(jù)區(qū)塊鏈節(jié)點(diǎn)的使用所創(chuàng)建的數(shù)據(jù)等。
本發(fā)明所指區(qū)塊鏈?zhǔn)欠植际綌?shù)據(jù)存儲、點(diǎn)對點(diǎn)傳輸、共識機(jī)制、加密算法等計(jì)算機(jī)技術(shù)的新型應(yīng)用模式。區(qū)塊鏈(Blockchain)，本質(zhì)上是一個(gè)去中心化的數(shù)據(jù)庫，是一串使用密碼學(xué)方法相關(guān)聯(lián)產(chǎn)生的數(shù)據(jù)塊，每一個(gè)數(shù)據(jù)塊中包含了一批次網(wǎng)絡(luò)交易的信息，用于驗(yàn)證其信息的有效性(防偽)和生成下一個(gè)區(qū)塊。區(qū)塊鏈可以包括區(qū)塊鏈底層平臺、平臺產(chǎn)品服務(wù)層以及應(yīng)用服務(wù)層等。
總線可以是外設(shè)部件互連標(biāo)準(zhǔn)(peripheral component interconnect，簡稱PCI)總線或擴(kuò)展工業(yè)標(biāo)準(zhǔn)結(jié)構(gòu)(extended industry standard architecture，簡稱EISA)總線等。該總線可以分為地址總線、數(shù)據(jù)總線、控制總線等。為便于表示，在圖3中僅用一根箭頭表示，但并不表示僅有一根總線或一種類型的總線。所述總線被設(shè)置為實(shí)現(xiàn)所述存儲器12以及至少一個(gè)處理器13等之間的連接通信。
盡管未示出，所述電子設(shè)備1還可以包括給各個(gè)部件供電的電源(比如電池)，優(yōu)選地，電源可以通過電源管理裝置與所述至少一個(gè)處理器13邏輯相連，從而通過電源管理裝置實(shí)現(xiàn)充電管理、放電管理、以及功耗管理等功能。電源還可以包括一個(gè)或一個(gè)以上的直流或交流電源、再充電裝置、電源故障檢測電路、電源轉(zhuǎn)換器或者逆變器、電源狀態(tài)指示器等任意組件。所述電子設(shè)備1還可以包括多種傳感器、藍(lán)牙模塊、Wi-Fi模塊等，在此不再贅述。
進(jìn)一步地，所述電子設(shè)備1還可以包括網(wǎng)絡(luò)接口，可選地，所述網(wǎng)絡(luò)接口可以包括有線接口和/或無線接口(如WI-FI接口、藍(lán)牙接口等)，通常用于在該電子設(shè)備1與其他電子設(shè)備之間建立通信連接。
可選地，該電子設(shè)備1還可以包括用戶接口，用戶接口可以是顯示器(Display)、輸入單元(比如鍵盤(Keyboard))，可選地，用戶接口還可以是標(biāo)準(zhǔn)的有線接口、無線接口。可選地，在一些實(shí)施例中，顯示器可以是LED顯示器、液晶顯示器、觸控式液晶顯示器以及OLED(OrganicLight-Emitting Diode，有機(jī)發(fā)光二極管)觸摸器等。其中，顯示器也可以適當(dāng)?shù)姆Q為顯示屏或顯示單元，用于顯示在電子設(shè)備1中處理的信息以及用于顯示可視化的用戶界面。
應(yīng)該了解，所述實(shí)施例僅為說明之用，在專利申請范圍上并不受此結(jié)構(gòu)的限制。
圖3僅示出了具有組件12-13的電子設(shè)備1，本領(lǐng)域技術(shù)人員可以理解的是，圖3示出的結(jié)構(gòu)并不構(gòu)成對所述電子設(shè)備1的限定，可以包括比圖示更少或者更多的部件，或者組合某些部件，或者不同的部件布置。
結(jié)合圖1，所述電子設(shè)備1中的所述存儲器12存儲多個(gè)指令以實(shí)現(xiàn)一種AI客服模型測試方法，所述處理器13可執(zhí)行所述多個(gè)指令從而實(shí)現(xiàn)：
當(dāng)接收到對待測AI客服模型的測試指令時(shí)，從語料庫中獲取預(yù)先配置的標(biāo)準(zhǔn)語料，所述標(biāo)準(zhǔn)語料包括輸入標(biāo)準(zhǔn)語料及輸出標(biāo)準(zhǔn)語料；
基于語義相似算法對所述標(biāo)準(zhǔn)語料進(jìn)行相似度分析，得到分類語料；
基于預(yù)設(shè)詞庫對所述分類語料進(jìn)行擴(kuò)展，生成測試樣本，所述測試樣本中包括與所述輸入標(biāo)準(zhǔn)語料對應(yīng)的輸入數(shù)據(jù)及與所述輸出標(biāo)準(zhǔn)語料對應(yīng)的期望數(shù)據(jù)；
將所述輸入數(shù)據(jù)輸入至所述待測AI客服模型中，得到輸出數(shù)據(jù)；
以配置腳本調(diào)用所述輸出數(shù)據(jù)及所述期望數(shù)據(jù)，輸出對所述待測AI客服模型的測試結(jié)果。
具體地，所述處理器13對上述指令的具體實(shí)現(xiàn)方法可參考圖1對應(yīng)實(shí)施例中相關(guān)步驟的描述，在此不贅述。
在本發(fā)明所提供的幾個(gè)實(shí)施例中，應(yīng)該理解到，所揭露的系統(tǒng)，裝置和方法，可以通過其它的方式實(shí)現(xiàn)。例如，以上所描述的裝置實(shí)施例僅僅是示意性的，例如，所述模塊的劃分，僅僅為一種邏輯功能劃分，實(shí)際實(shí)現(xiàn)時(shí)可以有另外的劃分方式。
所述作為分離部件說明的模塊可以是或者也可以不是物理上分開的，作為模塊顯示的部件可以是或者也可以不是物理單元，即可以位于一個(gè)地方，或者也可以分布到多個(gè)網(wǎng)絡(luò)單元上。可以根據(jù)實(shí)際的需要選擇其中的部分或者全部模塊來實(shí)現(xiàn)本實(shí)施例方案的目的。
另外，在本發(fā)明各個(gè)實(shí)施例中的各功能模塊可以集成在一個(gè)處理單元中，也可以是各個(gè)單元單獨(dú)物理存在，也可以兩個(gè)或兩個(gè)以上單元集成在一個(gè)單元中。上述集成的單元既可以采用硬件的形式實(shí)現(xiàn)，也可以采用硬件加軟件功能模塊的形式實(shí)現(xiàn)。
對于本領(lǐng)域技術(shù)人員而言，顯然本發(fā)明不限于上述示范性實(shí)施例的細(xì)節(jié)，而且在不背離本發(fā)明的精神或基本特征的情況下，能夠以其他的具體形式實(shí)現(xiàn)本發(fā)明。
因此，無論從哪一點(diǎn)來看，均應(yīng)將實(shí)施例看作是示范性的，而且是非限制性的，本發(fā)明的范圍由所附權(quán)利要求而不是上述說明限定，因此旨在將落在權(quán)利要求的等同要件的含義和范圍內(nèi)的所有變化涵括在本發(fā)明內(nèi)。不應(yīng)將權(quán)利要求中的任何附關(guān)聯(lián)圖標(biāo)記視為限制所涉及的權(quán)利要求。
此外，顯然“包括”一詞不排除其他單元或步驟，單數(shù)不排除復(fù)數(shù)。系統(tǒng)權(quán)利要求中陳述的多個(gè)單元或裝置也可以由一個(gè)單元或裝置通過軟件或者硬件來實(shí)現(xiàn)。第二等詞語用來表示名稱，而并不表示任何特定的順序。
最后應(yīng)說明的是，以上實(shí)施例僅用以說明本發(fā)明的技術(shù)方案而非限制，盡管參照較佳實(shí)施例對本發(fā)明進(jìn)行了詳細(xì)說明，本領(lǐng)域的普通技術(shù)人員應(yīng)當(dāng)理解，可以對本發(fā)明的技術(shù)方案進(jìn)行修改或等同替換，而不脫離本發(fā)明技術(shù)方案的精神和范圍。