欧美www网站,另类老妇性bbwbbw,久青草久青草视频在线观看,男女一进一出抽搐18禁视频,免费网站看av片

權(quán)利要求
1.一種基于數(shù)字孿生技術(shù)的音頻視頻的同步方法，其特征在于，所述同步方法包括：
獲取目標(biāo)用戶的音頻數(shù)據(jù)流和視頻數(shù)據(jù)流；
對所述音頻數(shù)據(jù)流標(biāo)記音頻時間戳，對所述視頻數(shù)據(jù)流標(biāo)記視頻時間戳，所述音頻時間戳和所述視頻時間戳相對應(yīng)；
將所述音頻數(shù)據(jù)流和所述視頻數(shù)據(jù)流輸入至數(shù)字化人物模型，通過所述數(shù)字化人物模型按照所述音頻時間戳的時序輸出所述音頻數(shù)據(jù)流，以所述音頻數(shù)據(jù)流的時鐘為參考時鐘，通過所述數(shù)字化人物模型按照所述視頻時間戳的時序同步控制所述視頻數(shù)據(jù)流的播放速度，并根據(jù)所述視頻數(shù)據(jù)流中目標(biāo)用戶的口型數(shù)據(jù)控制所述數(shù)字化人物模型的口型同步變化。
2.根據(jù)權(quán)利要求1所述的基于數(shù)字孿生技術(shù)的音頻視頻的同步方法，其特征在于，所述對所述音頻數(shù)據(jù)流標(biāo)記音頻時間戳，對所述視頻數(shù)據(jù)流標(biāo)記視頻時間戳包括：
根據(jù)當(dāng)前時間的網(wǎng)絡(luò)帶寬確定音頻標(biāo)記時間間隔和視頻標(biāo)記時間間隔，其中，所述網(wǎng)絡(luò)帶寬與所述音頻標(biāo)記時間間隔和所述視頻標(biāo)記時間間隔呈正比；
以本地時鐘為參考，從所述音頻數(shù)據(jù)流的起點開始，按照所述音頻標(biāo)記時間間隔對所述音頻數(shù)據(jù)流標(biāo)記音頻時間戳，從所述視頻數(shù)據(jù)流的起點開始，按照所述視頻標(biāo)記時間間隔對所述視頻數(shù)據(jù)流標(biāo)記視頻時間戳。
3.根據(jù)權(quán)利要求1所述的基于數(shù)字孿生技術(shù)的音頻視頻的同步方法，其特征在于，所述獲取目標(biāo)用戶的音頻數(shù)據(jù)流和視頻數(shù)據(jù)流包括：
獲取所述目標(biāo)用戶的音頻數(shù)據(jù)和視頻數(shù)據(jù)，對所述音頻數(shù)據(jù)和所述視頻數(shù)據(jù)進(jìn)行編碼后，得到所述音頻數(shù)據(jù)流和所述視頻數(shù)據(jù)流；
所述通過所述數(shù)字化人物模型按照所述音頻時間戳的時序輸出所述音頻數(shù)據(jù)流包括：
通過音頻解碼器解碼所述音頻數(shù)據(jù)流后，將解碼后的音頻數(shù)據(jù)流和音頻數(shù)據(jù)流中各音頻字節(jié)流對應(yīng)的音頻時間戳緩存至音頻緩存區(qū)，按照所述音頻時間戳的時序從所述音頻緩存區(qū)中讀取音頻字節(jié)流并通過所述數(shù)字化人物模型播放；
所述通過所述數(shù)字化人物模型按照所述視頻時間戳的時序同步控制所述視頻數(shù)據(jù)流的播放速度包括：
通過視頻解碼器解碼所述視頻數(shù)據(jù)流，將解碼后的視頻數(shù)據(jù)流和視頻數(shù)據(jù)流中各視頻字節(jié)流對應(yīng)的視頻時間戳緩存至視頻緩沖區(qū)，按照所述視頻時間戳的時序從所述視頻緩沖區(qū)中讀取視頻字節(jié)流并通過所述數(shù)字化人物模型同步控制所述視頻字節(jié)流的播放速度。
4.根據(jù)權(quán)利要求3所述的基于數(shù)字孿生技術(shù)的音頻視頻的同步方法，其特征在于，所述音頻數(shù)據(jù)的第一采集時間間隔與音頻標(biāo)記時間間隔相對應(yīng)，所述視頻數(shù)據(jù)的第二采集時間間隔與視頻標(biāo)記時間間隔相對應(yīng)。
5.根據(jù)權(quán)利要求1-4任意一項所述的基于數(shù)字孿生技術(shù)的音頻視頻的同步方法，其特征在于，所述以所述音頻數(shù)據(jù)流的時鐘為參考時鐘，通過所述數(shù)字化人物模型按照所述視頻時間戳的時序同步控制所述視頻數(shù)據(jù)流的播放速度包括：
以所述音頻數(shù)據(jù)流的時鐘為參考時鐘，在所述視頻數(shù)據(jù)流中當(dāng)前播放的視頻字節(jié)流的視頻時間戳早于當(dāng)前播放的音頻字節(jié)流的音頻時間戳的情況下，則跳轉(zhuǎn)到當(dāng)前播放的音頻字節(jié)流的音頻時間戳對應(yīng)的視頻時間戳的視頻字節(jié)流并通過所述數(shù)字化人物模型播放，在所述視頻數(shù)據(jù)流中當(dāng)前播放的視頻字節(jié)流的視頻時間戳晚于當(dāng)前播放的音頻字節(jié)流的音頻時間戳的情況下，則暫停所述視頻數(shù)據(jù)流中當(dāng)前播放的視頻字節(jié)流，并在音頻字節(jié)流的音頻時間戳與當(dāng)前播放的視頻字節(jié)流的視頻時間戳再次對應(yīng)的情況下，再通過所述數(shù)字化人物模型控制視頻數(shù)據(jù)流中當(dāng)前播放的視頻字節(jié)流開始播放。
6.一種基于數(shù)字孿生技術(shù)的音頻視頻的同步裝置，其特征在于，所述裝置包括：
獲取模塊，用于獲取目標(biāo)用戶的音頻數(shù)據(jù)流和視頻數(shù)據(jù)流；
標(biāo)記模塊，用于對所述音頻數(shù)據(jù)流標(biāo)記音頻時間戳，對所述視頻數(shù)據(jù)流標(biāo)記視頻時間戳，所述音頻時間戳和所述視頻時間戳相對應(yīng)；
同步模塊，用于將所述音頻數(shù)據(jù)流和所述視頻數(shù)據(jù)流輸入至數(shù)字化人物模型，通過所述數(shù)字化人物模型按照所述音頻時間戳的時序輸出所述音頻數(shù)據(jù)流，以所述音頻數(shù)據(jù)流的時鐘為參考時鐘，通過所述數(shù)字化人物模型按照所述視頻時間戳的時序同步控制所述視頻數(shù)據(jù)流的播放速度，并根據(jù)所述視頻數(shù)據(jù)流中目標(biāo)用戶的口型數(shù)據(jù)控制所述數(shù)字化人物模型的口型同步變化。
7.根據(jù)權(quán)利要求6所述的基于數(shù)字孿生技術(shù)的音頻視頻的同步裝置，其特征在于，所述標(biāo)記模塊，還用于根據(jù)當(dāng)前時間的網(wǎng)絡(luò)帶寬確定音頻標(biāo)記時間間隔和視頻標(biāo)記時間間隔，其中，所述網(wǎng)絡(luò)帶寬與所述音頻標(biāo)記時間間隔和所述視頻標(biāo)記時間間隔呈正比；以本地時鐘為參考，從所述音頻數(shù)據(jù)流的起點開始，按照所述音頻標(biāo)記時間間隔對所述音頻數(shù)據(jù)流標(biāo)記音頻時間戳，從所述視頻數(shù)據(jù)流的起點開始，按照所述視頻標(biāo)記時間間隔對所述視頻數(shù)據(jù)流標(biāo)記視頻時間戳。
8.根據(jù)權(quán)利要求6所述的基于數(shù)字孿生技術(shù)的音頻視頻的同步裝置，其特征在于，所述同步模塊，還用于以所述音頻數(shù)據(jù)流的時鐘為參考時鐘，在所述視頻數(shù)據(jù)流中當(dāng)前播放的視頻字節(jié)流的視頻時間戳早于當(dāng)前播放的音頻字節(jié)流的音頻時間戳的情況下，則跳轉(zhuǎn)到當(dāng)前播放的音頻字節(jié)流的音頻時間戳對應(yīng)的視頻時間戳的視頻字節(jié)流并通過所述數(shù)字化人物模型播放，在所述視頻數(shù)據(jù)流中當(dāng)前播放的視頻字節(jié)流的視頻時間戳晚于當(dāng)前播放的音頻字節(jié)流的音頻時間戳的情況下，則暫停所述視頻數(shù)據(jù)流中當(dāng)前播放的視頻字節(jié)流，并在音頻字節(jié)流的音頻時間戳與當(dāng)前播放的視頻字節(jié)流的視頻時間戳再次對應(yīng)的情況下，再通過所述數(shù)字化人物模型控制視頻數(shù)據(jù)流中當(dāng)前播放的視頻字節(jié)流開始播放。
9.一種音頻視頻的同步系統(tǒng)，其特征在于，包括：
第一服務(wù)器，用于獲取目標(biāo)用戶的音頻數(shù)據(jù)流，對所述音頻數(shù)據(jù)流標(biāo)記音頻時間戳；
第二服務(wù)器，用于獲取目標(biāo)用戶的視頻數(shù)據(jù)流，對所述視頻數(shù)據(jù)流標(biāo)記視頻時間戳，所述音頻時間戳和所述視頻時間戳相對應(yīng)；
第三服務(wù)器，用于將所述音頻數(shù)據(jù)流和所述視頻數(shù)據(jù)流輸入至數(shù)字化人物模型，通過所述數(shù)字化人物模型按照所述音頻時間戳的時序輸出所述音頻數(shù)據(jù)流，以所述音頻數(shù)據(jù)流的時鐘為參考時鐘，通過所述數(shù)字化人物模型按照所述視頻時間戳的時序同步控制所述視頻數(shù)據(jù)流的播放速度，并根據(jù)所述視頻數(shù)據(jù)流中目標(biāo)用戶的口型數(shù)據(jù)控制所述數(shù)字化人物模型的口型同步變化。
10.一種電子設(shè)備，其特征在于，包括處理器、通信接口、存儲器和通信總線；其中，所述處理器、所述通信接口以及所述存儲器通過通信總線完成相互間的通信；所述存儲器，用于存放計算機程序；所述處理器，用于執(zhí)行所述存儲器上所存放的程序，實現(xiàn)如權(quán)利要求1-5任一項所述的基于數(shù)字孿生技術(shù)的音頻視頻的同步方法的步驟。

說明書
基于數(shù)字孿生技術(shù)的音頻視頻的同步方法及裝置
技術(shù)領(lǐng)域
本申請涉及音視頻技術(shù)領(lǐng)域，尤其涉及一種基于數(shù)字孿生技術(shù)的音頻視頻的同步方法及裝置。
背景技術(shù)
隨著互聯(lián)網(wǎng)技術(shù)的不斷發(fā)展，數(shù)字孿生技術(shù)開始在產(chǎn)品設(shè)計、產(chǎn)品制造、醫(yī)學(xué)分析以及金融等領(lǐng)域開始廣泛應(yīng)用。數(shù)字孿生技術(shù)指的是使用傳感器收集相關(guān)實時狀態(tài)，采集工作環(huán)境位置的數(shù)據(jù)并上傳到基于云的系統(tǒng)，該云的系統(tǒng)接收并處理傳感器收集的數(shù)據(jù)，根據(jù)現(xiàn)實業(yè)務(wù)和關(guān)聯(lián)數(shù)據(jù)進(jìn)行分析，分析結(jié)果通過虛擬仿真技術(shù)進(jìn)行可視化呈現(xiàn)。
在一些場景下，在金融行業(yè)領(lǐng)域的在線客服的人機對話中，采用數(shù)字孿生技術(shù)將客服人物虛擬化、數(shù)字化后，得到數(shù)字化人物，對于數(shù)字化人物的動態(tài)尤其是口型和聲音的同步是提高用戶體驗的關(guān)鍵因素。但是在實際應(yīng)用的過程中，數(shù)字化人物的口型變化往往是固定的，對應(yīng)不同的真人客服，數(shù)字化人物的口型和真人客服的口型和聲音會出現(xiàn)不同步的情況，導(dǎo)致用戶體驗感較低。
發(fā)明內(nèi)容
本申請實施例的目的是提供一種基于數(shù)字孿生技術(shù)的音頻視頻的同步方法及裝置，以解決數(shù)字化人物的口型和真人客服的口型和聲音不同步的問題。
第一方面，本申請實施例提供了一種基于數(shù)字孿生技術(shù)的音頻視頻的同步方法，包括：獲取目標(biāo)用戶的音頻數(shù)據(jù)流和視頻數(shù)據(jù)流；對所述音頻數(shù)據(jù)流標(biāo)記音頻時間戳，對所述視頻數(shù)據(jù)流標(biāo)記視頻時間戳，所述音頻時間戳和所述視頻時間戳相對應(yīng)；將所述音頻數(shù)據(jù)流和所述視頻數(shù)據(jù)流輸入至數(shù)字化人物模型，通過所述數(shù)字化人物模型按照所述音頻時間戳的時序輸出所述音頻數(shù)據(jù)流，以所述音頻數(shù)據(jù)流的時鐘為參考時鐘，通過所述數(shù)字化人物模型按照所述視頻時間戳的時序同步控制所述視頻數(shù)據(jù)流的播放速度，并根據(jù)所述視頻數(shù)據(jù)流中目標(biāo)用戶的口型數(shù)據(jù)控制所述數(shù)字化人物模型的口型同步變化。
第二方面，本申請實施例提供了一種基于數(shù)字孿生技術(shù)的音頻視頻的同步裝置，包括：獲取模塊，用于獲取目標(biāo)用戶的音頻數(shù)據(jù)流和視頻數(shù)據(jù)流；標(biāo)記模塊，用于對所述音頻數(shù)據(jù)流標(biāo)記音頻時間戳，對所述視頻數(shù)據(jù)流標(biāo)記視頻時間戳，所述音頻時間戳和所述視頻時間戳相對應(yīng)；同步模塊，用于將所述音頻數(shù)據(jù)流和所述視頻數(shù)據(jù)流輸入至數(shù)字化人物模型，通過所述數(shù)字化人物模型按照所述音頻時間戳的時序輸出所述音頻數(shù)據(jù)流，以所述音頻數(shù)據(jù)流的時鐘為參考時鐘，通過所述數(shù)字化人物模型按照所述視頻時間戳的時序同步控制所述視頻數(shù)據(jù)流的播放速度，并根據(jù)所述視頻數(shù)據(jù)流中目標(biāo)用戶的口型數(shù)據(jù)控制所述數(shù)字化人物模型的口型同步變化。
第三方面，本申請實施例提供了一種電子設(shè)備，包括處理器、通信接口、存儲器和通信總線；其中，所述處理器、所述通信接口以及所述存儲器通過總線完成相互間的通信；所述存儲器，用于存放計算機程序；所述處理器，用于執(zhí)行所述存儲器上所存放的程序，實現(xiàn)如第一方面所述的基于數(shù)字孿生技術(shù)的音頻視頻的同步方法步驟。
第四方面，本申請實施例提供了一種計算機可讀存儲介質(zhì)，所述計算機可讀存儲介質(zhì)上存儲有計算機程序，所述計算機程序被處理器執(zhí)行時，實現(xiàn)如第一方面所述的基于數(shù)字孿生技術(shù)的音頻視頻的同步方法步驟。
由以上本申請實施例提供的技術(shù)方案可見，通過確定目標(biāo)用戶的音頻數(shù)據(jù)流和視頻數(shù)據(jù)流，對音頻數(shù)據(jù)流標(biāo)記音頻時間戳，對視頻數(shù)據(jù)流標(biāo)記視頻時間戳，音頻時間戳和視頻時間戳相對應(yīng)，將所述音頻數(shù)據(jù)流和所述視頻數(shù)據(jù)流輸入至數(shù)字化人物模型，通過數(shù)字化人物模型按照音頻時間戳的時序播放音頻數(shù)據(jù)流，以音頻數(shù)據(jù)流的時鐘為參考時鐘，通過數(shù)字化人物模型按照視頻時間戳的時序同步控制視頻數(shù)據(jù)流的播放速度，并根據(jù)視頻數(shù)據(jù)流中目標(biāo)用戶的口型數(shù)據(jù)控制數(shù)字化人物模型的口型同步變化，能夠以音頻數(shù)據(jù)流的時鐘為參考時鐘，利用音頻時間戳和視頻時間戳同步控制視頻數(shù)據(jù)流的播放速度，使得數(shù)字化人物的音頻和口型和視頻數(shù)據(jù)流中目標(biāo)用戶的口型和聲音同步，提升了用戶的體驗感。
附圖說明
為了更清楚地說明本申請實施例或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對實施例或現(xiàn)有技術(shù)描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本申請中記載的一些實施例，對于本領(lǐng)域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動性的前提下，還可以根據(jù)這些附圖獲得其他的附圖。
圖1為本申請實施例提供的基于數(shù)字孿生技術(shù)的音頻視頻的同步方法的第一種流程示意圖；
圖2為本申請實施例提供的基于數(shù)字孿生技術(shù)的音頻視頻的同步方法的第二種流程示意圖；
圖3為本申請實施例提供的基于數(shù)字孿生技術(shù)的音頻視頻的同步方法的第三種流程示意圖；
圖4為本申請實施例提供的基于數(shù)字孿生技術(shù)的音頻視頻的同步裝置的模塊組成示意圖；
圖5為本申請實施例提供的電子設(shè)備的結(jié)構(gòu)示意圖；
圖6為本申請實施例提供的基于數(shù)字孿生技術(shù)的音頻視頻的同步系統(tǒng)的結(jié)構(gòu)示意圖。
具體實施方式
本申請實施例提供了一種基于數(shù)字孿生技術(shù)的音頻視頻的同步方法、裝置及電子設(shè)備，解決了數(shù)字化人物的口型和真人客服的口型和聲音不同步的問題。
為了使本技術(shù)領(lǐng)域的人員更好地理解本申請中的技術(shù)方案，下面將結(jié)合本申請實施例中的附圖，對本申請實施例中的技術(shù)方案進(jìn)行清楚、完整地描述，顯然，所描述的實施例僅僅是本申請一部分實施例，而不是全部的實施例?；诒旧暾堉械膶嵤├?，本領(lǐng)域普通技術(shù)人員在沒有作出創(chuàng)造性勞動前提下所獲得的所有其他實施例，都應(yīng)當(dāng)屬于本申請保護(hù)的范圍。
示例性的，如圖1所示，本申請實施例提供一種基于數(shù)字孿生技術(shù)的音頻視頻的同步方法，該方法的執(zhí)行主體可以為終端設(shè)備，也就是說，本申請實施例提供的一種基于數(shù)字孿生技術(shù)的音頻視頻的同步方法可以由安裝在終端設(shè)備上的硬件或軟件完成。該基于數(shù)字孿生技術(shù)的音頻視頻的同步方法具體可以包括以下步驟。：
在步驟S101中，獲取目標(biāo)用戶的音頻數(shù)據(jù)流和視頻數(shù)據(jù)流。
具體來講，目標(biāo)用戶為參與到與驅(qū)動數(shù)字化人物模型的用戶，目標(biāo)用戶在說話的過程中，可以利用傳感器收集目標(biāo)用戶的聲音以及通過攝像頭采集目標(biāo)用戶的口型變化的動作。
進(jìn)一步，獲取目標(biāo)用戶的音頻數(shù)據(jù)流和視頻數(shù)據(jù)流包括：獲取目標(biāo)用戶的音頻數(shù)據(jù)和視頻數(shù)據(jù)，對音頻數(shù)據(jù)和視頻數(shù)據(jù)進(jìn)行編碼后，得到音頻數(shù)據(jù)流和視頻數(shù)據(jù)流。具體是傳感器收集的目標(biāo)用戶的音頻數(shù)據(jù)后，傳輸至音頻編碼器，由音頻編碼器對音頻數(shù)據(jù)進(jìn)行編碼，得到音頻數(shù)據(jù)流，攝像頭采集到目標(biāo)用戶的口型變化的視頻數(shù)據(jù)后，傳輸至視頻編碼器，由視頻編碼器對視頻數(shù)據(jù)進(jìn)行編碼，得到視頻數(shù)據(jù)流。
在獲取目標(biāo)用戶的音頻數(shù)據(jù)流和視頻數(shù)據(jù)流時，可以是以預(yù)定時間間隔獲取音頻數(shù)據(jù)流和視頻數(shù)據(jù)流，對于音頻數(shù)據(jù)流而言，預(yù)定時間間隔可以為第一采集時間間隔，對于視頻數(shù)據(jù)流而言，預(yù)定時間間隔可以為第二采集時間間隔。具體是每隔第一采集時間間隔采集目標(biāo)用戶的音頻數(shù)據(jù)，每隔第二采集時間間隔采集目標(biāo)用戶的視頻數(shù)據(jù)，再由音頻編碼器對音頻數(shù)據(jù)進(jìn)行編碼，由視頻編碼器對視頻數(shù)據(jù)進(jìn)行編碼。其中，第一采集時間間隔和第二采集時間間隔可以相同。
在步驟S103中，對音頻數(shù)據(jù)流標(biāo)記音頻時間戳，對視頻數(shù)據(jù)流標(biāo)記視頻時間戳，音頻時間戳和視頻時間戳相對應(yīng)。
具體來講，對于音頻數(shù)據(jù)流而言，以音頻標(biāo)記時間間隔按照音頻數(shù)據(jù)流的時序?qū)σ纛l數(shù)據(jù)流標(biāo)記時間戳，音頻標(biāo)記時間間隔可以由用戶自定義設(shè)置，如設(shè)置為1秒、2秒等，也可以根據(jù)當(dāng)前的網(wǎng)絡(luò)帶寬確定音頻標(biāo)記時間間隔，例如，以2秒為一個音頻標(biāo)記時間間隔按照音頻數(shù)據(jù)流的時序?qū)σ纛l數(shù)據(jù)流標(biāo)記時間戳。對于視頻數(shù)據(jù)流而言，以視頻標(biāo)記時間間隔按照視頻數(shù)據(jù)流的時序?qū)σ曨l數(shù)據(jù)流標(biāo)記時間戳，視頻標(biāo)記時間間隔可以由用戶自定義設(shè)置，如設(shè)置為1秒、2秒等，也可以根據(jù)當(dāng)前的網(wǎng)絡(luò)帶寬確定視頻標(biāo)記時間間隔，例如，以2秒為一個音頻標(biāo)記時間間隔按照音頻數(shù)據(jù)流的時序?qū)σ纛l數(shù)據(jù)流標(biāo)記時間戳。其中，對于音頻數(shù)據(jù)流和視頻數(shù)據(jù)流，可以以本地時鐘作為參考，將音頻時間戳和視頻時間戳確定為相同的時刻，從而保證音頻數(shù)據(jù)流和視頻數(shù)據(jù)流的一致性。
在步驟S105中，將音頻數(shù)據(jù)流和視頻數(shù)據(jù)流輸入至數(shù)字化人物模型，通過數(shù)字化人物模型按照音頻時間戳的時序輸出音頻數(shù)據(jù)流，以音頻數(shù)據(jù)流的時鐘為參考時鐘，通過數(shù)字化人物模型按照視頻時間戳的時序同步控制視頻數(shù)據(jù)流的播放速度，并根據(jù)視頻數(shù)據(jù)流中目標(biāo)用戶的口型數(shù)據(jù)控制數(shù)字化人物模型的口型同步變化。
具體來講，在獲取到標(biāo)記了音頻時間戳和視頻時間戳的音頻數(shù)據(jù)流和視頻數(shù)據(jù)流之后，通過音頻解碼器解碼音頻數(shù)據(jù)流，將解碼后的音頻數(shù)據(jù)流和視頻數(shù)據(jù)流中各音頻字節(jié)流對應(yīng)的音頻時間戳緩存至音頻緩存區(qū)，按照音頻時間戳的時序從音頻緩存區(qū)中讀取音頻字節(jié)流并通過所述數(shù)字化人物模型播放。在播放音頻字節(jié)流的過程中，以音頻數(shù)據(jù)流的時鐘為參考時鐘，通過視頻解碼器解碼視頻數(shù)據(jù)流，將解碼后的視頻數(shù)據(jù)流和視頻數(shù)據(jù)流中各視頻字節(jié)流對應(yīng)的視頻時間戳緩存至視頻緩沖區(qū)，按照視頻時間戳的時序從視頻緩沖區(qū)中讀取視頻字節(jié)流并通過所述數(shù)字化人物模型同步控制視頻字節(jié)流的播放速度，從音頻緩存區(qū)和視頻緩存區(qū)中讀取音頻字節(jié)流和視頻字節(jié)流并通過數(shù)字化人物模型播放，能夠進(jìn)一步提升音頻和視頻播放時的同步性。
在視頻數(shù)據(jù)流中，包括目標(biāo)用戶在說話時的口型變化的動作，用戶說話的過程中，會產(chǎn)生聲音和口型變化，將視頻數(shù)據(jù)流輸入到數(shù)字化人物模型，確定當(dāng)前時刻播放的音頻字節(jié)流的音頻標(biāo)記時間戳，再確定與當(dāng)前時刻播放的音頻字節(jié)流的音頻標(biāo)記時間戳對應(yīng)的視頻標(biāo)記時間戳，并將該視頻標(biāo)記時間戳對應(yīng)的視頻字節(jié)流中目標(biāo)用戶的口型變化動作應(yīng)用到數(shù)字化人物模型，使得數(shù)字化人物模型的口型與目標(biāo)用戶的口型同步變化。
由以上本申請實施例提供的技術(shù)方案可見，能夠以音頻數(shù)據(jù)流的時鐘為參考時鐘，利用音頻時間戳和視頻時間戳同步控制視頻數(shù)據(jù)流的播放速度，使得數(shù)字化人物的音頻和口型和視頻數(shù)據(jù)流中目標(biāo)用戶的口型和聲音同步，提升了用戶的體驗感。
示例性的，如圖2所示，本申請實施例提供一種基于數(shù)字孿生技術(shù)的音頻視頻的同步方法，該方法的執(zhí)行主體可以為終端設(shè)備，也就是說，本申請實施例提供的一種基于數(shù)字孿生技術(shù)的音頻視頻的同步方法可以由安裝在終端設(shè)備上的硬件或軟件完成。該基于數(shù)字孿生技術(shù)的音頻視頻的同步方法具體可以包括以下步驟：
在步驟S201中，獲取目標(biāo)用戶的音頻數(shù)據(jù)流和視頻數(shù)據(jù)流。
在步驟S203中，根據(jù)當(dāng)前時間的網(wǎng)絡(luò)帶寬確定音頻標(biāo)記時間間隔和視頻標(biāo)記時間間隔，其中，網(wǎng)絡(luò)帶寬與音頻標(biāo)記時間間隔和視頻標(biāo)記時間間隔呈正比；以本地時鐘為參考，從音頻數(shù)據(jù)流的起點開始，按照音頻標(biāo)記時間間隔對音頻數(shù)據(jù)流標(biāo)記音頻時間戳，從視頻數(shù)據(jù)流的起點開始，按照視頻標(biāo)記時間間隔對視頻數(shù)據(jù)流標(biāo)記視頻時間戳。
具體的，根據(jù)網(wǎng)絡(luò)帶寬的大小確定音頻標(biāo)記時間間隔和視頻標(biāo)記時間間隔，若當(dāng)前時刻的網(wǎng)絡(luò)帶寬較高，則可以將音頻標(biāo)記時間間隔和視頻標(biāo)記時間間隔設(shè)置的大一些，若當(dāng)前時刻的網(wǎng)絡(luò)帶寬較低，則可以將音頻標(biāo)記時間間隔和視頻標(biāo)記時間間隔設(shè)置的小一些，例如，在網(wǎng)絡(luò)帶寬處于150KB/s以下時，將音頻標(biāo)記時間間隔和視頻標(biāo)記時間間隔設(shè)置為1秒，在網(wǎng)絡(luò)帶寬處于150KB/s以上時，將音頻標(biāo)記時間間隔和視頻標(biāo)記時間間隔設(shè)置為2秒等。
進(jìn)一步，音頻數(shù)據(jù)流由多段音頻字節(jié)流組成，視頻數(shù)據(jù)流由多段視頻字節(jié)流組成，音頻數(shù)據(jù)流和視頻數(shù)據(jù)流都具有起點和終點，在標(biāo)記時間戳?xí)r，可以從音頻數(shù)據(jù)流的起點開始，按照音頻標(biāo)記時間間隔對音頻數(shù)據(jù)流中的各段音頻字節(jié)流標(biāo)記時間戳，從視頻數(shù)據(jù)流的起點開始，按照視頻標(biāo)記時間間隔對視頻數(shù)據(jù)流中的各段視頻字節(jié)流標(biāo)記時間戳。
在步驟S205中，將音頻數(shù)據(jù)流和視頻數(shù)據(jù)流輸入至數(shù)字化人物模型，通過數(shù)字化人物模型按照音頻時間戳的時序輸出音頻數(shù)據(jù)流，以音頻數(shù)據(jù)流的時鐘為參考時鐘，通過數(shù)字化人物模型按照視頻時間戳的時序同步控制視頻數(shù)據(jù)流的播放速度，并根據(jù)視頻數(shù)據(jù)流中目標(biāo)用戶的口型數(shù)據(jù)控制數(shù)字化人物模型的口型同步變化。
值得注意的是，步驟S201和步驟S205與上述步驟S101和步驟S105具有相同或類似的實現(xiàn)方式，其可以互相參照，本申請實施例在此不再贅述。
由以上本申請實施例提供的技術(shù)方案可見，能夠以音頻數(shù)據(jù)流的時鐘為參考時鐘，利用音頻時間戳和視頻時間戳同步控制視頻數(shù)據(jù)流的播放速度，使得數(shù)字化人物的音頻和口型和視頻數(shù)據(jù)流中目標(biāo)用戶的口型和聲音同步，提升了用戶的體驗感。此外，還能夠按照當(dāng)前時間的網(wǎng)絡(luò)帶寬確定音頻標(biāo)記時間間隔和視頻標(biāo)記時間間隔，根據(jù)實際的網(wǎng)絡(luò)情況確定時間間隔，使得對音頻數(shù)據(jù)流和視頻數(shù)據(jù)流添加時間戳能夠和實際網(wǎng)絡(luò)帶寬保持一致性，進(jìn)一步提高了數(shù)字化人物的音頻和口型和視頻數(shù)據(jù)流中目標(biāo)用戶的口型和聲音同步性。
示例性的，如圖3所示，本申請實施例提供一種基于數(shù)字孿生技術(shù)的音頻視頻的同步方法，該方法的執(zhí)行主體可以為終端設(shè)備，也就是說，本申請實施例提供的一種基于數(shù)字孿生技術(shù)的音頻視頻的同步方法可以由安裝在終端設(shè)備上的硬件或軟件完成。該基于數(shù)字孿生技術(shù)的音頻視頻的同步方法具體可以包括以下步驟：
在步驟S301中，獲取目標(biāo)用戶的音頻數(shù)據(jù)流和視頻數(shù)據(jù)流。
在步驟S303中，對音頻數(shù)據(jù)流標(biāo)記音頻時間戳，對視頻數(shù)據(jù)流標(biāo)記視頻時間戳，音頻時間戳和視頻時間戳相對應(yīng)。
在步驟S305中，以音頻數(shù)據(jù)流的時鐘為參考時鐘，在視頻數(shù)據(jù)流中當(dāng)前播放的視頻字節(jié)流的視頻時間戳早于當(dāng)前播放的音頻字節(jié)流的音頻時間戳的情況下，則跳轉(zhuǎn)到當(dāng)前播放的音頻字節(jié)流的音頻時間戳對應(yīng)的視頻時間戳的視頻字節(jié)流并通過所述數(shù)字化人物模型播放，在視頻數(shù)據(jù)流中當(dāng)前播放的視頻字節(jié)流的視頻時間戳晚于當(dāng)前播放的音頻字節(jié)流的音頻時間戳的情況下，則暫停視頻數(shù)據(jù)流中當(dāng)前播放的視頻字節(jié)流，并在音頻字節(jié)流的音頻時間戳與當(dāng)前播放的視頻字節(jié)流的視頻時間戳再次對應(yīng)的情況下，再通過所述數(shù)字化人物模型控制視頻數(shù)據(jù)流中當(dāng)前播放的視頻字節(jié)流開始播放，并根據(jù)視頻數(shù)據(jù)流中目標(biāo)用戶的口型數(shù)據(jù)控制數(shù)字化人物模型的口型同步變化。
具體來講，在確定目標(biāo)用戶之后，驅(qū)動數(shù)字化人物模型，將音頻數(shù)據(jù)流和視頻數(shù)據(jù)流輸入到數(shù)字化人物模型中，按照標(biāo)記的音頻時間戳的時序播放音頻數(shù)據(jù)流，以音頻數(shù)據(jù)流的時鐘為參考時鐘，在視頻數(shù)據(jù)流中當(dāng)前播放的視頻字節(jié)流的視頻時間戳早于當(dāng)前播放的音頻字節(jié)流的音頻時間戳的情況下，說明音頻數(shù)據(jù)流播放的比視頻數(shù)據(jù)流播放的快，則直接跳過當(dāng)前播放的該段視頻字節(jié)流，即丟棄該段視頻字節(jié)流，跳轉(zhuǎn)到當(dāng)前播放的音頻字節(jié)流的音頻時間戳對應(yīng)的視頻時間戳的視頻字節(jié)流并播放。在視頻數(shù)據(jù)流中當(dāng)前播放的視頻字節(jié)流的視頻時間戳晚于當(dāng)前播放的音頻字節(jié)流的音頻時間戳的情況下，說明音頻數(shù)據(jù)流比視頻數(shù)據(jù)流播放的慢，則先暫停視頻字節(jié)流的播放，音頻數(shù)據(jù)流繼續(xù)播放，等到當(dāng)前播放的音頻數(shù)據(jù)流的時間戳與暫停的視頻字節(jié)流的時間戳一致時，再控制視頻數(shù)據(jù)流中當(dāng)前播放的視頻字節(jié)流開始播放。從而保證音頻字節(jié)流和視頻字節(jié)流播放時的同步性，同時保證數(shù)字化人物模型的口型和聲音與當(dāng)前播放的視頻字節(jié)流的目標(biāo)用戶的口型的同步性。
此外，視頻數(shù)據(jù)流中當(dāng)前播放的視頻字節(jié)流的視頻時間戳早于當(dāng)前播放的音頻字節(jié)流的音頻時間戳的情況下，還可以加速播放視頻字節(jié)流，暫停音頻字節(jié)流，在兩者的時間戳變?yōu)橐恢聲r，將視頻數(shù)據(jù)流的播放速度恢復(fù)為正常速度，并控制音頻字節(jié)流由暫停狀態(tài)為開始播放狀態(tài)。在視頻數(shù)據(jù)流中當(dāng)前播放的視頻字節(jié)流的視頻時間戳晚于當(dāng)前播放的音頻字節(jié)流的音頻時間戳的情況下，可以加速播放音頻數(shù)據(jù)流，暫停視頻數(shù)據(jù)流，在兩者的時間戳變?yōu)橐恢聲r，將音頻數(shù)據(jù)流的播放速度恢復(fù)為正常速度，并控制視頻字節(jié)流由暫停狀態(tài)為開始播放狀態(tài)。
值得注意的是，步驟S301和步驟S303與上述步驟S101和步驟S103具有相同或類似的實現(xiàn)方式，本申請實施例在此不再贅述。
由以上本申請實施例提供的技術(shù)方案可見，能夠以音頻數(shù)據(jù)流的時鐘為參考時鐘，利用音頻時間戳和視頻時間戳同步控制視頻數(shù)據(jù)流的播放速度，使得數(shù)字化人物的音頻和口型和視頻數(shù)據(jù)流中目標(biāo)用戶的口型和聲音同步，提升了用戶的體驗感。此外，在音頻數(shù)據(jù)流或視頻數(shù)據(jù)流的播放速度相對過快或過慢時，可以調(diào)整音頻數(shù)據(jù)流或視頻數(shù)據(jù)流的播放速度，從而數(shù)字化人物的音頻和口型和視頻數(shù)據(jù)流中目標(biāo)用戶的口型和聲音同步。
對應(yīng)上述實施例提供的基于數(shù)字孿生技術(shù)的音頻視頻的同步方法，基于相同的技術(shù)構(gòu)思，本申請實施例還提供了一種基于數(shù)字孿生技術(shù)的音頻視頻的同步裝置，圖4本申請實施例提供的基于數(shù)字孿生技術(shù)的音頻視頻的同步裝置的模塊組成示意圖，該基于數(shù)字孿生技術(shù)的音頻視頻的同步裝置用于執(zhí)行圖1至圖3描述的基于數(shù)字孿生技術(shù)的音頻視頻的同步方法，如圖4示，該基于數(shù)字孿生技術(shù)的音頻視頻的同步裝置包括：獲取模塊401，用于獲取目標(biāo)用戶的音頻數(shù)據(jù)流和視頻數(shù)據(jù)流；標(biāo)記模塊402，用于對音頻數(shù)據(jù)流標(biāo)記音頻時間戳，對視頻數(shù)據(jù)流標(biāo)記視頻時間戳，音頻時間戳和視頻時間戳相對應(yīng)；同步模塊403，用于將所述音頻數(shù)據(jù)流和所述視頻數(shù)據(jù)流輸入至數(shù)字化人物模型，通過所述數(shù)字化人物模型按照音頻時間戳的時序播放音頻數(shù)據(jù)流，以音頻數(shù)據(jù)流的時鐘為參考時鐘，通過所述數(shù)字化人物模型按照視頻時間戳的時序同步控制視頻數(shù)據(jù)流的播放速度，并根據(jù)視頻數(shù)據(jù)流中目標(biāo)用戶的口型數(shù)據(jù)控制數(shù)字化人物模型的口型同步變化。
由以上本申請實施例提供的技術(shù)方案可見，能夠以音頻數(shù)據(jù)流的時鐘為參考時鐘，利用音頻時間戳和視頻時間戳同步控制視頻數(shù)據(jù)流的播放速度，使得數(shù)字化人物的音頻和口型和視頻數(shù)據(jù)流中目標(biāo)用戶的口型和聲音同步，提升了用戶的體驗感。
在一種可能的實現(xiàn)方式中，標(biāo)記模塊402，還用于根據(jù)當(dāng)前時間的網(wǎng)絡(luò)帶寬確定音頻標(biāo)記時間間隔和視頻標(biāo)記時間間隔，其中，網(wǎng)絡(luò)帶寬與音頻標(biāo)記時間間隔和視頻標(biāo)記時間間隔呈正比；以本地時鐘為參考，從音頻數(shù)據(jù)流的起點開始，按照音頻標(biāo)記時間間隔對音頻數(shù)據(jù)流標(biāo)記音頻時間戳，從視頻數(shù)據(jù)流的起點開始，按照視頻標(biāo)記時間間隔對視頻數(shù)據(jù)流標(biāo)記視頻時間戳。
在一種可能的實現(xiàn)方式中，獲取模塊401，還用于獲取目標(biāo)用戶的音頻數(shù)據(jù)和視頻數(shù)據(jù)，對音頻數(shù)據(jù)和視頻數(shù)據(jù)進(jìn)行編碼后，得到音頻數(shù)據(jù)流和視頻數(shù)據(jù)流。
在一種可能的實現(xiàn)方式中，同步模塊403，還用于通過音頻解碼器解碼音頻數(shù)據(jù)流后，將解碼后的音頻數(shù)據(jù)流和音頻數(shù)據(jù)流中各音頻字節(jié)流對應(yīng)的音頻時間戳緩存至音頻緩存區(qū)，按照音頻時間戳的時序從音頻緩存區(qū)中讀取音頻字節(jié)流并通過所述數(shù)字化人物模型播放，通過視頻解碼器解碼視頻數(shù)據(jù)流，將解碼后的視頻數(shù)據(jù)流和視頻數(shù)據(jù)流中各視頻字節(jié)流對應(yīng)的視頻時間戳緩存至視頻緩沖區(qū)，按照視頻時間戳的時序從視頻緩沖區(qū)中讀取視頻字節(jié)流并通過所述數(shù)字化人物模型同步控制視頻字節(jié)流的播放速度。
在一種可能的實現(xiàn)方式中，音頻數(shù)據(jù)的第一采集時間間隔與音頻標(biāo)記時間間隔相對應(yīng)，視頻數(shù)據(jù)的第二采集時間間隔與視頻標(biāo)記時間間隔相對應(yīng)。
在一種可能的實現(xiàn)方式中，同步模塊403，還用于以音頻數(shù)據(jù)流的時鐘為參考時鐘，在視頻數(shù)據(jù)流中當(dāng)前播放的視頻字節(jié)流的視頻時間戳早于當(dāng)前播放的音頻字節(jié)流的音頻時間戳的情況下，則跳轉(zhuǎn)到當(dāng)前播放的音頻字節(jié)流的音頻時間戳對應(yīng)的視頻時間戳的視頻字節(jié)流并通過所述數(shù)字化人物模型播放，在視頻數(shù)據(jù)流中當(dāng)前播放的視頻字節(jié)流的視頻時間戳晚于當(dāng)前播放的音頻字節(jié)流的音頻時間戳的情況下，則暫停視頻數(shù)據(jù)流中當(dāng)前播放的視頻字節(jié)流，并在音頻字節(jié)流的音頻時間戳與當(dāng)前播放的視頻字節(jié)流的視頻時間戳再次對應(yīng)的情況下，再通過所述數(shù)字化人物模型控制視頻數(shù)據(jù)流中當(dāng)前播放的視頻字節(jié)流開始播放。
本申請實施例提供的基于數(shù)字孿生技術(shù)的音頻視頻的同步裝置能夠?qū)崿F(xiàn)上述基于數(shù)字孿生技術(shù)的音頻視頻的同步方法對應(yīng)的實施例中的各個過程，為避免重復(fù)，這里不再贅述。
需要說明的是，本申請實施例提供的基于數(shù)字孿生技術(shù)的音頻視頻的同步裝置與本申請實施例提供的基于數(shù)字孿生技術(shù)的音頻視頻的同步方法基于同一申請構(gòu)思，因此該實施例的具體實施可以參見前述基于數(shù)字孿生技術(shù)的音頻視頻的同步方法的實施，重復(fù)之處不再贅述。
對應(yīng)上述實施例提供的基于數(shù)字孿生技術(shù)的音頻視頻的同步方法，基于相同的技術(shù)構(gòu)思，本申請實施例還提供了一種電子設(shè)備，該電子設(shè)備用于執(zhí)行上述的基于數(shù)字孿生技術(shù)的音頻視頻的同步方法，圖5為實現(xiàn)本申請各個實施例的一種電子設(shè)備的結(jié)構(gòu)示意圖，如圖5所示。電子設(shè)備可因配置或性能不同而產(chǎn)生比較大的差異，可以包括一個或一個以上的處理器501和存儲器502，存儲器502中可以存儲有一個或一個以上存儲應(yīng)用程序或數(shù)據(jù)。其中，存儲器502可以是短暫存儲或持久存儲。存儲在存儲器502的應(yīng)用程序可以包括一個或一個以上模塊(圖示未示出)，每個模塊可以包括對電子設(shè)備中的一系列計算機可執(zhí)行指令。
更進(jìn)一步地，處理器501可以設(shè)置為與存儲器502通信，在電子設(shè)備上執(zhí)行存儲器502中的一系列計算機可執(zhí)行指令。電子設(shè)備還可以包括一個或一個以上電源503，一個或一個以上有線或無線網(wǎng)絡(luò)接口504，一個或一個以上輸入輸出接口505，一個或一個以上鍵盤506。
具體在本實施例中，電子設(shè)備包括有處理器、通信接口、存儲器和通信總線；其中，處理器、通信接口以及存儲器通過總線完成相互間的通信；存儲器，用于存放計算機程序；處理器，用于執(zhí)行存儲器上所存放的程序，實現(xiàn)以上方法實施例中的步驟。
本實施例中還提供了一種計算機可讀存儲介質(zhì)，計算機可讀存儲介質(zhì)上存儲有計算機程序，計算機程序被處理器執(zhí)行時實現(xiàn)以上方法實施例中的步驟。
對應(yīng)上述實施例提供的基于數(shù)字孿生技術(shù)的音頻視頻的同步方法，基于相同的技術(shù)構(gòu)思，本申請實施例還提供了一種音頻視頻的同步系統(tǒng)，如圖6所示的，音頻視頻的同步系統(tǒng)包括：第一服務(wù)器601，用于獲取目標(biāo)用戶的音頻數(shù)據(jù)流，對音頻數(shù)據(jù)流標(biāo)記音頻時間戳；第二服務(wù)器602，用于獲取目標(biāo)用戶的視頻數(shù)據(jù)流，對視頻數(shù)據(jù)流標(biāo)記視頻時間戳，音頻時間戳和視頻時間戳相對應(yīng)；第三服務(wù)器603，用于將所述音頻數(shù)據(jù)流和所述視頻數(shù)據(jù)流輸入至數(shù)字化人物模型，通過所述數(shù)字化人物模型按照音頻時間戳的時序播放音頻數(shù)據(jù)流，以音頻數(shù)據(jù)流的時鐘為參考時鐘，通過所述數(shù)字化人物模型按照視頻時間戳的時序同步控制視頻數(shù)據(jù)流的播放速度，并根據(jù)視頻數(shù)據(jù)流中目標(biāo)用戶的口型數(shù)據(jù)控制數(shù)字化人物模型的口型同步變化。
通過本申請實施例提供的一種音頻視頻的同步系統(tǒng)，音頻和視頻的處理能夠由不同的服務(wù)器進(jìn)行處理，從而互相隔離，音頻處理和視頻處理之間互相不會受到影響，從而減少了對業(yè)務(wù)處理層的影響，進(jìn)一步提高了音頻數(shù)據(jù)流和視頻數(shù)據(jù)流之間的同步性。此外，對音頻數(shù)據(jù)流和視頻數(shù)據(jù)流的同步性控制的操作由第三服務(wù)器執(zhí)行，從而減少了對音頻處理和視頻處理的影響，進(jìn)一步提高了音頻數(shù)據(jù)流和視頻數(shù)據(jù)流之間的同步性，減少了對業(yè)務(wù)處理層的影響。
本領(lǐng)域內(nèi)的技術(shù)人員應(yīng)明白，本申請的實施例可提供為方法、裝置、或計算機程序產(chǎn)品。因此，本申請可采用完全硬件實施例、完全軟件實施例、或結(jié)合軟件和硬件方面的實施例的形式。而且，本申請可采用在一個或多個其中包含有計算機可用程序代碼的計算機可用存儲介質(zhì)(包括但不限于磁盤存儲器、CD-ROM、光學(xué)存儲器等)上實施的計算機程序產(chǎn)品的形式。
本申請是參照根據(jù)本申請實施例的方法、設(shè)備(系統(tǒng))、和計算機程序產(chǎn)品的流程圖和/或方框圖來描述的。應(yīng)理解可由計算機程序指令實現(xiàn)流程圖和/或方框圖中的每一流程和/或方框、以及流程圖和/或方框圖中的流程和/或方框的結(jié)合?？商峁┻@些計算機程序指令到通用計算機、專用計算機、嵌入式處理機或其他可編程數(shù)據(jù)處理設(shè)備的處理器以產(chǎn)生一個機器，使得通過計算機或其他可編程數(shù)據(jù)處理設(shè)備的處理器執(zhí)行的指令產(chǎn)生用于實現(xiàn)在流程圖一個流程或多個流程和/或方框圖一個方框或多個方框中指定的功能的裝置。
這些計算機程序指令也可存儲在能引導(dǎo)計算機或其他可編程數(shù)據(jù)處理設(shè)備以特定方式工作的計算機可讀存儲器中，使得存儲在該計算機可讀存儲器中的指令產(chǎn)生包括指令裝置的制造品，該指令裝置實現(xiàn)在流程圖一個流程或多個流程和/或方框圖一個方框或多個方框中指定的功能。
這些計算機程序指令也可裝載到計算機或其他可編程數(shù)據(jù)處理設(shè)備上，使得在計算機或其他可編程設(shè)備上執(zhí)行一系列操作步驟以產(chǎn)生計算機實現(xiàn)的處理，從而在計算機或其他可編程設(shè)備上執(zhí)行的指令提供用于實現(xiàn)在流程圖一個流程或多個流程和/或方框圖一個方框或多個方框中指定的功能的步驟。
在一個典型的配置中，電子設(shè)備包括一個或多個處理器(CPU)、輸入/輸出接口、網(wǎng)絡(luò)接口和內(nèi)存。
內(nèi)存可能包括計算機可讀介質(zhì)中的非永久性存儲器，隨機存取存儲器(RAM)和/或非易失性內(nèi)存等形式，如只讀存儲器(ROM)或閃存(flashRAM)。內(nèi)存是計算機可讀介質(zhì)的示例。
計算機可讀介質(zhì)包括永久性和非永久性、可移動和非可移動媒體可以由任何方法或技術(shù)來實現(xiàn)信息存儲。信息可以是計算機可讀指令、數(shù)據(jù)結(jié)構(gòu)、程序的模塊或其他數(shù)據(jù)。計算機的存儲介質(zhì)的例子包括，但不限于相變內(nèi)存(PRAM)、靜態(tài)隨機存取存儲器(SRAM)、動態(tài)隨機存取存儲器(DRAM)、其他類型的隨機存取存儲器(RAM)、只讀存儲器(ROM)、電可擦除可編程只讀存儲器(EEPROM)、快閃記憶體或其他內(nèi)存技術(shù)、只讀光盤只讀存儲器(CD-ROM)、數(shù)字多功能光盤(DVD)或其他光學(xué)存儲、磁盒式磁帶，磁帶磁磁盤存儲或其他磁性存儲設(shè)備或任何其他非傳輸介質(zhì)，可用于存儲可以被計算設(shè)備訪問的信息。按照本文中的界定，計算機可讀介質(zhì)不包括暫存電腦可讀媒體(transitorymedia)，如調(diào)制的數(shù)據(jù)信號和載波。
還需要說明的是，術(shù)語“包括”、“包含”或者其任何其他變體意在涵蓋非排他性的包含，從而使得包括一系列要素的過程、方法、商品或者設(shè)備不僅包括那些要素，而且還包括沒有明確列出的其他要素，或者是還包括為這種過程、方法、商品或者設(shè)備所固有的要素。在沒有更多限制的情況下，由語句“包括一個……”限定的要素，并不排除在包括要素的過程、方法、商品或者設(shè)備中還存在另外的相同要素。
本領(lǐng)域技術(shù)人員應(yīng)明白，本申請的實施例可提供為方法、裝置或計算機程序產(chǎn)品。因此，本申請可采用完全硬件實施例、完全軟件實施例或結(jié)合軟件和硬件方面的實施例的形式。而且，本申請可采用在一個或多個其中包含有計算機可用程序代碼的計算機可用存儲介質(zhì)(包括但不限于磁盤存儲器、CD-ROM、光學(xué)存儲器等)上實施的計算機程序產(chǎn)品的形式。
以上僅為本申請的實施例而已，并不用于限制本申請。對于本領(lǐng)域技術(shù)人員來說，本申請可以有各種更改和變化。凡在本申請的精神和原理之內(nèi)所作的任何修改、等同替換、改進(jìn)等，均應(yīng)包含在本申請的權(quán)利要求范圍之內(nèi)。