背景技術(shù)：
1、2.?相關(guān)技術(shù)的說(shuō)明
2、多年來(lái)，視頻游戲行業(yè)經(jīng)歷了許多改變。隨著技術(shù)的進(jìn)步，視頻游戲通過(guò)精致的圖形、逼真的聲音、引人入勝的配樂(lè)、觸覺(jué)等不斷實(shí)現(xiàn)更強(qiáng)的沉浸感。玩家能夠享受沉浸式游戲體驗(yàn)，其中他們參與并融入虛擬環(huán)境，并尋求新的交互方式。此外，玩家還可以將自己的游戲進(jìn)行的視頻流式傳輸供觀(guān)眾觀(guān)看，使其他人能夠分享游戲進(jìn)行體驗(yàn)。
3、正是在這種背景下提出了本公開(kāi)的實(shí)現(xiàn)方式。
技術(shù)實(shí)現(xiàn)思路
1、本公開(kāi)的實(shí)現(xiàn)方式包括用于使用游戲狀態(tài)數(shù)據(jù)供ai圖像生成模型進(jìn)行語(yǔ)義理解的方法、系統(tǒng)和裝置，以及用于提供有關(guān)ai圖像生成模型輸出的反饋的動(dòng)態(tài)界面。
2、在一些實(shí)現(xiàn)方式中，提供了一種方法，包括：接收游戲圖像，所述游戲圖像是從視頻游戲的游戲進(jìn)行中捕獲的，并且所述游戲圖像描繪所述視頻游戲的場(chǎng)景；接收描述所述游戲圖像中描繪的所述視頻游戲的所述場(chǎng)景的屬性的游戲狀態(tài)數(shù)據(jù)；通過(guò)網(wǎng)絡(luò)從客戶(hù)端裝置接收描述對(duì)所述游戲圖像的改變的修改數(shù)據(jù)，所述修改數(shù)據(jù)根據(jù)所述客戶(hù)端裝置處接收的用戶(hù)輸入定義；由圖像生成人工智能(ai)應(yīng)用所述游戲圖像、所述游戲狀態(tài)數(shù)據(jù)和所述用戶(hù)輸入來(lái)生成ai生成圖像；通過(guò)所述網(wǎng)絡(luò)將所述ai生成圖像傳輸?shù)剿隹蛻?hù)端裝置以渲染到顯示器。
3、在一些實(shí)現(xiàn)方式中，所述游戲狀態(tài)數(shù)據(jù)的所述應(yīng)用使得所述圖像生成ai能夠?qū)λ鲇螒驁D像中描繪的所述場(chǎng)景進(jìn)行語(yǔ)義理解。
4、在一些實(shí)現(xiàn)方式中，由所述圖像生成ai應(yīng)用所述場(chǎng)景的所述語(yǔ)義理解來(lái)執(zhí)行所述修改數(shù)據(jù)中描述的所述改變。
5、在一些實(shí)現(xiàn)方式中，所述游戲狀態(tài)數(shù)據(jù)識(shí)別所述游戲圖像中描繪的所述場(chǎng)景中的一個(gè)或多個(gè)元素。
6、在一些實(shí)現(xiàn)方式中，所述游戲狀態(tài)數(shù)據(jù)描述所述場(chǎng)景中的一個(gè)或多個(gè)虛擬對(duì)象的深度。
7、在一些實(shí)現(xiàn)方式中，所述修改數(shù)據(jù)描述所述場(chǎng)景內(nèi)給定虛擬對(duì)象的位置改變，并且其中生成所述ai生成圖像被配置為使用所述一個(gè)或多個(gè)虛擬對(duì)象的所述深度來(lái)執(zhí)行由所述修改數(shù)據(jù)描述的所述給定虛擬對(duì)象的所述位置改變。
8、在一些實(shí)現(xiàn)方式中，所述修改數(shù)據(jù)描述所述場(chǎng)景內(nèi)給定虛擬對(duì)象的放置，并且其中生成所述ai生成圖像被配置為使用所述一個(gè)或多個(gè)虛擬對(duì)象的所述深度來(lái)執(zhí)行由所述修改數(shù)據(jù)描述的所述給定虛擬對(duì)象的所述放置。
9、在一些實(shí)現(xiàn)方式中，所述一個(gè)或多個(gè)虛擬對(duì)象的所述深度被配置為在執(zhí)行由所述修改數(shù)據(jù)描述的所述改變時(shí)使所述一個(gè)或多個(gè)虛擬對(duì)象能夠適當(dāng)遮擋或使所述一個(gè)或多個(gè)虛擬對(duì)象能夠被適當(dāng)遮擋。
10、在一些實(shí)現(xiàn)方式中，所述游戲狀態(tài)數(shù)據(jù)描述所述場(chǎng)景中的一個(gè)或多個(gè)虛擬對(duì)象的三維結(jié)構(gòu)。
11、在一些實(shí)現(xiàn)方式中，所述修改數(shù)據(jù)由通過(guò)所述客戶(hù)端裝置處接收的所述用戶(hù)輸入生成的詞或短語(yǔ)定義。
12、在一些實(shí)現(xiàn)方式中，提供了一種在上面體現(xiàn)程序指令的非暫時(shí)性計(jì)算機(jī)可讀介質(zhì)，所述程序指令被配置為在由至少一個(gè)服務(wù)器計(jì)算機(jī)執(zhí)行時(shí)使所述至少一個(gè)服務(wù)器計(jì)算機(jī)執(zhí)行包括以下的方法：接收游戲圖像，所述游戲圖像是從視頻游戲的游戲進(jìn)行中捕獲的，并且所述游戲圖像描繪所述視頻游戲的場(chǎng)景；接收描述所述游戲圖像中描繪的所述視頻游戲的所述場(chǎng)景的屬性的游戲狀態(tài)數(shù)據(jù)；通過(guò)網(wǎng)絡(luò)從客戶(hù)端裝置接收描述對(duì)所述游戲圖像的改變的修改數(shù)據(jù)，所述修改數(shù)據(jù)根據(jù)所述客戶(hù)端裝置處接收的用戶(hù)輸入定義；由圖像生成人工智能(ai)應(yīng)用所述游戲圖像、所述游戲狀態(tài)數(shù)據(jù)和所述用戶(hù)輸入來(lái)生成ai生成圖像；通過(guò)所述網(wǎng)絡(luò)將所述ai生成圖像傳輸?shù)剿隹蛻?hù)端裝置以渲染到顯示器。
13、結(jié)合附圖來(lái)閱讀以下詳細(xì)描述，本公開(kāi)的其他方面將變得明顯，以下詳細(xì)描述通過(guò)舉例的方式來(lái)說(shuō)明本公開(kāi)的原理。
1.一種方法，其包括：
2.如權(quán)利要求1所述的方法，其中所述游戲狀態(tài)數(shù)據(jù)的所述應(yīng)用使得所述圖像生成ai能夠?qū)λ鲇螒驁D像中描繪的所述場(chǎng)景進(jìn)行語(yǔ)義理解。
3.如權(quán)利要求2所述的方法，其中由所述圖像生成ai應(yīng)用所述場(chǎng)景的所述語(yǔ)義理解來(lái)執(zhí)行所述修改數(shù)據(jù)中描述的所述改變。
4.如權(quán)利要求1所述的方法，其中所述游戲狀態(tài)數(shù)據(jù)識(shí)別所述游戲圖像中描繪的所述場(chǎng)景中的一個(gè)或多個(gè)元素。
5.如權(quán)利要求1所述的方法，其中所述游戲狀態(tài)數(shù)據(jù)描述所述場(chǎng)景中的一個(gè)或多個(gè)虛擬對(duì)象的深度。
6.如權(quán)利要求5所述的方法，其中所述修改數(shù)據(jù)描述所述場(chǎng)景內(nèi)給定虛擬對(duì)象的位置改變，并且其中生成所述ai生成圖像被配置為使用所述一個(gè)或多個(gè)虛擬對(duì)象的所述深度來(lái)執(zhí)行由所述修改數(shù)據(jù)描述的所述給定虛擬對(duì)象的所述位置改變。
7.如權(quán)利要求5所述的方法，其中所述修改數(shù)據(jù)描述所述場(chǎng)景內(nèi)給定虛擬對(duì)象的放置，并且其中生成所述ai生成圖像被配置為使用所述一個(gè)或多個(gè)虛擬對(duì)象的所述深度來(lái)執(zhí)行由所述修改數(shù)據(jù)描述的所述給定虛擬對(duì)象的所述放置。
8.如權(quán)利要求5所述的方法，其中所述一個(gè)或多個(gè)虛擬對(duì)象的所述深度被配置為在執(zhí)行由所述修改數(shù)據(jù)描述的所述改變時(shí)使所述一個(gè)或多個(gè)虛擬對(duì)象能夠適當(dāng)遮擋或使所述一個(gè)或多個(gè)虛擬對(duì)象能夠被適當(dāng)遮擋。
9.如權(quán)利要求1所述的方法，其中所述游戲狀態(tài)數(shù)據(jù)描述所述場(chǎng)景中的一個(gè)或多個(gè)虛擬對(duì)象的三維結(jié)構(gòu)。
10.如權(quán)利要求1所述的方法，其中所述修改數(shù)據(jù)由通過(guò)所述客戶(hù)端裝置處接收的所述用戶(hù)輸入生成的詞或短語(yǔ)定義。
11.一種在上面體現(xiàn)程序指令的非暫時(shí)性計(jì)算機(jī)可讀介質(zhì)，所述程序指令被配置為在由至少一個(gè)服務(wù)器計(jì)算機(jī)執(zhí)行時(shí)使所述至少一個(gè)服務(wù)器計(jì)算機(jī)執(zhí)行包括以下的方法：
12.如權(quán)利要求11所述的非暫時(shí)性計(jì)算機(jī)可讀介質(zhì)，其中所述游戲狀態(tài)數(shù)據(jù)的所述應(yīng)用使得所述圖像生成ai能夠?qū)λ鲇螒驁D像中描繪的所述場(chǎng)景進(jìn)行語(yǔ)義理解。
13.如權(quán)利要求12所述的非暫時(shí)性計(jì)算機(jī)可讀介質(zhì)，其中由所述圖像生成ai應(yīng)用所述場(chǎng)景的所述語(yǔ)義理解來(lái)執(zhí)行所述修改數(shù)據(jù)中描述的所述改變。
14.如權(quán)利要求11所述的非暫時(shí)性計(jì)算機(jī)可讀介質(zhì)，其中所述游戲狀態(tài)數(shù)據(jù)識(shí)別所述游戲圖像中描繪的所述場(chǎng)景中的一個(gè)或多個(gè)元素。
15.如權(quán)利要求11所述的非暫時(shí)性計(jì)算機(jī)可讀介質(zhì)，其中所述游戲狀態(tài)數(shù)據(jù)描述所述場(chǎng)景中的一個(gè)或多個(gè)虛擬對(duì)象的深度。
16.如權(quán)利要求15所述的非暫時(shí)性計(jì)算機(jī)可讀介質(zhì)，其中所述修改數(shù)據(jù)描述所述場(chǎng)景內(nèi)給定虛擬對(duì)象的位置改變，并且其中生成所述ai生成圖像被配置為使用所述一個(gè)或多個(gè)虛擬對(duì)象的所述深度來(lái)執(zhí)行由所述修改數(shù)據(jù)描述的所述給定虛擬對(duì)象的所述位置改變。
17.如權(quán)利要求15所述的非暫時(shí)性計(jì)算機(jī)可讀介質(zhì)，其中所述修改數(shù)據(jù)描述所述場(chǎng)景內(nèi)給定虛擬對(duì)象的放置，并且其中生成所述ai生成圖像被配置為使用所述一個(gè)或多個(gè)虛擬對(duì)象的所述深度來(lái)執(zhí)行由所述修改數(shù)據(jù)描述的所述給定虛擬對(duì)象的所述放置。
18.如權(quán)利要求15所述的非暫時(shí)性計(jì)算機(jī)可讀介質(zhì)，其中所述一個(gè)或多個(gè)虛擬對(duì)象的所述深度被配置為在執(zhí)行由所述修改數(shù)據(jù)描述的所述改變時(shí)使所述一個(gè)或多個(gè)虛擬對(duì)象能夠適當(dāng)遮擋或使所述一個(gè)或多個(gè)虛擬對(duì)象能夠被適當(dāng)遮擋。
19.如權(quán)利要求11所述的非暫時(shí)性計(jì)算機(jī)可讀介質(zhì)，其中所述游戲狀態(tài)數(shù)據(jù)描述所述場(chǎng)景中的一個(gè)或多個(gè)虛擬對(duì)象的三維結(jié)構(gòu)。
20.如權(quán)利要求11所述的非暫時(shí)性計(jì)算機(jī)可讀介質(zhì)，其中所述修改數(shù)據(jù)由通過(guò)所述客戶(hù)端裝置處接收的所述用戶(hù)輸入生成的詞或短語(yǔ)定義。