摘要
跨線輪轉的短期收益經常與原路防守損失相牴觸，且決策者無法完全觀察敵方近期攻勢。既有完整資訊的有限期輪轉模型通常假定離線塔風險已知；這一假設使玩家無法根據沿途可見跡象調整風險判斷，也無法直接表達「整段期間破塔機率不可超過指定上限」的硬限制。本文提出一個受風險限制的部分可觀測馬可夫決策過程（Constrained Partially Observable Markov Decision Process, CPOMDP）：以高、低兩種不可觀察且在研究窗口內固定的敵方壓力制度表示塔毀損機率；玩家逐期收到位置依賴的二元噪音訊號，並把塔存活本身視為貝葉斯證據。模型將有限期間內的吸收風險寫成佔用測度線性規劃（Occupancy-Measure Linear Programming, OMLP）的一條線性限制，允許必要的隨機化策略。本文推導信念更新、風險守恆、策略最適性、價值函數的風險預算凹性及模型錯置下的總變差風險上界。設定八期、初始高壓信念 0.35、塔損失上限 0.16 的完全假設環境時，無約束策略的期望效用為 28.623，但破塔機率為 0.4581；受約束最優策略的效用為 13.816、破塔機率為 0.1600，而固定守線策略為 7.684 與 0.1017。去除有用視野訊號後，受約束效用下降至 11.110，表明指定模型內的有用觀察可改善有限風險預算的配置。18,000 次蒙地卡羅重複試驗與狀態傳播的精確數值評估相容。本文亦展示模型錯置會令名義風險保證失效。上述結果均為模型內合成結論，需要真實遊戲資料校準後才可能轉化為實務建議。
關鍵詞：《王者榮耀》；部分可觀測馬可夫決策；風險限制；貝葉斯信念；佔用測度；跨線輪轉
1. 引言（Introduction）
1.1 從已知風險到隱藏攻勢
一名控制 A 路的玩家考慮轉往 B 路取得即將出現的資源。這種選擇同時包含三項不同的機會成本：到達前錯過波次、離開原路增加塔被破壞的暴露、以及未來若觀察到敵人加壓時無法立即回防。即使兩條線的獎勵時間表已知，單憑當期資源差異仍不足以決定最佳位置。尤其當敵方推進意圖只能由不完整視野推斷時，某一時刻看似低風險的移動可能令整段時間內的塔損失機率累積至不可接受。
文庫 HOK-002 的完整資訊馬可夫決策過程（Markov Decision Process, MDP）已研究波次錯位、往返行程與已知隨機塔損傷。其理論優點是可對每期位置與塔耐久狀態做精確後向規劃，但它沒有將「敵方強度究竟較高或較低」的未知程度納入狀態。HOK-001 則處理資源交換的單次偵察價值，關心花費多少時間換取一個情報。本研究的區別在於：不購買獨立偵察決策，而是讓每次輪轉本身改變塔毀損風險、未來可得訊號的品質，以及繼續輪轉的可能性。約束針對整個窗口的不可逆破塔事件，而非每期風險的平均值。
1.2 研究問題、目標及研究問題（RQ）
本文的 Research Problem 為：「在敵方推進壓力不可直接觀察、玩家只收到具誤差的訊號、且整段輪轉必須遵守塔毀損機率上限時，單一決策者應如何在 A/B 路之間分配多期停留與移動？」Research Objectives 分為五個具體任務：定義逐期可觀察資訊與隱狀態，建立正確的吸收事件及其概率核算，在可解規模內求得真正遵守全期限制的最優策略，量化觀察價值，並檢查危險參數估錯時的後果。
Research Questions 包括：RQ1，塔存活及二元警報如何更新敵方壓力信念？RQ2，如何在不限於懲罰項的情況下嚴格限制全期破塔機率？RQ3，增加真實可用訊號是否提高受限期望回報？RQ4，最優策略會否為精確使用風險預算而隨機化？RQ5，名義上滿足限制的政策在參數錯置時是否仍然安全？
研究假設（Research Hypotheses）是：H1，無約束最大收益政策可能違反合理的塔損失上限；H2，使用有辨識力的訊號在相同限制下弱優於忽略訊號，且在指定參數下嚴格改善；H3，受限制的最優控制可能必須隨機化；H4，名義上的機率保證只有在轉移與訊號模型正確時才直接成立，參數漂移可能導致違約。H1、H2、H4 由本研究精確計算或推導支持；H3 另有嚴格反例和基準例子的 LP 解。
1.3 核心貢獻及合理新意
本文不宣稱發明 POMDP、CMDP、佔用測度或概率約束。理論新意屬於成熟框架的可核查整合應用：將「存活就是隱狀態的負向訊號」與「位置決定警報正確率」整合進同一輪轉信念；再用有限期、可直接審計的風險流量約束求解。由此可清楚區分收益最大化、概率預算分配及模型穩健性。計算方法不依賴聲稱不可驗證的遊戲版本參數；其完整 Python、CSV、JSON、圖表與求解器診斷隨文保存。
2. 文獻回顧（Literature Review）
2.1 POMDP 的信念充分統計量
Smallwood 與 Sondik（1973）分析有限期部分可觀測馬可夫系統，建立以隱狀態機率分布作為規劃狀態的經典方法；Kaelbling、Littman 與 Cassandra（1998）系統整理了 POMDP 的估計與行動框架。若內部狀態無法直接觀察，而觀察由隱狀態帶有噪音地產生，就應先計算後驗概率再作序列決策。本研究採用的敵方風險制度只含高、低兩種，故信念可由一個介乎零與一之間的數值表示。這避免把無法看見的對手意圖誤當成完整資訊，但也沒有假設真實對手永遠只有兩類。
2.2 不可逆風險與硬概率限制
Charnes 與 Cooper（1959）的機率限制規劃（Chance-Constrained Programming）提供「發生某一不希望事件的機率不超過上界」的規範語法。Altman（1999）系統研究受約束 MDP 的佔用測度、隨機策略及線性規劃表示；對於狀態可測且有限的模型，把整段累積成本寫成佔用測度的線性函數非常直接。對破塔事件而言，若事件一旦發生就終止，則每期的「新破塔流量」加總恰好等於整段的破塔機率。這與單純把塔受擊概率乘以損失係數加入期望收益不同：我們會直接限制事件概率。
2.3 部分觀測下的計算與策略特性
Pineau、Gordon 與 Thrun（2003）的點式值迭代（Point-Based Value Iteration, PBVI）說明連續信念空間會產生計算負擔，因而使用代表性信念點近似。Helmeczi、Kavaklioglu 與 Cevik（2023）專門研究受約束 POMDP 的線性規劃求解，討論信念網格與策略隨機化對品質和計算時間的影響。本研究不追求大型實戰代理，而是在八期二元觀察的可枚舉例子中構造可到達信念圖，並於其上執行受限佔用測度 LP。這種設計容許直接比對 LP 目標與隱狀態概率的前向傳播，適合作為日後改進模型的基準。
上述文獻是本文演算法的學術來源，並沒有提供任何《王者榮耀》特定版本的塔傷害、視野精度或輪轉收益。所有遊戲情境參數均由本文獨立明訂；我們沒有把一般理論應用誇大為已證明實戰勝率改善。
3. 問題建構（Problem Formulation）
3.1 玩家、隱變數及資訊集
只有一名控制者，於每期 t=0,…,T−1 開始時位於 x_t∈{0,1}，分別代表 A 路與 B 路，初始 x_0=0。每期行動 y_t∈{0,1} 是「該期選擇所在路線」；任何 A/B 互換都消耗該期部分效用，並且移入 B 的同一期不能領取 B 的收益，以抽象移動時間表達旅程阻滯。這是兩位置簡化；它與 HOK-002 的多段行程並非完全相同。
不可觀察的敵方壓力 Z∈{0,1}，其中 Z=1 代表高壓；於整段八期內固定不變。初始高壓概率 b_0=P(Z=1)=0.35。每期塔仍然存在時，行動 y 先得到波次收益，再依條件機率 p_z(y) 發生一個伯努利「塔毀損」事件；一旦發生，本軌跡永久終止。若塔存活，控制者在抵達位置 y 收到二元訊號 o∈{0,1}，其中 o=1 為警報，訊號正確率為 q_y=P(o=Z|Z,y)。此處的警報只是合成測量通道，並非官方 UI 功能。
期序固定為「位置決策、資源收益、毀損檢查、存活後觀察、更新信念」。警報並不會在本期做出行動前提供，因此當期選擇依賴上一期及更早期的觀測，杜絕把未來訊號用來回填當前決策的先知偏差。
3.2 符號及單位
| 符號 | 定義 | 假設範圍或單位 |
|---|---|---|
| t, T | 決策時點、總期數 | t=0,…,T−1；T=8 期 |
| Z, b_t | 隱藏壓力制度、高壓後驗 | Z∈{0,1}；b_t∈[0,1] |
| x, y | 決策前及決策後路線 | 0=A；1=B |
| p_z(y) | 給定隱狀態與選位的當期塔毀損機率 | [0,1]；假設值 |
| o, q_y | 存活後訊號、訊號正確率 | 0 或 1；q_y∈[0.5,1] |
| r_t(x,y) | 當期波次收益減行程摩擦 | 合成效用單位 |
| ε | 整段塔毀損概率上限 | 基準為 0.16 |
| m_t(s,a) | 第 t 期仍存活且採取行動 a 的概率流量 | 非負概率 |
| d(s,a) | 該節點行動的條件破塔概率 | [0,1] |
| G, L | 整段期望合成效用、塔被摧毀概率 | 效用；概率 |
3.3 收益設計與實驗可識別性
我們設定 A 路於偶數期有小額波次，B 路於 t mod 3∈{1,2} 有較高波次；實際報酬只在持續留在 B 的期數發生。令移動摩擦 c=0.60、A 波次價值 g_A=2、B 波次價值 g_B=8。這些數字並非金幣、傷害或秒數；其用途是建立可比較的波次機會成本。定義 w_A(t) 在 t 為偶數時等於 1，其他時候等於 0；w_B(t) 在 t 除以 3 餘數為 1 或 2 時等於 1，否則為 0。用 I 表示指示函數，得到：
兩種隱狀態的塔風險參數採用守 A 與離 A 各一組：p_0(0)=0.006，p_1(0)=0.028，p_0(1)=0.035，p_1(1)=0.210。觀察正確率 q_0=0.70、q_1=0.82。這使離線提供更清楚的敵情訊號，同時增加防禦暴露。由於真實遊戲中的視野、移速、清線與塔血量遠比這個模型複雜，本文只討論此抽象情境的比較靜態。
4. 數學模型（Mathematical Model）
4.1 雙重證據：存活與訊號
控制者於本期採取 y，塔尚存活時，令高壓先驗為 b。設 S 代表「本期沒有塔毀損」，而 Q_y(o|z)=P(o|z,y)。塔存活本身更可能來自低壓制度，因此不應只用警報的似然比更新，還必須乘以存活概率。全概率分母計入兩個隱狀態：
在本文對稱訊號的假設下，Q_y(o|z)=q_y 當 o=z，否則等於 1−q_y。對於各狀態及訊號均有非零概率的情形，後驗勝算可表示成可分解的似然乘積：
第一個比值是舊信念，第二個是存活證據，第三個是視野訊號；這三部分不能混淆。若高壓時破塔率更高，單純生存便向低壓方向修正。相反，當收到 o=1 的高壓警報且 q_y>0.5 時，第三項通常大於一，會把信念拉高。兩種證據可能相互抵銷；故不存在「只要存活就一定遠離風險」的錯誤結論。
令 D_y(b)= (1-b)p_0(y)+bp_1(y) 為本期條件破塔率。存活後觀察 o 的聯合概率為 W_y(o|b)，已把沒有破塔的條件計入：
由全概率公式 Σ_o W_y(o|b)=1−D_y(b)。若塔被摧毀，沒有後續決策、沒有後續觀察，這個吸收條件將成為全期破塔流量等式的關鍵。
圖 1：先驗信念經存活與不同位置的正常／警報訊號更新後的函數曲線，所有參數均為合成。
4.2 受限制的序列目標
以策略 π 對所有過去可見資料及內部隨機種子決定下一期位置。定義 τ 為首次破塔時間，若研究窗口內未破塔則 τ≥T。令單期期望回報只在期初仍存活時累積；風險是整段窗口「至少破一次塔」的概率：
式中的 τ 對應「期 t 完成該期動作後才可能吸收」，因此在 t=0,…,T−1 的期初未破塔指示應理解為「此前沒有破塔」。最適化問題是 max_π G(π) subject to L(π)≤ε。正向收益、移動費與失敗的未來中止共同決定 G；破塔損失另外透過 L 約束，不需任意加一個懲罰係數。若加入額外一次性塔失分，那會改變研究問題，應視為另一個目標設定。
4.3 有限可到達信念圖
一個非終止節點 s=(t,x,b) 記錄期數、地點及對 Z=1 的後驗。動作 a=y∈{0,1} 後，當期破塔邊的概率 d(s,a)=D_y(b)；若存活並看到 o，則轉移到 F(s,a,o)=(t+1,y,b')，邊概率 K(s,a,o)=W_y(o|b)。本模型的 T 有限、行動與觀察均二元；因此自初始 s_0=(0,0,0.35) 出發，在每期展開兩個行動和兩種觀察即可枚舉有限數量的可達信念節點。重複節點透過 (t,x,b) 合併。
實作把後驗 b 的十進位值四捨五入至十二位作索引。這是可追蹤的數值容差；「精確值」特指對此可達信念圖線性規劃與前向概率核算沒有蒙地卡羅抽樣誤差，而非宣稱無限精度計算。因為狀態數隨觀察與行動分支增加，此方法仍不適合直接求解真實大型地圖。
4.4 佔用測度、流量守恆與線性規劃
對節點 s 與動作 a，令 m(s,a) 表示「走到 s 並在 s 選 a」的無條件概率。根節點的流入為 1，其餘節點從父節點及各觀察結果獲得流入。每一個非終止節點的流出等於其流入：
令 r(s,a)=r_t(x,y)，d(s,a)=D_y(b)。由於事件發生後吸收，每條軌跡在整個窗口內至多一個破塔時點，不同時點的首次破塔事件互斥。因此總損失概率恰好是每期新增的吸收流量之和：
以上目標亦須同時滿足前述每節點的線性流量守恆式。並非把每期風險相加當成聯合機率的粗糙 union bound；這裏的 d(s,a)m(s,a) 是第一次破塔的無條件流量，因為狀態只包括「至今未破塔」的軌跡。任一可行流量可以在具有正概率的節點重建策略：
零佔用節點採取預設守線政策，不影響名義模型下的最優性與風險。本文使用 SciPy/HiGHS 的線性規劃求解器求值，並獨立編寫「依隱狀態、觀測概率與求得策略向前傳播」的評估程序，比對目標與約束是否一致。
4.5 與一般 Lagrangian 懲罰的關係
對風險影子價格 λ≥0，可考慮最大化 G−λL。此式有助理解風險每放寬一單位的邊際效用，卻不等於在任意 λ 下都自動滿足 L≤ε。本文以原始可行性作實驗標準，並在需要時讓佔用測度對兩個策略動作分配機率。當 LP 在某個風險預算點混合兩類決策時，直接捨入成純策略可能改變損失概率，須重新精確評估而不可原樣宣稱合規。
5. 理論分析（Theoretical Analysis）
5.1 命題 1：含存活證據的信念更新正確性
命題 1。 在假設「條件於 Z、y，本期毀損事件與存活後訊號依指定條件分布產生」，且至少一項存活及觀察的聯合可能性為正時，4.1 節的 b' 是完整已知資訊下的後驗 P(Z=1|S,o,y)，而 (t,x,b) 對未來的報酬與觀察分布構成充分統計量。
證明。 以 Bayes 定理把 P(Z=1,S,o|y) 寫成 P(Z=1)P(S|Z=1,y)P(o|S,Z=1,y)，分子立即等於 b(1−p_1(y))Q_y(o|1)。分母將 Z=0、1 的項相加即得到式 4.1。由模型條件獨立性，下一期的毀損及訊號分布僅依賴本期動作及 Z；將 Z 以後驗概率積分即可得到 K 與 D，所以更早的全部觀察史對預測未來不再提供超出 (t,x,b) 的附加資訊。證畢。
解讀。 「塔尚未破」是負向風險證據，而位置決定未來看見的資料品質。因此輪轉不只是瞬間收益交換，也是改變未來資訊品質的控制行動；該機制在 HOK-002 完整資訊情況下沒有相同含義。圖 1 可見同樣的警報在兩個位置因 q 不同而造成不同幅度的後驗位移。
5.2 命題 2：流量式硬約束的最適性與可行性
命題 2。 在有限可達信念圖、非負轉移機率且存在可行策略的條件下，4.4 節的佔用測度 LP 與所有有限歷史可測、允許隨機化的輪轉策略在「期望回報與破塔概率」可達的配對集合上等價。因此 LP 全域最優解滿足 L≤ε，且其目標值是該圖上的風險受限最優期望回報。
證明。 對任一歷史策略 π，定義 m(s,a)=P(抵達 s 且選 a)，由時間展開的全概率公式得到流量守恆。事件僅能首次出現一次，P(τ<T)=Σm(s,a)d(s,a)。反方向，給定流量可行解，以 m(s,a)/Σ_a m(s,a) 在每一正流量節點定義隨機策略。對 t=0 的根節點以及各期轉移做歸納，其產生的節點與動作概率即為原流量；對零流量節點任取行動無改變。故所有可行流量都能用可實行策略重建；收益與風險是同一組 m 的線性函數。有限維線性規劃的最適解即滿足論斷。證畢。
這裏的可行性只針對名義轉移模型，不是對未觀察的真實敵人做了獨立的安全認證。若模型中的 p_z(y) 估錯，事件概率也會改變；5.5 節提供偏差上界與合成壓力測試。
5.3 命題 3：風險—效用前沿為非遞減凹函數
定義 V(ε) 為在風險上限 ε 下 LP 的最大期望效用，並且只在可行的 ε 定義 V。命題 3。 若初始條件與模型固定，允許隨機化政策，V(ε) 隨 ε 非遞減，且於可行預算區間上是凹函數（concave）。
證明。 若 ε_2≥ε_1，原本符合 ε_1 的全部流量仍符合 ε_2，故最大回報不會下降。取任兩個可行預算 ε_1、ε_2 的最優流量 m_1、m_2，對 θ∈[0,1] 考慮 m_θ=θm_1+(1−θ)m_2。流量守恆與非負性於凸組合下保存，風險線性故 L(m_θ)≤θε_1+(1−θ)ε_2；收益線性，所以 V(θε_1+(1−θ)ε_2) 至少等於 θV(ε_1)+(1−θ)V(ε_2)。這正是凹性的定義。證畢。
因此風險預算最緊時，一小段額外暴露可能解鎖一個波次窗口，帶來較大的效用改善；越接近無約束最佳策略，可追加的收益空間通常愈小。命題證明的是可行前沿的性質，並未證明最優策略的每次移動概率必然隨 ε 單調；不應把圖 5 的某段曲線當成一般定理。
5.4 命題 4：可用觀測訊號的弱價值及隨機化反例
命題 4。 若使用更具資訊量的訊號控制者可以忽略額外資訊、並保留同樣的隨機種子、觀察時間及存活回饋，且控制策略可利用完整歷史，在其他條件相同時，其最佳風險受限效用不低於只收到無資訊訊號的最佳值。
證明。 含訊號的控制者可以把真實訊號棄置，再自行產生與 Z 獨立的公平二元假觀測，執行原本無訊號系統的決策規則；塔存活與自身行動仍按相同的真實過程演變。這樣的模擬控制策略具有與無訊號政策相同的聯合行動、報酬與毀損概率分布，因此無訊號系統可達的每一配對都可在含訊號系統中達到；最佳值不得更低。證畢。
但僅有「弱優」並不保證每個情境嚴格改善。只有當訊號會改變最佳行動而額外收益抵消對應風險時，才可能觀察到嚴格增加。本研究的基準參數對 ε=0.16 的精確 LP 數字驗證這種特例；本文沒有把嚴格改善宣稱為跨所有遊戲設定的普遍定理。
隨機化必要性反例。 假設單一期有安全動作（報酬 0、損失概率 0）及危險動作（報酬 10、損失概率 1），要求 L≤0.20。純策略只有安全動作可行，效用 0；若選危險動作的機率為 0.20，便可達 L=0.20 和期望效用 2。由 10p 最大化且 p≤0.2，混合政策嚴格優於任何純策略。這是一般受約束控制的自造數學反例，與真實玩家是否擲硬幣選路無關；它證明不能在研究設計階段排除隨機化策略。
5.5 命題 5：模型錯置時的路徑機率偏差上界
實際部署不可能無條件信任塔損率及視野準確率。令名義模型為 P、真實模型為 P*。假定每個 z,y 的毀損率偏差不超過 δ_p，而每個 z,y 的二元訊號分布之總變差距離不超過 δ_q，初始 Z=1 機率偏差不超過 δ_b。令政策在任何已觀察歷史下都使用同一名義濾波與決策函數，但觀察實際從 P* 產生。
命題 5。 不論此政策使用歷史隨機化與否，整段研究窗口的破塔概率滿足保守上界：
證明。 將兩模型的初始 Z 以最大耦合（maximal coupling）連結，初始不相等概率至多 δ_b。若本期開始時兩模型仍處於相同隱狀態、存活狀態和觀察歷史，兩端採取相同策略隨機種子便選擇相同行動。接著最大耦合各自的塔毀損伯努利結果，其不相等概率至多 δ_p；若均未破塔，再以最大耦合連結二元訊號，不相等概率至多 δ_q。由全概率與 union bound，T 期內兩條完整路徑首次分叉的概率不超過 δ_b+T(δ_p+δ_q)。任何路徑事件，特別是「τ<T」，在兩條路徑從未分叉時取值相同，因此其機率差不超過分叉概率；另由總變差至多 1 得上式。證畢。
這個界通常非常保守。例如八期時即使 δ_p=0.005、δ_q=0.01，也只得到額外 0.12 的寬鬆上界；它表明若要有真正可操作的高信心保證，必須估計參數不確定集合，並進行 robust CPOMDP 或場景檢定，而不能僅靠名義模型算出 0.16 就宣稱實際風險不超過 0.16。
6. 合成數值實驗（Numerical Experiments）
6.1 實驗設計與對照
本文未取得任何真實玩家及官方配置數據；全部設置都在 Python Params 資料類型中公開。主實驗 T=8、起始高壓 b_0=0.35、離線警報準確率 0.82、守線警報準確率 0.70；策略事前承諾塔損失上限 ε=0.16。策略包括：guard 永遠返回或留於 A；camp 盡早前往 B 並留在 B；greedy 只看當期波次收益；unconstrained 在同一部分可觀測模型中不限制 L；constrained 求全期 L≤ε 的 LP 最優；blind 將觀察正確率改為 0.5，但仍可從存活得知一些隱藏壓力資訊。
為保持可比性，「含訊號」及「無訊號」策略分別按其可用的觀測通道重新求解，兩者使用相同 p、r、初始信念及風險預算。所謂無訊號不等於「知道敵方為低壓」，因為它仍保存 b=0.35 及因存活而帶來的後驗調整。所有數字由枚舉的 belief graph LP 取得；額外以相同隨機種子在每一策略下抽樣 18,000 條合成環境軌跡，比對精確值與取樣誤差。
| 參數 | A 路（守線） | B 路（離線） | 來源說明 |
|---|---|---|---|
| 低壓毀損率 p_0(y) | 0.006 | 0.035 | 合成假設 |
| 高壓毀損率 p_1(y) | 0.028 | 0.210 | 合成假設 |
| 訊號正確率 q_y | 0.70 | 0.82 | 合成假設 |
| 波次收益 g_y | 2 | 8 | 合成效用／波 |
| 收益時間 | 偶數期 | t mod 3 為 1、2 | 合成波次表 |
| 其他參數 | T=8；b_0=0.35 | c=0.60；ε=0.16 | 非遊戲實測 |
6.2 基準策略的精確比較
使用信念四捨五入 12 位的小型狀態圖，主模型計得 1,561 個可達信念節點、3,122 個節點／行動組合。表 2 的數字是 LP 與前向概率傳播的計算結果；非遊戲排名、非對局勝率、亦非依照實際防禦塔公式估得的概率。
| 策略 | 期望合成效用 G | 全期塔毀損機率 L | ε=0.16 可行？ |
|---|---|---|---|
| 固定守線 A | 7.684 | 0.1017 | 是 |
| 固定往 B | 28.623 | 0.4581 | 否 |
| 單期貪婪 | 7.684 | 0.1017 | 是 |
| 無約束最優 | 28.623 | 0.4581 | 否 |
| 有訊號之風險受限最優 | 13.816 | 0.1600 | 是 |
| 無訊號之風險受限最優 | 11.110 | 0.1600 | 是 |
H1 的支持。 在這組合成參數中，高價值 B 波次令無約束政策走向 B，取得 28.623 效用，卻暴露於 45.81% 的塔毀損機率。風險受限控制的收益降低至 13.816，是為了把毀損率約束在 16.00%；若忽略風險約束，便會錯把兩個不同可行集合的最優解混為一談。
H2 的支持。 只改變可用訊號品質，保留其餘建模條件後，受限制最優回報從 11.110 增至 13.816，絕對增加 2.706，約為無訊號方案的 24.36%。這個數字度量的是本模型下訊號可被最佳化使用的邊際價值；既不等於實際可視範圍多 24%，亦不代表任何真實段位的勝率提升。命題 4 的信息弱價值在此得到嚴格差異的數值例子。
圖 2：不同毀損機率限制下的效用—風險有效前沿。曲線是 LP 精確模型評估，所有概率均為合成設定。
圖 3：改變容許損失上限 ε 時，有用訊號與無用訊號方案的最適收益。曲線差別不能直接解讀為真實視野效應。
6.3 隨機化行為與 LP 診斷
表 3 同時檢查「原始 LP 目標」與「重新由隱藏 Z 的兩個子群傳播所得到的期望」一致性。求解器的流量等式最大殘差約在 10^−17 量級；基準約束解的名義毀損率等於 ε（浮點容差數十兆分之一），表示最佳策略在這個例子中用盡當期可允許風險預算。基準約束策略有一個正流量節點進行非退化的隨機混合；無約束策略則毋須隨機化。這是 H3 在基準圖上的實驗觀察；更一般的「可能需要隨機化」已由第 5.4 節反例嚴格證明。
| 驗證量 | 受限含訊號 | 無約束 | 受限無訊號 |
|---|---|---|---|
| 期望 G（LP） | 13.8163 | 28.6228 | 11.1099 |
| 塔損失 L（LP） | 0.160000 | 0.458100 | 0.160000 |
| LP 最大守恆殘差 | < 1e−15 | < 1e−15 | < 1e−15 |
| 隨機混合的正流量節點數 | 1 | 0 | 1 |
圖 4：初期向 B 移動的概率隨 ε 的變化；只作有限期 LP 策略的局部展示，不能視為單調定理。
6.4 敵方高壓離線風險估錯的反事實評估
固定名義參數下已求得的策略，將實際高壓制度在 B 路的毀損率由 0.210 改為 0.150 至 0.270，保持所有其他參數、名義濾波器與控制策略不變。這個操作測試「玩家以錯誤模型更新信念，卻面對另一個真實風險參數」的後果。每個測試點由真實隱狀態的概率傳播精確計算，而非再訓練或重新求解政策；因此隔離了參數錯置的效果。
圖 5：改變真實高壓離線塔毀損率的反事實測試。虛線為事前名義風險上限，實線為固定策略在錯置環境下的實際概率。
當真實高壓離線風險高於名義設定，約束策略實際塔毀損率可以高於 0.16；這不違反命題 2，因為 LP 的可行性證明以名義轉移為前提。它支持 H4，也說明「已設 16% 上限」不代表遊戲中存在可驗證的 16% 安全擔保。必要的下一步是以真實影片與環境變化校準模型、計算可信區間，或對所有可信的風險參數同時施加限制。
6.5 抽樣外部核對與不確定度
使用 NumPy default_rng(20261015)，對守線、無約束及受限制三種策略各進行 18,000 次獨立合成軌跡；策略間可比較的亂數來源使用相同種子。結果如下。期望效用的標準誤由樣本標準差除以樣本量平方根；塔破概率標準誤以二項近似計算。圖 6 繪示正態近似 95% 區間；此區間僅反映合成抽樣誤差，不覆蓋現實模型錯置。
| 策略 | MC 平均效用 ±1.96 SE | 精確效用 | MC 毀損率 | 精確毀損率 |
|---|---|---|---|---|
| 守線 | 7.680 ± 0.017 | 7.684 | 0.1016 | 0.1017 |
| 無約束最優 | 28.713 ± 0.211 | 28.623 | 0.4548 | 0.4581 |
| 風險限制最優 | 13.923 ± 0.132 | 13.816 | 0.1597 | 0.1600 |
圖 6：合成蒙地卡羅平均效用及其近似 95% 區間與精確概率傳播結果。樣本與抽樣程式完全公開。
三種策略在取樣誤差的合理範圍內與精確值相容；尤其受限策略的 13.923 蒙地卡羅平均與 13.816 理論值相差約 1.58 個標準誤，沒有超出近似 95% 區間。另有獨立、非蒙地卡羅的核對程序重新計算每個最優政策在隱狀態 Z=0 與 Z=1 條件下的路徑概率；其結果與 LP 在回報及風險上均相差低於 10^−6。這是程式內部一致性驗證，而非對任何實際對局模式的外部效度測試。
7. 結果與討論（Results and Discussion）
7.1 風險不是可以任意換算的損失效用
在 HOK-002 中，破塔被寫入一次性效用損失，動態策略可以在增加塔風險時仍得到較高總效用。HOK-003 改用「在整個計畫窗口中，塔毀損率至多 ε」的規範，刻意把風險容忍度從任意設定的效用損失係數中抽離。這更接近有明確保全要求的控制問題：即使一條路線回報非常高，也不能無視硬限制。透過 LP 可看出守線有餘下可運用風險，但無約束前往 B 太冒險；最優政策在兩者之間採取動態、有條件且必要時帶隨機化的折衷。
7.2 資訊價值是一個受風險預算調節的資源
資料不完整並不意味只需取固定平均風險。訊號能夠在「更可能高壓」時提升對塔損失的警覺；在判定低壓較有把握時允許對高價值 B 波次的有限暴露。因為 B 路的假設觀測更準確，走向 B 同時是風險與資訊通道品質的交換。受限制效用的改善反映了條件化行動使同一風險預算產生更高合成報酬。這一發現為未來擴充「有延遲隊友 ping、局內對手突然改線」的模型提供明確可測量的對照目標。
7.3 混合控制不是操作建議
當連續概率預算落在兩個決策型態之間，受限制 LP 可能產生正的隨機化比率。數學上它是多場假想重複決策序列中，在起始或特定可達節點按比例選擇行動的方案；在單場真實對局，玩家未必會，也不一定應該，以擲硬幣方式執行路線選擇。若要建立可執行的決定性策略，可以研究歷史相依的風險餘額控制、採用更細分的控制輸入，或接受可核查的收益損失；不能直接把混合策略的期望保證當成純策略保證。
7.4 隱藏制度固定的代價
本文假設 Z 在八期內固定，使 Bayes 更新和圖枚舉比較簡潔；但實際敵方隊伍可能因地圖動態、資源時間表及戰局狀態反覆加壓或撤退。一旦 Z 隨時間改變，正確濾波須加入隱狀態轉移矩陣，並處理敵方意圖可能對玩家行動作出的內生反應。未來若使用不平穩的隱馬可夫模型，存活訊號仍然重要，但單一 b 就不一定具有本文給出的簡單固定制度解釋。更大的效度風險在於把模型採樣中的「毀損」當成遊戲中可客觀判別的事件，實際應先定義可重複標注的防禦塔狀態和時序。
8. 研究局限（Limitations）
首先，全部結果來自合成環境而非真實《王者榮耀》局內資料。任何版本更新、地圖改動、英雄移動技能、兵線時間、隊友保護或真正的塔耐久變化，都可能令本文參數和事件次序失真。實際塔傷害通常累積而不是單次吸收；若加入多層耐久、敵方干擾與修復，需要額外可觀測及隱藏狀態。單決策者模型亦沒有考慮隊友是否支援、敵方是否推斷我方動向的博弈效應。
其次，假設兩路之間只需一個模型期，移入 B 當期無法獲得其波次，與真實地圖的多段移動及微觀操作不完全對應；因此本文結果不能直接與 HOK-002 的兩格路程數值作對等比較。對外推而言，最需要補足的是完整路程、到達時點、技能中斷、拆塔傷害累積及可逆的緊急回防。
第三，二元訊號正確率、敵方風險制度固定及條件獨立是可運算性的必要假設。真實視野往往具有共同遮擋、信號品質與玩家所處位置相關、且玩家選位會改變敵方策略，造成內生觀測偏差。即使本文檢驗了參數錯置，尚未在多種聯合參數不確定集合、對抗策略變化或資料偏差上獲得穩健可行性保證。命題 5 的上界會隨 T 線性變大，對較長窗口往往過度保守。
第四，實作使用十二位四捨五入合併可達信念節點，有限期枚舉與 LP 會隨 T 和觀察種類快速增長。此設定使計算可以在本研究示例內檢驗，不代表可以直接用於即時遊戲決策。特別要區分：LP 的最優性屬於有限、指定轉移圖與指定目標下的數學最優性；不是在真實對局觀測不足、運行延遲與版本漂移條件下的工程保證。
第五，所有效用在模型中已合併為單一合成分數，並未建立與金幣、塔價值、擊殺、勝率或玩家效用的估計函數；因此無法用本文的 13.816 等數字對玩家行為作規範建議。值得的實證後續是在明確倫理及資料來源下取得匿名對局錄影，定義塔壓力的可觀察代理、建立殘差診斷，並檢驗合成數值是否具有任何可解釋的轉移能力。
9. 結論（Conclusion）
本文完成一個以《王者榮耀》輪轉決策為靈感、但完全基於合成設定的有限期受限制 POMDP。研究從含存活條件的 Bayes 更新出發，證明在吸收事件設定下，全期塔毀損機率可由佔用測度的線性流量恰好表示；在此可枚舉信念圖上，受限 LP 可恢復最優隨機策略，風險—效用前沿具有非遞減凹性，資訊品質較高時存在弱價值原理。數值上，名義限制 16% 把無約束塔風險 45.81% 壓回 16.00%，而有辨識力訊號將受限效用由 11.110 提升至 13.816。錯置實驗進一步指出名義合規與真實合規之間存在本質差別。未來研究應優先延伸至動態隱藏攻勢、帶時間延遲的隊友資訊以及真實版本的資料校準，在此之前，本文所有策略結論僅在透明的抽象模型內成立。
參考文獻
Altman, E. (1999). Constrained Markov decision processes. Chapman & Hall/CRC. https://www.routledge.com/Constrained-Markov-Decision-Processes/Altman-Stidham-Jr-Scarsini-Shaked/p/book/9780849303821
Charnes, A., & Cooper, W. W. (1959). Chance-constrained programming. Management Science, 6(1), 73–79. https://doi.org/10.1287/mnsc.6.1.73
Helmeczi, R. K., Kavaklioglu, C., & Cevik, M. (2023). Linear programming-based solution methods for constrained partially observable Markov decision processes. Applied Intelligence, 53, 21743–21769. https://doi.org/10.1007/s10489-023-04603-7
Kaelbling, L. P., Littman, M. L., & Cassandra, A. R. (1998). Planning and acting in partially observable stochastic domains. Artificial Intelligence, 101(1–2), 99–134. https://doi.org/10.1016/S0004-3702(98)00023-X
Pineau, J., Gordon, G., & Thrun, S. (2003). Point-based value iteration: An anytime algorithm for POMDPs. Proceedings of the 18th International Joint Conference on Artificial Intelligence, 1025–1032. https://www.ijcai.org/proceedings/2003
Smallwood, R. D., & Sondik, E. J. (1973). The optimal control of partially observable Markov processes over a finite horizon. Operations Research, 21(5), 1071–1088. https://doi.org/10.1287/opre.21.5.1071