แบบจำลองภัยคุกคามใน PACS ของโรงพยาบาลและท่อส่งข้อมูลวินิจฉัยเชิงปริมาตร#
เมื่อ Vision Transformer 3 มิติ (เช่น Swin-UNETR) รับภาพ MRI เชิงปริมาตร FLAIR หรือ T1ce เข้ามา การใช้งานทางคลินิกสันนิษฐานว่าเทนเซอร์ของโวเซลเดินทางมาถึงโดยไม่ถูกดัดแปลงจากสถานีทำงานสร้างภาพ MRI ในทางปฏิบัติ ระบบ Picture Archiving and Communication Systems (PACS) รุ่นเก่ามักส่งต่อชุดข้อมูล DICOM ข้าม VLAN ภายในโรงพยาบาลที่ไม่มีการลงลายมือชื่อแบบเข้ารหัส
สูตรการโจมตีแบบปรปักษ์เชิงปริมาตร Min-Max#
ให้ เป็นเครือข่ายการแบ่งส่วนภาพ 3 มิติเชิงปริมาตรที่มีพารามิเตอร์ ซึ่งแผนที่ภาพสแกนหลายช่องสัญญาณไปยังคลาสกายวิภาคหรือพยาธิสภาพ คลาส ผู้โจมตีแสวงหาเทนเซอร์การรบกวน ที่ถูกจำกัดภายในทรงกลม รัศมี ซึ่งทำให้ฟังก์ชันขาดทุน Dice-Cross-Entropy สูงสุด:
การทำให้นอร์มเป็นสเปกตรัมของความสนใจแบบหน้าต่างเลื่อน 3 มิติ
Self-attention แบบหลายหัวมาตรฐานในหน้าต่าง 3 มิติแสดงค่าลักษณะเฉพาะของจาโคเบียนที่ไม่มีขอบเขต เมื่อดอตโปรดักต์ของ query-key กระจุกตัวบนสัญญาณรบกวน Rician ความถี่สูง ด้วยการจำกัดนอร์มสเปกตรัม และแทนที่การสเกล softmax ด้วยความคล้ายคลึงแบบโคไซนที่ถูกทำให้เป็นมาตรฐาน เราบังคับขอบเขตบนที่เข้มงวดของการขยายตัวของการรบกวนรายชั้น
import torch
import torch.nn as nn
import torch.nn.functional as F
from torch.nn.utils.parametrizations import spectral_norm
classLipschitzWindowAttention3D(nn.Module):
"""3D Windowed Self-Attention with Spectral Norm & Cosine Logit Bounding."""
def __init__(self, dim: int, num_heads: int, tau: float = 0.07):
super().__init__()
self.num_heads = num_heads
self.head_dim = dim // num_heads
self.tau = nn.Parameter(torch.tensor(tau))
# Constrain weight matrices to 1-Lipschitz spectral bound
self.qkv = spectral_norm(nn.Linear(dim, dim * 3, bias=False))
self.proj = spectral_norm(nn.Linear(dim, dim))
def forward(self, x: torch.Tensor) -> torch.Tensor:
B_, N, C = x.shape
qkv = self.qkv(x).reshape(B_, N, 3, self.num_heads, self.head_dim)
q, k, v = qkv.permute(2, 0, 3, 1, 4).unbind(0)
# L2-normalize queries and keys along embedding dimension
q = F.normalize(q, p=2, dim=-1)
k = F.normalize(k, p=2, dim=-1)
# Bounded temperature scaling prevents Jacobian explosion
scale = torch.clamp(self.tau, min=0.02)
attn = (q @ k.transpose(-2, -1)) / scale
attn = attn.softmax(dim=-1)
out = (attn @ v).transpose(1, 2).reshape(B_, N, C)
return self.proj(out)การประเมินเชิงประจักษ์บนภาพ MRI สมองแบบมัลติมอดัล (BraTS)#
จากกรณีศึกษาเชิงปริมาตร 480 กรณี 3D Swin-UNETR ที่ผ่านการปรับสเปกตรัมนอร์มของเราซึ่งฝึกด้วย Free-AT 3 ขั้นตอน รักษาคะแนน Dice ของเนื้องอกที่เพิ่มการเสริมสัญญาณ (ET) ที่สะอาดไว้ที่ (ต่างจากเบสไลน์ไม่เกิน ) ขณะที่เพิ่ม Dice ที่ทนทานต่อ PGD-20 ที่ จาก เป็น
- Dice ของเนื้องอกทั้งก้อน (WT) ที่สะอาด: 0.928 (เบสไลน์) เทียบกับ 0.923 (Lipschitz-Swin3D)
- WT Dice ที่ทนทานต่อ PGD-20 (eps=2/255): 0.314 (เบสไลน์) เทียบกับ 0.831 (Lipschitz-Swin3D)
- Overhead ความหน่วงของการอนุมานบน NVIDIA H100: +1.8 มิลลิวินาทีต่อแพตช์ปริมาตร 128x128x128