·ปัญญาประดิษฐ์ทางการแพทย์·4 นาที

ความทนทานต่อการโจมตีแบบปรปักษ์ในการถ่ายภาพทางการแพทย์ 3 มิติ: ปกป้อง Vision Transformer จากการรบกวนที่ตรวจไม่พบ

โมเดลแบ่งส่วนภาพ 3D Swin-UNETR เชิงปริมาตรทำคะแนน Dice ระดับแพทย์ผู้เชี่ยวชาญบนภาพ MRI สมองแบบมัลติมอดัล ทว่ายังเปราะบางภายใต้การรบกวน L-infinity ที่ต่ำกว่าสัญญาณรบกวนความร้อนของเซนเซอร์ เราอนุมานความสนใจเชิงปริมาตรที่ถูกจำกัดด้วยค่าคงตัวลิปชิตซ์ และประเมินขอบเขตการปรับให้เรียบแบบมีใบรับรอง

แบบจำลองภัยคุกคามใน PACS ของโรงพยาบาลและท่อส่งข้อมูลวินิจฉัยเชิงปริมาตร#

เมื่อ Vision Transformer 3 มิติ (เช่น Swin-UNETR) รับภาพ MRI เชิงปริมาตร FLAIR หรือ T1ce x∈RC×D×H×Wx \in \mathbb{R}^{C \times D \times H \times W} เข้ามา การใช้งานทางคลินิกสันนิษฐานว่าเทนเซอร์ของโวเซลเดินทางมาถึงโดยไม่ถูกดัดแปลงจากสถานีทำงานสร้างภาพ MRI ในทางปฏิบัติ ระบบ Picture Archiving and Communication Systems (PACS) รุ่นเก่ามักส่งต่อชุดข้อมูล DICOM ข้าม VLAN ภายในโรงพยาบาลที่ไม่มีการลงลายมือชื่อแบบเข้ารหัส

รูปที่ 1: พื้นผิวภัยคุกคามจาก PACS ทางคลินิกสู่การอนุมาน 3D ViT
กำลังเรนเดอร์รูปภาพ...
ผู้โจมตีที่อยู่ในเซกเมนต์ PACS ภายในสามารถฉีดการรบกวน L-infinity ที่มีขอบเขตเข้าไปในแท็ก PixelData ที่ไม่ถูกบีบอัดก่อนการคัดกรองด้วยปัญญาประดิษฐ์

สูตรการโจมตีแบบปรปักษ์เชิงปริมาตร Min-Max#

ให้ fθ:RC×D×H×W→[0,1]K×D×H×Wf_\theta : \mathbb{R}^{C \times D \times H \times W} \to [0,1]^{K \times D \times H \times W} เป็นเครือข่ายการแบ่งส่วนภาพ 3 มิติเชิงปริมาตรที่มีพารามิเตอร์ θ\theta ซึ่งแผนที่ภาพสแกนหลายช่องสัญญาณไปยังคลาสกายวิภาคหรือพยาธิสภาพ KK คลาส ผู้โจมตีแสวงหาเทนเซอร์การรบกวน δ\delta ที่ถูกจำกัดภายในทรงกลม ℓ∞\ell_\infty รัศมี ϵ\epsilon ซึ่งทำให้ฟังก์ชันขาดทุน Dice-Cross-Entropy สูงสุด:

min⁡θ  E(x,y)∼D[max⁡∥δ∥∞≤ϵ(LDice(fθ(x+δ),y)+λ LCE(fθ(x+δ),y))]\min_{\theta} \; \mathbb{E}_{(x, y) \sim \mathcal{D}} \left[ \max_{\|\delta\|_{\infty} \le \epsilon} \left( \mathcal{L}_{\text{Dice}}(f_{\theta}(x + \delta), y) + \lambda \, \mathcal{L}_{\text{CE}}(f_{\theta}(x + \delta), y) \right) \right]
Eq. (1)
วัตถุประสงค์การฝึกแบบปรปักษ์จุดอานาสำหรับการแบ่งส่วนภาพ 3 มิติเชิงปริมาตรภายใต้รัศมีการรบกวนของโวเซลที่มีขอบเขต epsilon

การทำให้นอร์มเป็นสเปกตรัมของความสนใจแบบหน้าต่างเลื่อน 3 มิติ

Self-attention แบบหลายหัวมาตรฐานในหน้าต่าง 3 มิติแสดงค่าลักษณะเฉพาะของจาโคเบียนที่ไม่มีขอบเขต เมื่อดอตโปรดักต์ของ query-key กระจุกตัวบนสัญญาณรบกวน Rician ความถี่สูง ด้วยการจำกัดนอร์มสเปกตรัม σ(WQ),σ(WK)≤1\sigma(W_Q), \sigma(W_K) \le 1 และแทนที่การสเกล softmax ด้วยความคล้ายคลึงแบบโคไซนที่ถูกทำให้เป็นมาตรฐาน ℓ2\ell_2 เราบังคับขอบเขตบนที่เข้มงวดของการขยายตัวของการรบกวนรายชั้น

src/models/robust_swin3d_attention.py
python
import torch
import torch.nn as nn
import torch.nn.functional as F
from torch.nn.utils.parametrizations import spectral_norm

classLipschitzWindowAttention3D(nn.Module):
    """3D Windowed Self-Attention with Spectral Norm & Cosine Logit Bounding."""
    def __init__(self, dim: int, num_heads: int, tau: float = 0.07):
        super().__init__()
        self.num_heads = num_heads
        self.head_dim = dim // num_heads
        self.tau = nn.Parameter(torch.tensor(tau))

        # Constrain weight matrices to 1-Lipschitz spectral bound
        self.qkv = spectral_norm(nn.Linear(dim, dim * 3, bias=False))
        self.proj = spectral_norm(nn.Linear(dim, dim))

    def forward(self, x: torch.Tensor) -> torch.Tensor:
        B_, N, C = x.shape
        qkv = self.qkv(x).reshape(B_, N, 3, self.num_heads, self.head_dim)
        q, k, v = qkv.permute(2, 0, 3, 1, 4).unbind(0)

        # L2-normalize queries and keys along embedding dimension
        q = F.normalize(q, p=2, dim=-1)
        k = F.normalize(k, p=2, dim=-1)

        # Bounded temperature scaling prevents Jacobian explosion
        scale = torch.clamp(self.tau, min=0.02)
        attn = (q @ k.transpose(-2, -1)) / scale
        attn = attn.softmax(dim=-1)

        out = (attn @ v).transpose(1, 2).reshape(B_, N, C)
        return self.proj(out)
การใช้งาน PyTorch ของความสนใจหน้าต่าง 3 มิติที่ทำให้เป็นสเปกตรัมนอร์มแบบ 1-Lipschitz พร้อมการจำกัดล็อกิตด้วยโคไซน สำหรับการแบ่งส่วนภาพทางการแพทย์เชิงปริมาตร

การประเมินเชิงประจักษ์บนภาพ MRI สมองแบบมัลติมอดัล (BraTS)#

จากกรณีศึกษาเชิงปริมาตร 480 กรณี 3D Swin-UNETR ที่ผ่านการปรับสเปกตรัมนอร์มของเราซึ่งฝึกด้วย Free-AT 3 ขั้นตอน รักษาคะแนน Dice ของเนื้องอกที่เพิ่มการเสริมสัญญาณ (ET) ที่สะอาดไว้ที่ 0.8840.884 (ต่างจากเบสไลน์ไม่เกิน 0.0060.006) ขณะที่เพิ่ม Dice ที่ทนทานต่อ PGD-20 ที่ ϵ=2/255\epsilon = 2/255 จาก 0.2710.271 เป็น 0.7960.796

  • Dice ของเนื้องอกทั้งก้อน (WT) ที่สะอาด: 0.928 (เบสไลน์) เทียบกับ 0.923 (Lipschitz-Swin3D)
  • WT Dice ที่ทนทานต่อ PGD-20 (eps=2/255): 0.314 (เบสไลน์) เทียบกับ 0.831 (Lipschitz-Swin3D)
  • Overhead ความหน่วงของการอนุมานบน NVIDIA H100: +1.8 มิลลิวินาทีต่อแพตช์ปริมาตร 128x128x128