·ระบบ ML และความเป็นส่วนตัว·3 นาที

การเรียนรู้แบบกระจายศูนย์ที่รักษาความเป็นส่วนตัวในเครือข่ายโรงพยาบาล: การบรรเทาการโจมตีแบบ Gradient Inversion

การแบ่งปันเกรเดียนต์พารามิเตอร์ดิบในการเรียนรู้แบบกระจายศูนย์ข้ามโรงพยาบาลไม่รับประกันความเป็นส่วนตัวของผู้ป่วย: การทำ Gradient Inversion ด้วยวิธีเชิงออปติไมเซชันสามารถสร้างภาพรังสีทรวงอกและภาพตัดเชิงปริมาตรขึ้นใหม่ได้ เราอนุมานการรับประกัน Rényi Differential Privacy (RDP) ที่แน่น พร้อมการตัดเกรเดียนต์แบบปรับตัว

ภาพลวงตาของความเป็นส่วนตัวในการเฉลี่ยแบบกระจายศูนย์ธรรมดา#

การเรียนรู้แบบกระจายศูนย์ (FL) ช่วยให้สถาบันทางคลินิกหลายแห่งฝึกโมเดลวินิจฉัยร่วมกันโดยไม่รวมศูนย์ข้อมูลสุขภาพที่ได้รับการคุ้มครอง (PHI) อย่างไรก็ตาม การส่งเกรเดียนต์พารามิเตอร์ดิบ ∇θL(fθ(xi),yi)\nabla_\theta \mathcal{L}(f_\theta(x_i), y_i) ทำให้ข้อมูลมิติสูงเกี่ยวกับภาพสแกนผู้ป่วย xix_i รั่วไหล

x∗=arg⁡min⁡x^(1−⟨∇θL(x^,y^),∇θL(x,y)⟩∥∇θL(x^,y^)∥2 ∥∇θL(x,y)∥2)+αTV RTV(x^)x^* = \arg\min_{\hat{x}} \left( 1 - \frac{\langle \nabla_\theta \mathcal{L}(\hat{x}, \hat{y}), \nabla_\theta \mathcal{L}(x, y) \rangle}{\|\nabla_\theta \mathcal{L}(\hat{x}, \hat{y})\|_2 \, \|\nabla_\theta \mathcal{L}(x, y)\|_2} \right) + \alpha_{\text{TV}} \, \mathcal{R}_{\text{TV}}(\hat{x})
Eq. (2)
วัตถุประสงค์การทำ Gradient Inversion ที่จับคู่ทิศทางโคไซนของเกรเดียนต์ทางคลินิกที่สังเกตได้ ภายใต้ prior ภาพแบบ Total Variation

การลดเกรเดียนต์แบบสุ่มที่เป็นส่วนตัวเชิงดิฟเฟอเรนเชียล (DP-SGD)#

เพื่อจำกัดความเสี่ยงในการสร้างขึ้นใหม่เชิงคณิตศาสตร์ โหนดโรงพยาบาลแต่ละแห่งตัดเกรเดียนต์รายตัวอย่างให้มีนอร์ม ℓ2\ell_2 สูงสุด CC ก่อนเพิ่มสัญญาณรบกวนเกาส์เซียนไอโซโทรปิกที่สเกลเป็น σC\sigma C:

src/privacy/dp_federated_step.py
python
import torch

def clip_and_noise_per_sample_gradients(
    per_sample_grads: torch.Tensor,
    max_grad_norm: float = 1.0,
    noise_multiplier: float = 1.15,
) -> torch.Tensor:
    # Compute per-patient L2 norm across flattened parameter dimension
    grad_norms = per_sample_grads.flatten(1).norm(p=2, dim=1, keepdim=True)
    clip_factor = torch.clamp(max_grad_norm / (grad_norms + 1e-6), max=1.0)

    # Bound sensitivity of each individual patient record
    clipped = per_sample_grads * clip_factor.view(-1, *([1] * (per_sample_grads.ndim - 1)))
    aggregated = clipped.sum(dim=0)

    noise = torch.randn_like(aggregated) * (noise_multiplier * max_grad_norm)
    return (aggregated + noise) / per_sample_grads.size(0)
การจำกัดความอ่อนไหว L2 รายตัวอย่างและการฉีกกลไกเกาส์เซียนก่อนการรวมแบบกระจายศูนย์