ภาพลวงตาของความเป็นส่วนตัวในการเฉลี่ยแบบกระจายศูนย์ธรรมดา#
การเรียนรู้แบบกระจายศูนย์ (FL) ช่วยให้สถาบันทางคลินิกหลายแห่งฝึกโมเดลวินิจฉัยร่วมกันโดยไม่รวมศูนย์ข้อมูลสุขภาพที่ได้รับการคุ้มครอง (PHI) อย่างไรก็ตาม การส่งเกรเดียนต์พารามิเตอร์ดิบ ทำให้ข้อมูลมิติสูงเกี่ยวกับภาพสแกนผู้ป่วย รั่วไหล
Eq. (2)
การลดเกรเดียนต์แบบสุ่มที่เป็นส่วนตัวเชิงดิฟเฟอเรนเชียล (DP-SGD)#
เพื่อจำกัดความเสี่ยงในการสร้างขึ้นใหม่เชิงคณิตศาสตร์ โหนดโรงพยาบาลแต่ละแห่งตัดเกรเดียนต์รายตัวอย่างให้มีนอร์ม สูงสุด ก่อนเพิ่มสัญญาณรบกวนเกาส์เซียนไอโซโทรปิกที่สเกลเป็น :
src/privacy/dp_federated_step.py
python
import torch
def clip_and_noise_per_sample_gradients(
per_sample_grads: torch.Tensor,
max_grad_norm: float = 1.0,
noise_multiplier: float = 1.15,
) -> torch.Tensor:
# Compute per-patient L2 norm across flattened parameter dimension
grad_norms = per_sample_grads.flatten(1).norm(p=2, dim=1, keepdim=True)
clip_factor = torch.clamp(max_grad_norm / (grad_norms + 1e-6), max=1.0)
# Bound sensitivity of each individual patient record
clipped = per_sample_grads * clip_factor.view(-1, *([1] * (per_sample_grads.ndim - 1)))
aggregated = clipped.sum(dim=0)
noise = torch.randn_like(aggregated) * (noise_multiplier * max_grad_norm)
return (aggregated + noise) / per_sample_grads.size(0)