背景#

• 目标：在多模态特征提取中降低计算开销，避免从头训练。
• 方法：采用预训练模型作为骨干网络，直接利用图像、文本和语音的深层表示。
• 优势：
  • 提升计算效率与可行性。
  • 适配联邦学习中的边缘设备计算与存储限制 [100]。
• 策略：使用轻量化模型，满足快速计算、高效存储和便捷部署需求。

各模态特征提取方案（见图 4-3）#

1. 图像数据
   • 模型：MobileNetV2 [176]
   • 参数规模：4.3M
   • 特点：轻量化、高效捕捉图像特征，适用于边缘设备的图像任务。
2. 文本数据
   • 模型：MobileBERT [177]
   • 对比：原始 BERT [178] 需 340M 参数，MobileBERT 降至 25M
   • 特点：瓶颈结构设计，大幅降低计算与存储开销，适配计算受限环境。
3. 语音数据
   • 方法：梅尔频率倒谱系数 (MFCC)
   • 应用：被广泛用于 Wav2Vec 2.0 [179] 等语音识别模型
   • 特点：在有限资源下高效提取语音特征，适合联邦分布式语音分析。

总结#

• 本章在多模态联邦学习框架下，选择 MobileNetV2、MobileBERT、MFCC 等轻量化方法作为基础模型。
• 该策略在保证表示能力的同时，显著降低了计算与存储成本，满足物联网与边缘计算环境对多模态数据处理的需求。

背景#

• 在多模态联邦学习框架中，特征融合网络性能对全局模型表现至关重要。
• 各客户端基于相同的预训练模型提取模态特征，因此全局性能很大程度取决于融合模块的设计。
• 本章提出 FSM（Federated Self-attention Multimodal feature fusion） 模块，以自注意力机制高效融合多模态特征表示。

FSM 结构（见图 4-4）#

FSM 包含两条传播路径：

1. 注意力传播路径（路径 1）
   • 特征拼接 → 全连接层（FC1） → Tanh 池化 → 全连接层（FC2）。
   • 引入 LayerNorm提升数值稳定性与梯度传播效果。
   • 输出统一特征空间中的模态表示。
2. 自注意力传播路径（路径 2）
   • 多头自注意力机制：输入特征经线性映射得到 查询 (Q)、键 (K)、值 (V)。
   • 相似度计算：通过 $QK^T$ 获得注意力得分，并归一化为权重。
   • 加权计算：利用注意力权重对 $V$ 进行加权，生成全局融合特征。
   • 多头机制：每个头有独立的投影矩阵 $W_Q^i, W_K^i, W_V^i$，增强表示能力。

公式推导#

• 投影计算（公式 4-1）

  $${\mathbf {Q}}_i = {\mathbf {XW}}_i^Q,\quad {\mathbf {K}}_i = {\mathbf {XW}}_i^K,\quad {\mathbf {V}}_i = {\mathbf {XW}}_i^V \tag{4-1}$$
  • 参数说明：
    • $\mathbf{X}$：输入特征矩阵
    • ${\mathbf{W}}_i^Q, {\mathbf{W}}_i^K, {\mathbf{W}}_i^V$：第 $i$ 个注意力头的投影矩阵
    • $\mathbf{Q}_i, \mathbf{K}_i, \mathbf{V}_i$：分别为查询（Query）、键（Key）、值（Value）矩阵

• 单头注意力（公式 4-2）

  $$\text{head}_i = \text{Attention}({\mathbf {Q}}_i, {\mathbf {K}}_i, {\mathbf {V}}_i) = \text{softmax}\left(\frac{{\mathbf {Q}}_i {\mathbf {K}}_i^T}{\sqrt{d_k}}\right){\mathbf {V}}_i \tag{4-2}$$
  • 参数说明：
    • $\text{head}_i$：第 $i$ 个注意力头的输出
    • $d_k$：键向量的维度
    • $\text{softmax}$：对注意力权重进行归一化处理

• 多头拼接（公式 4-3）

  $$\text{MultiHead}({\mathbf {Q}},{\mathbf {K}},{\mathbf {V}}) = \text{Concat}(\text{head}_1,\dots,\text{head}_h){\mathbf {W}}^O \tag{4-3}$$
  • 参数说明：
    • $\text{head}_1,\dots,\text{head}_h$：来自 $h$ 个注意力头的输出
    • $\text{Concat}(\cdot)$：拼接操作，将多个注意力头的输出拼接在一起
    • $\mathbf{W}^O$：输出投影矩阵

特性与机制#

• 融合策略：路径 1 与路径 2 输出结果融合后，与原始特征相加 → 生成最终特征表示。
• Mask 操作：在模态缺失时屏蔽无效注意力分数，避免噪声干扰，增强鲁棒性。
• 分类阶段：融合后的特征输入至 多层感知机 (MLP)，执行分类任务。

优势#

1. 动态适应性：
   • 自注意力机制可根据输入特征重要性动态分配权重。
2. 增强模态协同：
   • 深度捕捉模态间的内在关联性与相对重要性。
3. 鲁棒性强：
   • Mask 机制保障缺失模态情况下的稳定性。
4. 全局性能提升：
   • 提高特征表达能力与泛化性能，优化联邦学习全局模型。

总结#

FSM 模块通过 多路径融合 + 自注意力机制 + Mask 策略，实现了 高效、鲁棒、动态的多模态特征融合，显著提升了联邦学习在复杂任务场景下的表现。

背景#

• 问题：传统的 FedAvg 在 Non-IID 多模态环境下，各客户端数据差异导致 更新方向不一致，从而影响全局模型的稳定性。
• 解决方案：提出 FedMAC (Federated learning Multimodal Adaptive Continual updating) 算法。
  • 在服务端引入 参数差异分析机制 与 自适应持续学习策略。
  • 核心目标：缓解异构数据与低参与率带来的不稳定性，增强模型泛化能力。

核心思想#

1. 服务端再训练：
   • 不仅聚合参数，还分析客户端模型与全局模型的差异。
   • 大幅波动参数 → 施加约束，防止震荡。
   • 一致更新方向 → 保持不惩罚，保证正确优化。
2. 持续学习机制：
   • 引入 历史梯度均值 调整更新方向，平滑优化过程。
   • 弥补低客户端参与率下的差异过大问题。

算法流程（见图 4-5）#

1. 初始化

   • 服务端初始化全局模型 $w_0$，并广播给客户端。

2. 客户端本地训练

   • 每个客户端在本地数据上进行梯度下降，得到 $w_i^t$ 并上传。

3. 服务端再训练

   • 计算客户端参数变化量：

     $$\Delta w_i^t = w_i^t - w^t$$

   • 分析变化方向，对波动过大的参数加以约束。

4. 持续学习更新

   • 历史 $R$ 轮平均梯度差：

     $$\frac{1}{R}\sum_{r=1}^R \Delta w^{t-r} \tag{4-4}$$

   • 服务端全局更新：

     $$w^{t+1} = w^t - \eta \cdot \frac{1}{M}\sum_{i=1}^M (\Delta w_i^t ) - \lambda \cdot \frac{1}{R}\sum_{r=1}^R (\Delta w^{t-r}) \tag{4-5}$$

     其中：

     • $\eta$：学习率
     • $\lambda$：正则化强度超参数
     • $M$：当前轮参与客户端数
     • $R$：历史记录轮数

优势#

• 稳定性提升：约束剧烈波动参数，避免全局模型震荡。
• 持续学习：利用历史梯度信息，增强动态环境适应性。
• 鲁棒性强：在 模态偏移 Non-IID 场景中有效缓解数据分布不均。
• 通信效率高：减少因低参与率带来的模型差异，保证收敛稳定性。

总结#

FedMAC 融合 全局梯度再训练 + 持续学习机制，在多模态联邦学习中显著增强了模型对异构数据环境的 适应性与稳定性，为 Non-IID 场景下的高效优化提供了可行方案。

问题背景#

• 多模态数据中，模态缺失现象普遍存在，尤其在 图文数据集 中：
  • 采集条件限制、传输丢失等导致模态缺失。
  • 缺失图像模态会严重影响模型的训练和性能，甚至造成收敛困难。
• 关键挑战：如何高效补全缺失模态，尤其是 图像模态。

方法概述#

• 本文提出：基于扩散模型的图像模态补全算法。
• 引入 Stable Diffusion [175] 条件生成模型：
  • 以文本为 Prompt，生成符合语义的高质量图像。
  • 用于补全缺失图像模态，提升训练效果与泛化能力。

Stable Diffusion 生成机制#

1. 正向扩散 (Noising)

   • 在逐步加噪过程中，将数据映射为噪声分布：

     $$q(\mathbf {x}_t|\mathbf {x}_{t-1}) = \mathcal{N}(\mathbf {x}_t; \sqrt{\alpha_t} \mathbf {x}_{t-1}, (1-\alpha_t)\mathbf {I}) \tag{4-6}$$

   • 参数说明：

     • $\mathbf{x}_t$：第 $t$ 步的潜在变量
     • $\mathbf{x}_{t-1}$：第 $t-1$ 步的潜在变量
     • $\alpha_t$：时间步长的缩放因子
     • $\mathbf{I}$：单位矩阵

2. 反向扩散 (Denoising)

   • 从噪声逐步恢复出清晰图像：

     $$p_\theta(\mathbf {x}_{t-1}|\mathbf {x}_t) = \mathcal{N}(\mathbf {x}_{t-1}; \mu_\theta(\mathbf {x}_t,t), \Sigma_\theta(\mathbf {x}_t,t)) \tag{4-7}$$

   • 参数说明：

     • $\mathbf{x}_{t-1}$：第 $t-1$ 步的潜在变量
     • $\mathbf{x}_t$：第 $t$ 步的潜在变量
     • $\mu_\theta(\mathbf{x}_t,t)$：由模型参数 $\theta$ 预测得到的均值
     • $\Sigma_\theta(\mathbf{x}_t,t)$：由模型参数 $\theta$ 预测得到的方差（协方差矩阵）

3. 损失函数

   • 最小化预测噪声与真实噪声之间的差异：

     $$\mathcal{L}_{diffusion} = \mathbb{E}_{\mathbf{X}_{0}, \epsilon \sim \mathcal{N}(0,I), t} \big[\|\epsilon - \epsilon_\theta(\mathbf{X}_t,t,c)\|_2^2\big] \tag{4-8}$$

   • 参数说明：

     • $\mathbf{X}_0$：原始输入
     • $\epsilon$：高斯噪声，$\epsilon \sim \mathcal{N}(0,I)$
     • $\epsilon_\theta(\mathbf{X}_t,t,c)$：由模型预测的噪声
     • $c$：文本模态嵌入的条件信息
     • $t$：时间步

4. 文本条件嵌入

   • 通过文本编码器获取条件输入：

     $$c = Encoder_{text}(prompt) \tag{4-9}$$

   • 参数说明：

     • $c$：文本条件嵌入向量
     • $Encoder_{text}$：预训练文本编码器
     • $prompt$：输入文本描述

模态补全流程（见图 4-6）#

• 输入：文本描述 (Prompt)
• 步骤：
  1. 文本编码器提取语义表示。
  2. Stable Diffusion 基于文本语义生成合成图像。
  3. 替换缺失或损坏的图像模态。
• 输出：补全后的图像模态，保证语义一致性。

部署策略优化（见图 4-7）#

• 客户端：部署计算轻量的文本编码器 (如 MobileBERT)。
• 服务端：部署计算量大的图像解码器与特征提取器 (如 MobileNetV2)。
• 流程：
  • 客户端仅上传加密后的文本表示。
  • 服务端基于文本生成图像 → 提取图像特征 → 返回给客户端。
• 优势：
  • 避免原始数据传输，增强隐私保护。
  • 合理分配计算负荷，提升系统训练效率与稳定性。

优势总结#

• 生成质量高：细节丰富，分辨率优于传统 GAN [180]。
• 语义一致性：利用文本语义指导图像生成，确保视觉与语义对齐。
• 隐私安全：客户端-服务端协同计算，避免原始数据暴露。
• 鲁棒性增强：缓解模态缺失对模型训练的影响，提升整体性能。

4.3.3.1 模块消融实验#

• 实验目的：将 FedMAC 解构为 客户端梯度差异模块 和 持续学习模块，结合 FSM 模块，探究各组件对模型性能的独立贡献。
• 实验条件：客户端数量与参与率不变，ρ = 0.1。
• 结果（表 4-3）：

• 分析：
  • FSM 模块：通过自注意力优化特征融合，在复杂多模态任务中性能显著提升（如 CrisisMMD +8.93%）。
  • 客户端梯度差异模块：增强全局模型更新方向感知，使模型更好适应异质性。
  • 持续学习模块：在跨时间步保持一致性，缓解客户端数据偏差，提升长期稳定性（如 UCI-HAR +4.09%）。
  • 综合效果：启用全部模块性能最佳，验证了三者在多模态联邦学习中的协同作用。

4.3.3.2 持续更新参数 R 消融实验#

• 实验目的：探索公式 (4-5) 中 FedMAC 的历史更新轮次参数 (R) 对性能和计算开销的影响。

• 实验条件：
  • 数据集：UCF101、UCI-HAR、CrisisMMD
  • 参数：$R \in \{1,2,3,4,5\}$
  • 指标：准确率(%)、训练时间(秒)、最大 GPU 内存(MB)
• 结果（表 4-4）：

• 分析：
  • 最佳性能：R=3 时准确率最高（如 CrisisMMD：32.63% → 34.05%）。
  • 计算成本：R 增大 → 训练时间和显存占用上升。
  • 稳定性与效率权衡：
    • 小 R（如 R=1）：收敛快，但波动大。
    • 大 R（如 R=4,5）：更稳定，但性能下降、计算负担重。
    • R=3 是性能与成本的最佳平衡点，尤其适合 CrisisMMD 等复杂数据集。

4.3.4.1 客户端参与率稳定性实验#

实验设置：

• 客户端参与率 $\rho \in \{0.3,0.5,0.7,1.0\}$。
• 对比 两种特征融合方式（Attention 与 FSM）和 五种聚合方法（FedAvg、FedProx、FedRS、FedOpt、FedMAC）。
• 数据集：UCF101、UCI-HAR、CrisisMMD。
• 评估指标：UCF101 使用 准确率 (Accuracy)，UCI-HAR 与 CrisisMMD 使用 F1 分数。

4.3.4.2 客户端数量稳定性实验#

实验设置：

• 数据集：UCF101、CrisisMMD。
• 数据划分：狄利克雷分布参数设为 $\beta=0.1$，划分为 $N=10$ 和 $N=50$ 个客户端，以模拟更高异构性情境下的数据分布特征。
• 参与率：$\rho=0.3$。
• 通信轮次：200。
• 数据分布可视化结果见 图 4-10（客户端数据样本类别分布）。

• 实验结果见 表 4-8。

4.3.4.3 不同模态偏移程度稳定性实验#

实验设置：

• 通过调节狄利克雷分布参数 $\beta$ 控制客户端数据分布的异质性。
• 参数范围：$\beta \in \{0.1,0.3,0.5,0.7,1.0\}$。
• $\beta$ 较小时：数据分布高度不均衡，表现出强烈的 Non-IID 特性。
• $\beta$ 较大时：数据分布更趋均衡，客户端差异减小，接近 IID。
• 实验结果列于 表 4-9 至 表 4-11。

实验设置#

• 缺失率：$q \in \{0.1,0.2,0.3,0.4,0.5\}​$。
• 融合方法：采用 FSM（见 §4.2.3）；其 Mask 结构支持在存在缺失数据时通过掩蔽继续训练。
• 处理方式对比：
  1. 零填充（Zero Padding） [182]：对缺失位置填 0，并在注意力计算中屏蔽相应数据点（方式 1）。
  2. 基于扩散模型的缺失图像模态补全算法（方式 2）：利用生成式模型推测并补全缺失图像。
• Stable Diffusion 配置（用于方式 2）：
  • 采样器(Sampler)：DPM++ 2M
  • 调度类型(Schedule type)：Automatic
  • 采样步骤(Sampling steps)：20
  • 生成尺寸：$512 \times 512$
  • 将缺失图片对应的文本内容作为 Prompt 输入
• 示例可视化：CrisisMMD 生成案例见 表 4-12（“Prompt / 原图 / 生成图像”三列示意）。

• 性能展示：趋势图见 图 4-11（不同处理方法的下降率）。

CrisisMMD：不同缺失率下的 F1（%）#

表 4-13 模态缺失下不同处理方法的 F1（%）表现

观察：

• 零填充在所有方法中随缺失率升高明显下降，说明其应对高缺失率较弱。
• 扩散模型补全在低缺失率（$q \le 0.3$）时整体不如零填充，但在高缺失率（$q \ge 0.4$）时显著优于零填充；其中 FedMAC 受益最明显。

Oxford-IIIT Pet：生成文本 + 扩散补全#

• 该数据集缺少文本提示，使用 GIT 模型 [185] 为每幅图像生成与类别一致的文本描述，构建图文对（示意见 表 4-14：“Prompt / 原图 / 生成图像”）。

• 训练/测试划分：8:2；以狄利克雷分布（$\beta=0.1$）将训练集划分为 100 个客户端，客户端参与率 0.1，共 100 轮。
• 为降低文本模态对融合的干扰，在 MobileBERT 提取的文本特征上以 0.1 概率添加噪声，引导网络关注缺失图像模态影响。

表 4-15 模态缺失下不同处理方法的 F1（%）表现

观察：

• 在所有设定下，方式 2（扩散补全）均优于方式 1（零填充），呈现一致且显著的性能提升，表明生成图像具备良好泛化性并能在不同聚合方法中稳定增益。

结论#

• 零填充：实现简单，但在高缺失率场景下性能下降显著。
• 扩散模型补全：
  • 在 高缺失率 时优势明显，显著提升稳定性与性能；
  • 在 CrisisMMD 与 Oxford-IIIT Pet 上均验证了有效性；
  • 与 FedMAC 结合效果最优。
• 总体而言，基于 Stable Diffusion 的缺失图像模态补全算法是应对模态缺失 + 模态偏移 Non-IID 环境的有效策略，可显著增强多模态联邦学习的稳健性与适应性。