有害模因检测是一种防止有害模因在社交媒体平台上扩散的技术。考虑到其对社交环境的影响，本文提出了模因木马（Meme Trojan），旨在探索其在面对后门攻击时所产生的潜在隐患。通过在模因样本中注入设定的触发器，攻击者可以操纵检测器来输出指定的结果。

　　Meme Trojan涉及创建一种新颖的跨模态触发器（Cross-Modal Trigger, CMT）和一个可学习的触发器增强器（Trigger Augmentor），以根据每个输入样本增强其的触发器模式。由于跨模态特性，所提出的跨模态触发器可以在自动检测框架下有效地发起后门攻击。

　　此外，触发器的注入位置和尺寸是自适应于模因样本中的文本，这确保了触发器与模因内容紧密结合。通过实验证明，本文所提出的方法在有效性和隐蔽性方面显著优于已有方法。

　　随着社交媒体平台（例如 Twitter、Reddit 等）的兴起，模因（一种多模态内容）已成为表达用户想法和情感的流行媒介。由于模因可能传达有害和讽刺信息，导致网络辱骂和有害言论（见图 1 (I)），因此提出了有害模因检测来减轻这些社会风险。

　　尽管在有害模因检测方面取得了重大成就，但已有实验证明简单的对抗性干扰可以在推理阶段欺骗有害模因检测器。这揭示了有害模因检测模型存在潜在安全风险，强调了进一步探索的迫切需要。在有害模因检测器的训练阶段，后门攻击会造成更现实的威胁。

　　这种攻击通常可能由使用包含中毒样本的第三方数据集引起，具有极高的隐蔽性。攻击者通过毒害训练数据将后门注入受害者模型，从而在推理过程中操纵模型的预测行为。如图 1（II）所示，受害者模型可以正确地分类良性样本（第一行：没有触发器），而在遇到中毒模因时给出恶意结果（第二行：有触发器）。这种攻击使恶意用户能够绕过有害模因检测器，从而促进有害模因的传播。

　　图 1 （I）：将相同的文本（或图像）与不同的图像（或文本）组合在一起将传达出不同的含义。（II）：在后门攻击下，有害模因检测器可以准确识别良性样本，但在遇到特定触发器时会产生恶意结果。二、方法

　　模因由图像和嵌入其中的一段短文本组成，具有文本与图像共存的独特特征。这种特征限制了已有后门攻击方法在该领域的应用。例如，现有的针对文本模态的后门攻击需要事先获取文本内容才能注入触发器。然而，在自动检测系统中，文本信息由模型自动提取，攻击者无法获取，则导致效率低下。如果由用户手动输入文本，则易导致用户发现中毒文本与图像中嵌入的原始内容不一致，降低隐蔽性。如图 1（II）中的样例（a）所示，多余的单词“Consider”显得非常可疑，并且注入的图像触发器（即随机补丁）非常明显。

　　在本文研究中，我们引入了一个名为Meme Trojan的框架来对有害模因检测器进行后门攻击探索。考虑到文本是模因中跨模态内容的共享元素，我们提出设计一种新颖的类文本触发器来发起后门攻击。嵌入在图像中的类文本触发器以图像形式存在，可以攻击用于有害模因检测的图像编码器。同时，它的类文本属性允许被文本自动提取工具转换为文本内容，从而使得能够攻击文本编码器。这种跨模态属性确保了该触发器的有效性clash安卓手机激活方法。

　　为了提高隐蔽性，我们将文本简化为“..”形式，因为它较小的尺寸和诙谐的表达形式不会引起怀疑并改变模因的本意。我们将这个触发器注入到图像中包含的文本的末尾，以确保它与模因的内容紧密结合。这种紧密的整合使得注入的触发器能够被文本提取器转换为文本模态。如图 1（II）的样例（b）所示，触发器对图像造成的混淆较少，并保持了图像中毒文本和原始文本之间的文本一致性。

　　然而，良性模因中大量存在的点（“.”）可能会无意中触发后门。为了避免这种错误激活，我们提出了一个触发器增强器（Trigger Augmentor）。如图 2（a）所示，我们首先根据上述触发器模式生成一些毒害模因。然后，在干净数据和毒害模因上训练深度分类器，以确保分类器能够从毒害样本中提取判别特征。最后，我们利用这些判别特征再次毒害初始毒害模因，即增强初始化触发器。

　　由于提取的特征差异较大，导致隐蔽性较低，我们采用一种混合策略将语义特征与初始化触发器融合，作为最终的增强触发器。如图 1 (II) 的样例 (c) 所示，这种触发器具有不同的细节，但外观与点相似。

　　图 2 Meme Trojan的框架图，包括跨模态触发器注入、后门模型训练、后门模型攻击。三、主要实验结果

　　表1显示了所提方法与基线方法在三个数据集上采用六种不同受害者模型时的干净数据准确率（CDA）与攻击成功率（ASR），本文方法在手动输入文本和自动化检测两种情况下都表现优越，表明即使在极具挑战性的自动检测框架下，使用者也需要关注后门攻击可能引起的安全问题。

　　表2显示了三种触发器在FBHM数据集上的隐蔽性评估，包括图像和文本两个方面。相比于TrojVQA，本文方法注入一个更小的类图像文字作为触发器，不仅降低了对图像内容的干扰，而且与文本标点相似形态也避免了中毒文本的暴露。

　　为了探索触发器增强器的有效性，我们对此做了消融研究。如表3所示，采用随机模式或改变触发器颜色可以降低触发器的误启动，但这也降低触发器的隐蔽性，易被用户发现。相比于单模态图像后门攻击方法FIBA和文本方法BadNLP(Consider-like),本文方法在CDA与ASR的综合方面展现出更好的效果。

　　本文介绍了 Meme Trojan 框架，该框架具有一种新颖的跨模态触发器 (CMT)，可以从视觉和文本模态对多模态有害模因检测模型发起后门攻击。提出了一种触发器增强器来优化触发器内容，以减轻模因中包含的真实“.”引起的误启动。在三个公共数据集上进行的大量实验证明了所提方法CMT的有效性和隐蔽性。此外，本文方法也表现出良好的抗后门防御能力。我们希望本文能够引起更多人关注到后门攻击对有害模因检测造成的潜在威胁，探索出有效的防御方法，构建良好的社交环境，避免模因滥用。

　　） 。 社区上线+篇技术干货文章，方向覆盖CV/NLP/ML/Robotis等；每月定期举办顶会及其他线上交流活动，不定期举办技术人线下聚会交流活动。我们正在努力成为AI人才喜爱的高质量、知识型交流平台，希望为AI人才打造更专业的服务和体验，加速并陪伴其成长。

　　或添加工作人员微信（yellowsubbj）投稿，沟通投稿详情；还可以关注“将门创投”公众号，后台回复“投稿”二字，获得投稿说明。

　　将门是一家以专注于数智核心科技领域的新型创投机构，也是北京市标杆型孵化器。 公司致力于通过连接技术与商业，发掘和培育具有全球影响力的科技创新企业，推动企业创新发展与产业升级。

　　将门成立于2015年底，创始团队由微软创投在中国的创始团队原班人马构建而成，曾为微软优选和深度孵化了126家创新的技术型创业公司。

　　如果您是技术领域的初创企业，不仅想获得投资，还希望获得一系列持续性、有价值的投后服务，欢迎发送或者推荐项目给我“门”: