基于Mindspore和mPLUG-Owl的多模态情感计算与分析在网络暴力检测中的应用

项目介绍

本项目基于Mindspore框架，对mPlug-Owl多模态大模型进行网络迁移，应用于网络暴力检测。mPlug-Owl将视觉基础模块，语言基础模块和视觉抽象器组合在一起，将稠密的视觉特征汇总到少量可学习的令牌中，获得更多的视觉并减少计算。该应用利用mPlug-Owl强大的图文理解能力，推理能力，对网络图片与文字暴力进行检测，有助于克服当前网络暴力检测方法的局限性，即主要依赖于文本分析，而忽略了图像内容。通过引入多模态分析，可以更全面地理解和识别网络暴力行为。

模型介绍

• 由视觉基础模块、视觉抽象模块以及大型语言模型（LLaMA-7B）组成
• 视觉抽象模块将较长的、细粒度的图像特征概括为少量可学习的 Token，从而实现对视觉信息的高效建模
• 生成的视觉Token与文本查询一起输入到语言模型中,以生成相应的回复

项目功能

• 检测网络暴力 判断网络图片及语言是否包含网络暴力的成分
• 保护受害者 及早发现网络暴力行为并采取措施来保护受害者，提供适当的支持和援助，减轻其受到的伤害
• 遏制恶意信息传播 遏制随网络暴力产生的谣言、辱骂、恶意攻击等不良言论和信息的传播的传播，维护社会秩序和公共利益
• 维护良好网络环境 创建一个更加友好、尊重和安全的网络空间，促进公正、平等和和谐的交流

模型部署

创建环境

conda create -r my-project
conda activate my-project

安装依赖

pip install -r requirements.txt

运行使用

python run2.py

未来展望

技术展望

1. LoRA方式指令微调：计划使用LoRA（Low-Rank Approximation）技术对预训练模型进行指令微调。通过确定范围的网络暴力数据，涵盖种族、性别和地区等不同主题，进行模型调优，以提高网络暴力检测的准确性和准确度。
2. 自动检测与实时监控：将完成的模型部署到客户端或云端，实现实时的网络暴力信息监测和过滤。
3. 个性化设置：根据用户需求和偏好，实现自动检测功能的个性化设置，如敏感度调节、反馈方式选择、处理方式等。

社会展望

1. 推广与合作：计划与各大社交媒体平台、学校、企业和政府机构合作，将项目的成果推广到更广泛的应用场景。
2. 公众教育与宣传：通过线上线下对本项目的宣讲和社会活动，提升公众对网络暴力问题，尤其是心理暴力问题的认识