update
基于MindSpore的LLM+Langchain的眼部疾病诊断分析系统
摘要：本文旨在应对眼科医疗领域的挑战，提出基于MindSpore的LLM+Langchain的眼部疾病诊断分析系统。该系统通过目标检测模型 YOLOv8 对眼部图像进行分类，并结合 Qwen 语言模型和 RAG 技术，通过 LangChain 框架实现一个具备专业眼部疾病诊断知识和分析能力的系统。该系统能够对用户输入的眼底照片进行分类，通过专业知识库为用户提供诊断结果和分析报告，同时能够针对性地回答用户的疑问，解决了眼科医疗中诊断效率低、结果不准确和线上就诊等问题。
关键词：眼部疾病诊断, 目标检测, LLM, LangChain, RAG, YOLO
人工智能正在向各个领域迈进。Ai医疗体系的建设是为了更好地服务于人类的健康，提升人类生活质量。目前AI技术在医疗领域的应用已经取得了显著的成果，其中之一便是通过深度学习和图像识别等先进技术，实现对医疗影像的自动分析和诊断。这一技术的应用不仅提高了诊断的准确性，还极大地提高了医生的工作效率，使得患者能够更快地得到准确的诊断结果。医疗AI又称 “AI+医疗”、“医疗人工智能”，是指将计算机视觉、语音识别、自然语言处理、机器学习等人工智能技术应用于医疗领域中。虽然我国医疗AI行业起步较晚，但在医疗资源缺口大和分级诊疗背景下，近年来我国医疗AI行业发展势头迅猛，其产业生态已经基本形成。从产业链来看，我国医疗AI行业产业链由上游、中游和下游组成，其中中游是整个产业生态的核心，主要包括AI医学影像、AI辅助决策等细分市场。就目前来看，AI医学影像是医疗AI领域中跑的最快的一个赛道，截至目前，有超有70个AI医学影像产品拿到国家药监局批准的三类证。
我国医疗AI行业产业链目前我国医疗AI行业发展态势良好，但整体仍处于发展初期，还存在医疗AI技术发展同质化严重、高质量数据较为缺乏、基层医院经费不足等问题。随着人工智能技术的进步和相关利好政策的推进，我国医疗AI行业未来还有很大的上升空间。政策方面，近些年来为了推动医疗AI行业的发展，我国陆续发布了许多相关政策，如2023年3月国务院发布的《关于进一步完善医疗卫生服务体系的意见》提出发展“互联网+医疗健康”，建设面向医疗领域的工业互联网平台，加快推进互联网、区块链、物联网、人工智能、云计算、大数据等在医疗卫生领域中的应用，加强健康医疗大数据共享交换与保障体系建设。我国医疗AI行业相关政策
从上述政策可以看出，人工智能对医疗产业的赋能最为重要，在人工智能辅助诊断、医学影像、电子病历、医院管理等多个领域均能起到重要作用，是发展智慧医疗产业的核心技术基础。尤其是人工智能赋能的医学影像技术在中华医学会中获得权威专家的认可，中华医学会影像技术分会主任委员李真林2021年12月27发表了医学影像领域的学科发展、科研突破方面的观点：“AI赋能医学影像主要是为疾病的诊疗提供了科学和直观的依据，已成为临床医生诊治疾病的眼睛；在临床诊疗中，人工智能赋能医学影像已经由临床辅助检查手段发展成临床诊断疾病的主要方法，广泛应用于体检、疾病筛查、诊断与鉴别、疗效评价及预后等多个方面，为人民群众提供全方位全周期的健康保障。”这些政策旨在促进人工智能与医疗健康的全方位融合，以此解决目前医疗健康领域存在的几大常见的问题，包括但不仅限于：诊断效率低、结果不准确、线上就诊困难繁琐以及医疗不平等等等问题。眼科医疗在其中自然也不例外， 由于眼科医疗的自身的局限性，导致一些眼病的诊断和治疗手段有限、手术风险高，此外还存在资源限制和受众群体广泛的问题。因为眼睛的特殊性，眼科医生的培养成本相较于其他医疗领域更高，这导致了眼科医生的数量不足，导致了眼科医疗的发展瓶颈。此外，只有大型医院才能提供专业的眼科医疗服务，这也限制了眼科医疗的普及。然而，眼睛作为一个人使用频率最高的器官，又是人类最容易受伤的器官之一，这医疗方面却得不到对等的关注，眼睛健康问题已经是全国各个阶段人们的普遍问题。即使大城市能够解决该城市居民的眼科问题，但还存在许多偏远小城市和山村的居民对眼科问题极其不重视，存在问题却不能发现问题，更无法及时地在问题初期解决问题。基于MindSpore的LLM+Langchain的眼部疾病诊断分析系统可以完美解决以上问题。该系统可以替代眼科机械的检测功能，哪怕是普通人，无论在什么的确，只需要上线上传自己的眼底照片，就可以通过该系统诊断得出眼部情况，并给出专业的分析报告。同时，该系统还可以根据用户的疑问，通过专业的知识库回答用户的疑问，解决了眼科医疗中诊断效率低、结果不准确、线上就诊和医疗资源不平等等问题。
根据我们的调查可知：眼科医疗器械包括用于诊断和治疗眼科疾病的眼科设备及相关仪器、辅助器械和植入物，可分为眼科耗材、眼科诊断设备及眼科治疗设备，本次行研所讨论的眼科医疗器械及眼科医疗器械市场不包括隐形眼镜及护理液以及药品相关模块。于2017年至2021年，全球眼科医疗器械市场由215亿美元增长至268亿美元，复合年增长率为5.6%。随着患者人口的扩大及先进技术的发展，据沙利文预计未来2025年市场规模将达到407亿美元，并于2030年达到564亿美元，2021年至2025年的复合年增长率为11.1%，2025年至2030年的复合年增长率为6.7%。如下图所示2017年至2025年全球眼科医疗器械市场的增长趋势及明细（单位：十亿美元）2：
中国眼科医疗器械市场由2017年的人民币92亿元增长至2021年的人民币163亿元，复合年增长率为15.5%，展现出高于全球医疗器械市场的增速。但是在疫情期间，2020年中国眼科医疗器械市场轻微收缩，由人民币132亿元减少至人民币129亿元。这主要因为中国众多医院于2020年第一季度暂时停止眼科（亦包括部分其他医疗部门）的手术以应对COVID-19爆发，并大幅减少眼科设备的采购。预计未来五年该市场的增速将会加快，预计2025年及2030年将分别增长至人民币304亿元及人民币515亿元。下图说明中国眼科医疗器械市场的增长趋势及明细（单位：十亿人民币）：
有上述表格可知，眼科诊断设备的规模还在扩大，投入总值仍在稳步增长，但仍然满足不了广大人民的需求。究其原因，我们可以从以下几个方面分析：
我们从网络上收集了大量的眼部疾病照片和相关文本资料，经过数据清洗，将其转化为合适的格式。首先，通过脚本对每张眼部疾病照片进行数据标注，并按照 8:1:1 的比例将分类后的图片数据划分为训练集、验证集和测试集。整个数据集包含 7 种眼部疾病，总计收集到 14000 张图片。在启智平台上，我们使用 Ascend 910 NPU 进行 YOLOv8 模型的训练，选择的模型版本为 YOLOv8x。与此同时，我们采用了 GLM 3.6B 大语言模型，并结合 LangChain 框架执行 RAG（检索增强生成）操作。文本嵌入采用 text2vec-large-chinese 模型，对收集到的眼部疾病相关文本资料进行分段处理及向量化表示，并将其存储在 FAISS 向量数据库中。用户输入眼底照片后，系统首先通过 YOLOv8 模型对眼部疾病进行分类判别，输出疾病类别；接着，使用 FAISS 数据库进行查询操作，找到多个相关的文本资料并将结果嵌入到提示词（prompt）中，再向 GLM 3.6B 模型提问，推理过程通过 Mindformers 套件中的 Trainer 接口完成，最终结果会输出到 web 网页的对话框中供用户查看，输出相关眼部疾病的诊断以及相应的分析报告。
图2.1 项目设计流程图
系统的主要功能分为两个步骤，疾病诊断是第一个步骤，目的是检测患者上传的眼底照片是否存在疾病，并将疾病类别传输给大语言模型进行分析。目前该系统能够准确识别以下常见几种疾病类别：年龄相关性黄斑变性、白内障、糖尿病、青光眼、高血压和近视。
系统的第二个步骤是对诊断模型传入的疾病类别进行分析，利用LangChain框架结合RAG技术外挂知识库，实现模型在专业问题上能够分析得条理清晰。同时，模型也会对患者的疑问进行解释，为其提供包括但不仅限于病因、症状、就医、治疗及预后等等方面的回答。
https://www.gitlink.org.cn/l1710254765/mindspore
该项目使用昇思MindSpore AI框架和昇思套件，选用Qwen大语言模型、YOLOv8目标检测模型与Ascend910 NPU算力，实现了眼部疾病诊断分析系统。此外，项目利用爬虫技术，收集了大量的与眼部疾病相关的官方可靠的资料，为系统提供了丰富的专业知识。使用了LangChain框架执行 RAG 操作，使得大模型可以进行更专业的诊断分析和知识回答。
本项目基于MindSpore和LLM+Langchain构建的眼部疾病诊断分析系统，通过引入先进的机器学习和图像处理技术，有效解决了眼科诊断中的效率与准确性问题。该系统不仅能够实时分析眼底照片并提供专业的诊断意见，还能根据用户的疑问进行互动回答，极大提高了医生的工作效率和患者就诊体验。未来，我们将继续优化系统性能，力求在更广泛的医疗场景中应用本系统，为医疗行业的发展贡献力量。
在未来的发展中，我们期待眼部疾病诊断分析系统能够不断引入最新的人工智能技术，以提升模型的识别能力和分析精度。计划增加对多种眼病的支持，并通过用户反馈不断优化系统功能，实现更优质的用户体验。同时，我们将积极寻求与医疗行业专家的合作，以确保系统的医学权威性。随着系统的推广应用，我们希望能够在更多医疗场景中发挥作用，提升诊疗效率，为患者提供更加便捷和高效的服务。
[1] 宫阿娟.基于ResNet深度神经网络构建眼部疾病分类诊断模型的研究[J].医药论坛杂志,2024,45(04):379-383.DOI:10.20159/j.cnki.jmf.2024.04.009.[2] 邵毅,陈新建,杨卫华,等.人工智能在OCTA图像分析和眼部疾病诊断中的应用指南(2024)[J].眼科新进展,2024,44(05):337-345.DOI:10.13389/j.cnki.rao.2024.0066.[3] 孙渊.智能疾病诊断与预测系统的研究与实现[D].电子科技大学,2021.DOI:10.27005/d.cnki.gdzku.2021.000347.[4] 资料来源：高视医疗首次公开招股说明书[5] 资料来源：JOINCHAIN® 众城数科[6] 资料来源：弗诺斯特沙利文[7] 四部委，《“互联网+”人工智能三年行动实施方案》[8] 中央、国务院，《“健康中国2030”规划纲要》[9] 研观天下，中国医疗AI行业现状深度分析与未来前景预测报告[10] 哈佛商业评论，《当AI应用于医疗，有望带来哪些改变》
©Copyright 2023 CCF 开源发展委员会 Powered by Trustie& IntelliDE 京ICP备13000930号
技术报告
基于MindSpore的LLM+Langchain的眼部疾病诊断分析系统
摘要：本文旨在应对眼科医疗领域的挑战，提出基于MindSpore的LLM+Langchain的眼部疾病诊断分析系统。该系统通过目标检测模型 YOLOv8 对眼部图像进行分类，并结合 Qwen 语言模型和 RAG 技术，通过 LangChain 框架实现一个具备专业眼部疾病诊断知识和分析能力的系统。该系统能够对用户输入的眼底照片进行分类，通过专业知识库为用户提供诊断结果和分析报告，同时能够针对性地回答用户的疑问，解决了眼科医疗中诊断效率低、结果不准确和线上就诊等问题。
关键词：眼部疾病诊断, 目标检测, LLM, LangChain, RAG, YOLO
设计方案
需求分析
人工智能正在向各个领域迈进。Ai医疗体系的建设是为了更好地服务于人类的健康，提升人类生活质量。目前AI技术在医疗领域的应用已经取得了显著的成果，其中之一便是通过深度学习和图像识别等先进技术，实现对医疗影像的自动分析和诊断。这一技术的应用不仅提高了诊断的准确性，还极大地提高了医生的工作效率，使得患者能够更快地得到准确的诊断结果。
医疗AI又称 “AI+医疗”、“医疗人工智能”，是指将计算机视觉、语音识别、自然语言处理、机器学习等人工智能技术应用于医疗领域中。虽然我国医疗AI行业起步较晚，但在医疗资源缺口大和分级诊疗背景下，近年来我国医疗AI行业发展势头迅猛，其产业生态已经基本形成。
从产业链来看，我国医疗AI行业产业链由上游、中游和下游组成，其中中游是整个产业生态的核心，主要包括AI医学影像、AI辅助决策等细分市场。就目前来看，AI医学影像是医疗AI领域中跑的最快的一个赛道，截至目前，有超有70个AI医学影像产品拿到国家药监局批准的三类证。
我国医疗AI行业产业链
目前我国医疗AI行业发展态势良好，但整体仍处于发展初期，还存在医疗AI技术发展同质化严重、高质量数据较为缺乏、基层医院经费不足等问题。随着人工智能技术的进步和相关利好政策的推进，我国医疗AI行业未来还有很大的上升空间。
政策方面，近些年来为了推动医疗AI行业的发展，我国陆续发布了许多相关政策，如2023年3月国务院发布的《关于进一步完善医疗卫生服务体系的意见》提出发展“互联网+医疗健康”，建设面向医疗领域的工业互联网平台，加快推进互联网、区块链、物联网、人工智能、云计算、大数据等在医疗卫生领域中的应用，加强健康医疗大数据共享交换与保障体系建设。
我国医疗AI行业相关政策
从上述政策可以看出，人工智能对医疗产业的赋能最为重要，在人工智能辅助诊断、医学影像、电子病历、医院管理等多个领域均能起到重要作用，是发展智慧医疗产业的核心技术基础。尤其是人工智能赋能的医学影像技术在中华医学会中获得权威专家的认可，中华医学会影像技术分会主任委员李真林2021年12月27发表了医学影像领域的学科发展、科研突破方面的观点：“AI赋能医学影像主要是为疾病的诊疗提供了科学和直观的依据，已成为临床医生诊治疾病的眼睛；在临床诊疗中，人工智能赋能医学影像已经由临床辅助检查手段发展成临床诊断疾病的主要方法，广泛应用于体检、疾病筛查、诊断与鉴别、疗效评价及预后等多个方面，为人民群众提供全方位全周期的健康保障。”
这些政策旨在促进人工智能与医疗健康的全方位融合，以此解决目前医疗健康领域存在的几大常见的问题，包括但不仅限于：诊断效率低、结果不准确、线上就诊困难繁琐以及医疗不平等等等问题。
眼科医疗在其中自然也不例外， 由于眼科医疗的自身的局限性，导致一些眼病的诊断和治疗手段有限、手术风险高，此外还存在资源限制和受众群体广泛的问题。因为眼睛的特殊性，眼科医生的培养成本相较于其他医疗领域更高，这导致了眼科医生的数量不足，导致了眼科医疗的发展瓶颈。此外，只有大型医院才能提供专业的眼科医疗服务，这也限制了眼科医疗的普及。然而，眼睛作为一个人使用频率最高的器官，又是人类最容易受伤的器官之一，这医疗方面却得不到对等的关注，眼睛健康问题已经是全国各个阶段人们的普遍问题。即使大城市能够解决该城市居民的眼科问题，但还存在许多偏远小城市和山村的居民对眼科问题极其不重视，存在问题却不能发现问题，更无法及时地在问题初期解决问题。
基于MindSpore的LLM+Langchain的眼部疾病诊断分析系统可以完美解决以上问题。该系统可以替代眼科机械的检测功能，哪怕是普通人，无论在什么的确，只需要上线上传自己的眼底照片，就可以通过该系统诊断得出眼部情况，并给出专业的分析报告。同时，该系统还可以根据用户的疑问，通过专业的知识库回答用户的疑问，解决了眼科医疗中诊断效率低、结果不准确、线上就诊和医疗资源不平等等问题。
国内外研究现状
根据我们的调查可知：眼科医疗器械包括用于诊断和治疗眼科疾病的眼科设备及相关仪器、辅助器械和植入物，可分为眼科耗材、眼科诊断设备及眼科治疗设备，本次行研所讨论的眼科医疗器械及眼科医疗器械市场不包括隐形眼镜及护理液以及药品相关模块。
于2017年至2021年，全球眼科医疗器械市场由215亿美元增长至268亿美元，复合年增长率为5.6%。随着患者人口的扩大及先进技术的发展，据沙利文预计未来2025年市场规模将达到407亿美元，并于2030年达到564亿美元，2021年至2025年的复合年增长率为11.1%，2025年至2030年的复合年增长率为6.7%。如下图所示2017年至2025年全球眼科医疗器械市场的增长趋势及明细（单位：十亿美元）2：
中国眼科医疗器械市场由2017年的人民币92亿元增长至2021年的人民币163亿元，复合年增长率为15.5%，展现出高于全球医疗器械市场的增速。但是在疫情期间，2020年中国眼科医疗器械市场轻微收缩，由人民币132亿元减少至人民币129亿元。这主要因为中国众多医院于2020年第一季度暂时停止眼科（亦包括部分其他医疗部门）的手术以应对COVID-19爆发，并大幅减少眼科设备的采购。预计未来五年该市场的增速将会加快，预计2025年及2030年将分别增长至人民币304亿元及人民币515亿元。下图说明中国眼科医疗器械市场的增长趋势及明细（单位：十亿人民币）：
有上述表格可知，眼科诊断设备的规模还在扩大，投入总值仍在稳步增长，但仍然满足不了广大人民的需求。究其原因，我们可以从以下几个方面分析：
设计目标和商业市场
本系统的目标群体分为两类：一类是面向医院，该系统可以对患者的眼底照片进行诊断，将诊断结果送给医生以此辅助医生对患者情况有更好更快的了解；二类是面向大众，该系统将部署在web端实现线上就诊，患者将自己的眼底照片以聊天的方式与系统交互，系统将对眼底照片进行检测，然后输出诊断结果和诊断报告等等，患者若有其他疑问可以向系统提问，系统会在专业知识库中搜索相应的答案进行回答。对一类群体，可以通过设备升级，将系统部署在设备上，这样就可以通过设备获取的眼底照片进行检测输出结果给设备和医生，对此我们对设备升级收取费用。 对二类群体，我们开放诊断和咨询两种服务，对咨询服务采取免费方式吸引客户，而诊断服务有两种收费方式，其一是会员费制度————按月费对用户收费；其二是按次数收费制度————对单次诊断进行收费服务。将系统不是在专门Web端为用户提供服务，用户可以自行选择需要的服务，根据服务结果判定是否需要前往眼科医院进行治疗等等。
实现方案
项目设计流程图及实验环境
我们从网络上收集了大量的眼部疾病照片和相关文本资料，经过数据清洗，将其转化为合适的格式。首先，通过脚本对每张眼部疾病照片进行数据标注，并按照 8:1:1 的比例将分类后的图片数据划分为训练集、验证集和测试集。整个数据集包含 7 种眼部疾病，总计收集到 14000 张图片。
在启智平台上，我们使用 Ascend 910 NPU 进行 YOLOv8 模型的训练，选择的模型版本为 YOLOv8x。与此同时，我们采用了 GLM 3.6B 大语言模型，并结合 LangChain 框架执行 RAG（检索增强生成）操作。文本嵌入采用 text2vec-large-chinese 模型，对收集到的眼部疾病相关文本资料进行分段处理及向量化表示，并将其存储在 FAISS 向量数据库中。
用户输入眼底照片后，系统首先通过 YOLOv8 模型对眼部疾病进行分类判别，输出疾病类别；接着，使用 FAISS 数据库进行查询操作，找到多个相关的文本资料并将结果嵌入到提示词（prompt）中，再向 GLM 3.6B 模型提问，推理过程通过 Mindformers 套件中的 Trainer 接口完成，最终结果会输出到 web 网页的对话框中供用户查看，输出相关眼部疾病的诊断以及相应的分析报告。
图2.1 项目设计流程图
系统功能流程
疾病诊断模型设计
系统的主要功能分为两个步骤，疾病诊断是第一个步骤，目的是检测患者上传的眼底照片是否存在疾病，并将疾病类别传输给大语言模型进行分析。目前该系统能够准确识别以下常见几种疾病类别：年龄相关性黄斑变性、白内障、糖尿病、青光眼、高血压和近视。
诊断分析模型设计
系统的第二个步骤是对诊断模型传入的疾病类别进行分析，利用LangChain框架结合RAG技术外挂知识库，实现模型在专业问题上能够分析得条理清晰。同时，模型也会对患者的疑问进行解释，为其提供包括但不仅限于病因、症状、就医、治疗及预后等等方面的回答。
实验数据与结果
项目代码链接
https://www.gitlink.org.cn/l1710254765/mindspore
成果展示
特色创新
该项目使用昇思MindSpore AI框架和昇思套件，选用Qwen大语言模型、YOLOv8目标检测模型与Ascend910 NPU算力，实现了眼部疾病诊断分析系统。此外，项目利用爬虫技术，收集了大量的与眼部疾病相关的官方可靠的资料，为系统提供了丰富的专业知识。使用了LangChain框架执行 RAG 操作，使得大模型可以进行更专业的诊断分析和知识回答。
总结与展望
总结
本项目基于MindSpore和LLM+Langchain构建的眼部疾病诊断分析系统，通过引入先进的机器学习和图像处理技术，有效解决了眼科诊断中的效率与准确性问题。该系统不仅能够实时分析眼底照片并提供专业的诊断意见，还能根据用户的疑问进行互动回答，极大提高了医生的工作效率和患者就诊体验。未来，我们将继续优化系统性能，力求在更广泛的医疗场景中应用本系统，为医疗行业的发展贡献力量。
展望
在未来的发展中，我们期待眼部疾病诊断分析系统能够不断引入最新的人工智能技术，以提升模型的识别能力和分析精度。计划增加对多种眼病的支持，并通过用户反馈不断优化系统功能，实现更优质的用户体验。同时，我们将积极寻求与医疗行业专家的合作，以确保系统的医学权威性。随着系统的推广应用，我们希望能够在更多医疗场景中发挥作用，提升诊疗效率，为患者提供更加便捷和高效的服务。
参考文献
[1] 宫阿娟.基于ResNet深度神经网络构建眼部疾病分类诊断模型的研究[J].医药论坛杂志,2024,45(04):379-383.DOI:10.20159/j.cnki.jmf.2024.04.009.
[2] 邵毅,陈新建,杨卫华,等.人工智能在OCTA图像分析和眼部疾病诊断中的应用指南(2024)[J].眼科新进展,2024,44(05):337-345.DOI:10.13389/j.cnki.rao.2024.0066.
[3] 孙渊.智能疾病诊断与预测系统的研究与实现[D].电子科技大学,2021.DOI:10.27005/d.cnki.gdzku.2021.000347.
[4] 资料来源：高视医疗首次公开招股说明书
[5] 资料来源：JOINCHAIN® 众城数科
[6] 资料来源：弗诺斯特沙利文
[7] 四部委，《“互联网+”人工智能三年行动实施方案》
[8] 中央、国务院，《“健康中国2030”规划纲要》
[9] 研观天下，中国医疗AI行业现状深度分析与未来前景预测报告
[10] 哈佛商业评论，《当AI应用于医疗，有望带来哪些改变》