基于实例分割的黑色素瘤病灶区域检测系统

前言#

项目简介#

项目设计了一款用于采集恶性皮肤肿瘤图片的实验装置，主要是由摄像头、LED 柔光灯和皮肤镜组成。通过 USB 连接到电脑或树莓派等嵌入式设备上，全高清光学放大倍数高达 50 倍。由皮肤镜进行图像采集之后，将视频传输至 Qt 应用程序，在端侧进行图像的预处理，然后通过 HTTP 协议将图像传输至 ECS 服务端，在服务端有部署好的深度学习模型，进行检测，同时将数据存储至 RDS 数据库，图像归档备份至 OBS 对象存储服务。识别结果会反馈至 Qt 界面，将诊断结果可视化。在 APP 端，患者也可以查看自己的诊疗结果。识瘤者 APP 使用 ArkUI 方舟开发框架，轻量级存储等，开发效率提高 30%。

项目背景与痛点问题#

皮肤是人体面积最大的器官。皮肤具有屏障作用，保持着人体内环境的稳定，同时皮肤也参与人体的代谢过程。一个成年人的皮肤展开面积在 2 平方米左右，重量约为人体重量的 16%。然而在阳光照射、化学性致癌物质、遗传等因素下会引起恶性皮肤肿瘤发病。它是一种起源于表皮基底细胞的低度恶性肿瘤。全球平均每年新发 152 万例，在所有的皮肤肿瘤中恶性皮肤肿瘤占第三位。

根据我们的调查显示随着年份的增加 社区医院的数量也在逐年增加。但在右侧，这个以泾洋中心医院为代表的社区医院中，发现高中和大专的人员比例已经达到了 63.8%，通过了解我们可以知道对于皮肤病的诊断，专业性是尤为重要的。由于恶性皮肤肿瘤早期难以区分的痛点在其早期并不能被及时发现，大部分病人在发现患病后已经处于晚期。但是恶性皮肤肿瘤的晚期五年生存率只有 4.6%，早期生存期有 89%，所以急需早发现、早治疗、早复查。

我们在进行信息搜集后发现，对于皮肤病的诊断，医院一般都会使用皮肤镜进行观察，皮肤镜易于使用、减少不必要的活检。但是这种方式存在一定的问题，比如皮肤镜中图像对比度低、肉眼难以区分。人工检查费时费力、效率低下。相关专家数量不足，大型三甲级医院医患比 1：70000，同时比较依赖专家经验。

项目架构#

我们的团队就致力于解决这些问题。该检测系统是通过皮肤镜作为采集端采集病灶区域的相关信息，在设备端经过数据处理后，传输到服务端进行实例分割等操作，最后将结果返回至用户端的系统设备。

那么我们具体是怎样实现的呢？首先皮肤镜图像采集，图像传输到 Qt 应用程序，在端侧进行图像的预处理，然后发送至华为云 ECS 服务器进行识别，同时数据存储至 RDS 数据库，图像归档备份至 OBS 对象存储服务。识别结果会反馈至 Qt 界面。我们的识瘤者 APP 使用 ArkUI 方舟开发框架，轻量级存储等，开发效率提高超过 30%。

视频可以实时传输至Qt界面。在确认具体病灶区域进行识别，返回病灶区域分割和类别输出。

同时患者可以在鸿蒙APP中查看自己的诊疗记录。

医生可以在网页端对病人数据进行管理，同时在网页端答题，提高医生和医院的专业水平。

功能演示#

使用 DAYU200 鸿蒙季开发板端侧部署基于 OpenHarmony 的软件交互 APP，实现可视化建议操作进行病患信息采集。保证快速上手。

1. 手机端拍照

2. 图传识别

3. 查看检测结果

产品价值#

本项目致力于通过端云协同的 AI 辅助诊疗平台，打破基层医疗机构在微小皮肤病变诊断上的专业资源壁垒。面对恶性皮肤肿瘤早期肉眼查验难、三甲医院专家资源极度匮乏的现实痛点，系统将先进的深度学习实例分割算法与便携式皮肤镜硬件相融合，把高精度的AI筛查能力下沉至社区，极大地提升了病灶识别的准确性与效率，帮助患者把握住能显著提高生存率的早期干预窗口。此外，依托于华为云强大的算力底座与 OpenHarmony 生态的轻量化交互体验，“识瘤者”系统不仅为患者提供了触手可及的健康管理追踪通道，也为基层医生搭建了集病例管理与学测结合的数字化赋能平台，真正实现了科技普及与医疗向善的社会价值。