本项目结合社会热点，具有重大社会意义，可以大幅度减少居家老人意外跌倒所造成的伤害，项目后期，可以以此为基础，增加心率监听、用药提醒等实用性功能，增加功能性，还可以对接老年人疾病数据库，通过行为异常分析，进行疾病预防与提醒、记录病情变化，为老年人治病提供精准、有效的依据，提高治愈率，极大的保障老年人的身心健康，缓解国家医疗资源紧缺的困难，具有重要的社会意义和广阔的应用前景。

本项目的研究目标是致力于搭建一个基于机器视觉的智能家居监控系统，使用了卷积神经网络方法进行计算机视觉人体跌倒行为的识别，用于对居家老人的意外跌倒行为进行准确识别、智能分析、快速处理、及时预警等一系列功能，解决了传统家庭监控识别的延时大以及传统人工陪护的成本高等问题。

针对研究目标，研究的主要内容如下：采集跌倒行为的动作姿态数据，使用数字图像处理技术对采集影象数据进行预处理，减少无效环境变量对模型算法的时间成本浪费，并提取特征，选取合适特征，降低算法中的冗余，改进现有行为识别模型的函数，建立更高效、迅速、精准的识别方法，并构建物理模型，真正用于实际。

据统计，全球65岁及以上老年人跌倒发生率为28%~35%，70岁及以上老年人跌倒发生率高达32%~42%，跌倒已成为 65 岁以上老年人因伤致死的首位原因，如何有效解决这个问题，减少老年人意外跌倒造成的伤害，已然成为一个全社会关注的重点问题。

根据测算，我国每年有4000多万老年人至少发生1次跌倒，其中约一半发生在家中。家庭养老是我国的主要养老方式，然而很多家庭都是独生子女，白天上班时无法时刻关注老人，而老人受身体素质以及基础疾病等影响，一旦跌倒，并且第一时间不能得到有效的救治，很有可能会造成昏迷、骨折甚至死亡等严重后果。

针对这一情况，目前的解决方案大致可以分为三种，一种是家庭监控摄像头远程观察、处理，一种是雇佣护工居家陪护、照顾老人，另一种是基于穿戴式传感器的识别预警，三种方案都有很大的限制和弊端：第一种解决方案在市场上流行的产品仅仅只是普通的家庭监控摄像头，通过子女或监护人的手机APP被动地接收家庭固定空间的视频影像，无法主动判断老人是否有跌倒或异常行为，更谈不上预警和提醒，最终还是需要人为去判断。而想要达到及时救助老人意外跌倒的效果，首先需要子女或监护人长时间、连续地观察监控视频，才能第一时间发现老人意外跌倒，再通过联系邻居、物业或救护车等等，达到救助老人的目的，以上过程比较繁琐，且第一步人为观察监控视频的过程中存在人为误判、时间浪费、注意力不集中、发现不及时、处理成本较大等等问题，无法满足现在老龄化日趋严重、家庭抚养比重不断上升、人力资源成本增加的社会现状。第二种解决方案，雇佣护工或专业人员，居家照顾、看护老人，在老人意外跌倒后，直接采取及时有效的处理措施，确实可以最大程度上保证老人的身心健康，减少老人因意外跌倒所造成是伤害，但限制因素很多，其中最大的限制因素是经济原因，以我国为例，根据最新数据显示，我国2022年全国居民可支配收入中位数为31370元，约2614.16元每月，然而护工职业因为培训成本高，就业人员少，市场需求量庞大等原因，雇佣成本非常高，即使是普通护工的月薪也在6000元以上，完全无法适用于需求更大的普通工薪阶层家庭，更不用说人力成本更高、人口老龄化程度更严重的发达国家。其次就是护工职业本身的特性，决定了其培训周期长、获取从业资格难度较大、从业积极性不高等现状，也不利于此方案的大量推广。第三钟方案，也是比较基于穿戴式传感器的识别预警，通过在一些关键部位布设穿戴式传感器，由运动捕捉系统检测，重构运动姿态，并通过比对加速度等特征值，进行识别与预警。但是现实生活中，环境复杂多变，大多时候采集的信息无效，甚至可能误判；且跌倒行为不可预测，老年人很可能经常性忘记穿戴。综上，目前实行的三种方案已经无法更好满足现在的普通家庭对老人的保护需求，迫切需要寻求一种更好的解决方案。基于此，本项目决定搭建一个基于机器识别的家庭老人跌倒智能监控预警系统，将普通家庭监控摄像头方案的远距离、低成本优点与雇佣护工方案的及时性以及行为重构系统检测的智能化优点结合，运用已经成熟的机器识别，构造深度学习模型，提供一个更低成本、更普适性、更精准、更及时、更有效的人工智能识别系统。

  人体行为识别是当前一个热门研究方向,已被广泛应用在各种基于视频内容的智能化领域近年来,深度学习在多个领域发展迅速,许多国内外学者基于深度学习对人体行为识别展开研究,并获得了很大进展。但视频场景复杂多变,人体行为识别技术还面临着很多挑战。目前基于深度学习的行为识别方法还存在特征提取不充分、特征含有大量冗余信息以及单模态信息难以对视频行为充分表达等问题；当前的模型算法在识别准确率、鲁棒性、运行速度等方面依然存在不足。针对这些问题，本研究提出创新性解决方案：

基于自采集为主的跌倒行为数据库，精准获取跌倒动作与姿态数据，提取有效特征，降低计算成本；采用迭代引导滤波算法，去除图像数据中的噪声和非必要的小结构，保留人体动作特征的同时，去除图像中无关的冗余信息，节约计算时间；将手动特征提取与深度学习中的自动特征提取相结合，使用处理过的单通道图像对改进的EfficienctNet进行训练，有效的提高了动作识别的准确率，并节约一定的训练时间。

4.1数据获取：

本项目可以选择the UR fall detection dataset (URFD)数据集、Fall_Detection_image_dataset（FDID）等数据集作为参考，URFD包含 70 个 (30 个跌倒 + 40 个日常生活活动) 序列。使用 2 台 Microsoft Kinect 相机和相应的加速度计数据记录跌倒事件。ADL 事件仅用一台设备 (camera 0) 和加速度计记录。使用 PS Move (60Hz) 和 x-IMU (256Hz) 设备收集传感器数据；FDID包含用于跌倒检测字段的图像数据的免费/公共域数据集列表，大多数东西是原始图像数据。但是考虑到老人跌倒行为的动作、姿态等有变形、延迟的特性，本项目还需要自己收集更符合目标人群的行为数据，拟于暑期招募兼职志愿者，在学生宿舍等复杂环境完成跌倒行为数据采集。学生宿舍环境较为复杂，包含床、桌椅、衣柜、行李箱以及各种生活学习用品，并且可以改变桌椅、衣柜、行李箱的位置，模拟室内家具变化情况和不同室内装修，可有效模拟真实家庭环境。需要在光照充足的白天和光照条件不足的傍晚各自采集一半的点云数据，随后将点云转化为图像，制作基于机器视觉的跌倒行为识别数据集。

4.2数据预处理：

卷积神经网络的识别准确率除了受自身特征提取能力的影响，还会受到输入图像质量的影响，使用高质量的输入图像对模型进行训练，可以有效提高模型的识别准确率，然而受限于监控摄像头成本等限制，系统获取的输入图像数据可能不理想，因此在训练模型之前，就需要对人体动作点云图进行图像预处理：使用合适的滤波方法对图像进行修复，从而提高输入图像的质量，可选择高斯滤波、双边滤波等方法，消除噪声对点云图特征提取的影响；在滤波操作的基础上，进行边缘检测，提取人体动作的轮廓特征，使图像通道数变为1，在不影响模型识别准确率的基础上，减少模型训练时间。在模型训练完成后，使用生成的最优模型权重文件对跌倒动作进行识别与检测。

       4.3特征提取与选择

根据跌倒动作姿态的特征研究，跌倒是瞬间动作，人体的姿态、高度和速度等会发生快速的改变。人体在跌倒过程中，一般是从站着到坐到地板上或者躺倒地板上，人体的中心点从较高的位置快速下降到了地面或者接近地面的高度。因此第一个特征可以选择高度。根据三个特征点（头部、身体质心、小腿中心）相对位置的变化和特征向量与水平地面的夹角来检测人体跌倒事件。跌倒过程人体的中心点从比较高的位置快速下降到了地面或者接近地面的高度，第二个检测特征即检测速度。通过连续的视频帧，来计算身体质心或者骨骼点的速度，如果该速度超过给定阈值，则判定跌倒事件发生。可以检测目标人体的质心下降速度和头部的运动速度以及多个骨骼点实时速度值的加权平均等等，另外考虑到老年人自身的行为动作都比较缓慢，需要做出一定的区分，找出比较合适的阈值。

4.4行为识别模型的改进：

老人跌倒监测在智慧养老和智慧医疗领域中发挥着重要的作用。并且随着深度学习的发展，大规模的数据分析在各方面的应用成为可能，高性能的计算平台更能保证人体姿态识别的实时性和准确性。在机器视觉领域，常用的人体姿态识别方法有两种：其一是基于手动特征提取的方法， 该方法实现简单，但是姿态的表示和识别能力受所提取特征的限制；其二是基于深度学习网络模型的方法，深度学习网络模型能够自动学习人体姿态特征，该方法需要有较大的数据集对网络模型进行训练，并且对计算机的性能有一定的要求。EfficientNet 是一个极具创新性的深度学习网络模型，在语音识别、医疗健康、农业现代化等众多方面都有应用；相比于其他网络，其最大特点是在深度、广度和图像分辨率三个层面上对网络进行量 化的复合扩增，深度与网络中各模块重复次数成正比，广度与卷积操作的卷积核个数成正比，图像分辨率与输入图片的大小相关，使用特定的复合系数一致的扩增网络的宽度、深度和分辨率。本研究在改进的EfficientNet的基础上，构建一个跌倒动作姿态识别模型。

2023年4月，在南京市内走访社区，随机采访居家老人，记录老人跌倒经历以及监护人子女的相应处理措施，分析目标群体对现有市场相关产品的态度和期待改进的地方，从而完善项目研究内容和方向，更好的解决老年人意外跌倒的问题；文献调研，收集完成项目所需文献资料；学习有关AI深度学习行为识别的前言知识，完善研究方案。

2023年5月，通过招募兼职志愿者的方式，在学生宿舍采集跌倒动作姿态数据集；筛选公开数据集中对研究有效的数据，整合形成项目所需行为数据集，进行数据预处理。

2023年6月-7月，运用边缘检测等数字图像处理方法对数据进行特征提取,采用人工提取与深度学习结合的方式，并经过测试选择合适的特征。

2023年8月-10月，构建一种基于改进 EfficientNet 的人体姿态识别模型，通过对 EfficientNet 模型进行改进，在小规模数据集上，减少模型训练时间，提高人体姿态识别效率；对改进的 EfficientNet模型进行训练，通过所生成的最优权重文件对人体跌倒姿态进行识别。

2023年11月-12月，继续调试算法，改进模型，在保证准确的前提下，提高识别速度

2024年1月-2月，制作原型机器模型，模拟测试，通过不断调试模型，降低成本，提高可行性与适用性。

2024年3月-4月，更新机器模型，安排真实环境试用，总结实验成果，并撰写研究报告和论文，申请相关专利。