【学术进展】必赢nn699net张振国副教授提出基于改进PSO和旋转矩形算法的红花采摘机器人花丝-缩颈定位方法

红花是重要的特色经济作物之一，结有多簇体积小、数量多、紧凑密集的红花丝。在红花采摘机器人红花采摘过程中，花丝为机器人提供红花生长状况的重要信息。而花丝分割结果是视觉相机实时感知采摘点并精准定位的关键。然而，在复杂环境中花丝分割结果的质量往往受到噪声、光照强度的变化、红花整体尺度和植物阴影等因素的影响。同样，采摘部位颜色与果球或叶片相似，难以准确地进行精确识别和定位。因此，研究红花采摘机器人利用机器视觉技术实时、准确定位采摘点，对提高采摘效率和质量具有重要的意义。

近日，必赢nn699net机电工程学院张振国副教授团队在《Computers and Electronics in Agriculture》在线发表一篇题为"Filament-necking localization method via combining improved PSO with rotated rectangle algorithm for safflower-picking robots"的研究论文。该研究表明提出一种基于改进粒子群优化算法的花丝-缩颈圆形感兴趣区域采摘点自动定位方法。根据红花颜色和纹理特性，通过改进粒子群优化算法提取分割红花丝最大连通区域，进而采用基于红花几何特征的再分割方法，确定花丝-缩颈圆形感兴趣区域，并采用Zhang-Suen细化算法进行骨架提取，设计红花丝采摘点定位方法，使红花丝高效、低损的完整采摘。

为验证该研究改进粒子群优化算法在复杂背景下的适应性和有效性，以400幅不同天气光照下的红花图像进行检测。与迭代法和OTSU法的分割结果对比，以此来评估本文算法的各项性能。试验结果表明，与其他方法的分割结果相比，该研究方法通过粒子群算法优化得到的灰度化处理红花区域得到增强，能够从其他红花、强光照叶子等的复杂背景中准确分割出红花。同时，该研究方法能够比较有效地克服非均匀光照带来的强光影响，多云光照条件下仍取得良好的分割效果（图1）。

注：Ⅰ. 晴天顺光, Ⅱ. 晴天逆光, Ⅲ. 阴天光照, Ⅳ. 多云光照

图1不同天气条件下红花图像灰度图及分割结果

从分割性能指标和运行时间上看（图2），该研究方法能够从复杂自然环境下分割出较为完整的红花，具有较强的适应性和鲁棒性，实时性较好，分割准确率较高。

图2不同算法分割图像的性能指标

该研究选取4种天气条件下的400幅独立验证红花采摘点定位过程（图3），并计算出4种不同天气条件下试验图像的质心、采摘点像素坐标、最优采摘点所在位置，计算采摘点与最优采摘点之间的误差（表1）。试验结果表明，该研究方法在晴天逆光下求得采摘点/像素与最优采摘点之间无误差，其定位准确率略优于顺光，原因在于光照条件的变化，逆光作用在红花图像上改善了光照强度和亮度，削弱了强光带来的背景色差重叠，更有益于采摘点定位。然而，晴天顺光条件下求得采摘点与最优采摘点之间的误差比晴天逆光条件下多4个像素。顺光作用在红花图像上提高了光照强度和亮度，但是红花的花丝本身与周围的复杂环境相融合，尤其是其他红花丝等，从而导致定位红花的色差与周围背景相同。此外，红花图像提取不完整导致红花丝质心计算误差太大，进而使采摘点定位出现偏差。

图3 4种光照下采摘点定位过程

表1采摘点及像素定位误差表

必赢nn699net机电工程学院硕士研究生邢振宇为第一作者，张振国副教授为通讯作者。该研究得到了国家自然科学基金（52265041）和（31901417）、浙江省农业智能装备与机器人重点实验室开放课题（2022ZJZD2202）和必赢nn699net校级科研创新项目（XJAUGRI2023021）等项目的资助。