学院新闻


科研成果 | 我院科研团队在《Sensors》期刊发表最新研究进展:生成单目雾天图像数据集以训练极端天气状况下车道线识别算法


发布时间:2022-07-22 

近日,上海交通大学中英国际低碳学院董雪老师团队在《Sensors》期刊发表了生成单目雾天图像数据集以训练极端天气状况下车道线识别算法的研究——“Foggy Lane Dataset Synthesized from Monocular Images for Lane Detection Algorithms” (https://doi.org/10.3390/s22145210)。

车道线检测作为交通元素感知的重要环节,近年来随着辅助驾驶技术的迅速发展受到越来越多的关注。深度神经网络作为机器视觉的主流技术方案,已广泛应用于车道线检测中。但是目前大多数基于深度学习的车道线检测方案的应用场景仍局限于白天晴朗天气下,对于雾天、雨天等复杂的气象与光照场景下的研究仍然较少。本文的研究目标集中于提高雾天这一复杂场景下的车道线识别准确率。

在复杂的天气条件下,摄像头所拍摄的图像清晰度和对比度下降,并出现色彩失真和图像细节特征丢失等问题,从而影响车道线检测的准确率;另一方面,对于由数据驱动的深度学习而言,训练样本的数量和环境的多样性直接影响了训练模型对车道线的检测性能。因此,欲提高复杂天气状况下的车道线识别精度,需要大幅度增加相应场景下的训练样本数量。一种可行的方法是利用现有的开源车道线数据集中的晴天图像人工生成复杂场景下的图像,以此来主动扩大复杂场景下的车道线数据量,以支持更高精度的模型训练,提高复杂场景下的车道线识别准确率。

本工作面向智能交通系统的实际技术需求,针对我国城市中较多出现的雾霾天气状况,以雾天城市道路车道线检测作为研究重点,提出了一种通过人工扩充数据集来提升雾天车道线检测识别率的方法。所提出的方法通过对晴天车道线图片进行单幅图像深度提取,随后依照大气散射模型生成3种不同浓度的雾天车道线图片,并保留原图的车道线标签,以此实现对原始数据集进行人为扩充和增强。以CULane数据集为例,本方法通过增加了107,451张带标签的雾天车道线图像,从而将原始CULane数据集扩充了1.8倍, 建立了包含雾天图像的新车道线数据集FoggyCULane。随后,分别采用原始CULane数据集和FoggyCULane数据集对车道识别网络进行训练,并将训练结果在包含3种不同浓度雾天场景的12种复杂车道线场景中进行测试评估,以验证此方法的有效性。

研究结果表明,人工生成雾天场景车道线图片以扩充数据集的方法能够显著提高基于深度学习的车道线检测模型的性能。以SCNN车道线检测算法为例,本方法在生成的薄雾情况下将雾天车道线的识别率从74.65%提升至86.65%, 在生成中度雾下从51.41%提升至81.53%,在生成浓雾下从11.09%提升至70.41%。进一步的实验结果表明,该方法所带来的性能提升对于不同车道线检测算法均有效,且显著提高了实际雾天下的模型表现。此外,由于仅从单目图片中抽取立体深度,无需额外的传感器信息,从而本方法易于在实际场景中进行部署与应用。

图1 所提出的雾天下数据增强算法流程框架

图二 基于所提出算法的车道线检测模型性能在真实雾天下提升效果:(a)原模型雾天下车道线检测效果展示;(b)增强后模型雾天下车道线检测效果展示。图中红色实线表示标注的车道线标记,绿色实线表示模型检测到的车道线标记。

论文链接:https://doi.org/10.3390/s22145210

作者团队介绍

本工作在上海交通大学中英国际低碳学院副教授董雪老师指导下完成,主要作者为上海交通大学中英国际低碳学院2020级硕士生聂翔宇(左1),2018级硕士生徐哲钧(左2)。

董雪,现任上海交通大学中英国际低碳学院副教授,博士生导师。于2016年获得澳大利亚阿德莱德大学博士学位,同年入职上海交通大学。研究方向包括:激光成像及图像处理、传感器融合等。