VNDS-3141】缇庝汉濡汇伄婵€銇椼亸鑵版尟銈嬮◣涔椾綅宗旨检测磋议宗旨——洞开域宗旨检测

发布日期：2024-08-16 15:49 点击次数：113

深度东说念主工智能【WNXG-051】杩戣Κ鐩稿Е 缇╂瘝銈掗厰銈忋仜銇︾鏂氦灏?鏅傞枔DX15鍚嶅弾閷?/a>2015-09-30STAR PARADISE&$VOLU481鍒嗛挓VNDS-3141】缇庝汉濡汇伄婵€銇椼亸鑵版尟銈嬮◣涔椾綅

“深度东说念主工智能”是成都深度智谷科技旗下的东说念主工智能讲授机构订阅号，主要共享东说念主工智能的基础常识、技能发展、学习训戒等。此外，订阅号还为众人提供了东说念主工智能的培训学习处事和东说念主工智能文凭的报考处事，接待众人前来扣问，完毕我方的AI梦！

洞开域宗旨检测的认识

洞开域宗旨检测（Open-DomainObjectDetection）是一种诡计机视觉中的高等任务，它与传统的封锁域宗旨检测（Closed-DomainObjectDetection任务比拟，在数据集、模子教练以及应用环境上都有所不同。一般来说，传统的封锁域宗旨检测闲居在特定的数据集上进行教练，举例COCO或PascalVOC，这些数据集包含预界说的类别列表。另传奇统封锁域宗旨检测模子被想象为只识别这些预界说类别的对象，而况假定测试图像中只会出现这些已知类别。

而洞开域宗旨检测任务的宗旨是在未知类别的存鄙人进行检测，即模子需要鄙俗处理在教练时未见过的新类别。它要求模子具备一定的泛化才气，鄙俗在面对新类别时作念出合理的反馈，如识别出这是一个未知类别，而不是失实地将其归类为一个已知类别。洞开域检测闲居使用更复杂的数据集，这些数据集可能包含深广的未知类别样本。

想象一下，你正在使用一款智高东说念主机上的相机应用，它有一个功能叫作念“物体识别”，不错匡助你识别像片中的物品。传统的封锁域宗旨检测识别功能会在教练时学会识别一些特定的东西，比如狗、猫、汽车等。但是，若是像片中出现了教练时莫得见过的东西，比如说一种寥落的植物，传统的封锁域宗旨检测识别系统可能就无法识别出来了。

洞开域宗旨检测等于一种更“贤慧”的物体识别技能，它不仅鄙俗识别那些教练时见过的东西，还能判断出某些东西是它没见过的。这意味着即使像片里出现了一种它过去从未见过的植物，它也能告诉你“这个我不料志”。

假定你去动物园拍了一些像片，像片中有狮子、老虎、长颈鹿等动物。传统的封锁域宗旨检测识别系统可能会很好地识别出这些动物，因为它在教练时见过这些动物。但是，若是你拍到了一只终点荒原的鸟类，这种鸟在教练数据中是莫得的，那么传统的封锁域宗旨检测系统就无法识别它了，或者会识别为失实的类别。洞开域宗旨检测系统则不错告诉你说：“这张像片里有个东西我之前没见过，可能是某种特殊的鸟。”

在封锁域宗旨检测中，模子被教练来识别一组预界说的类别，而况假定在测试时碰到的通盘对象都将属于这些已知类别之一。因此，教练数据集必须包含这些预界说类别的通盘实例，而况每个实例都被明确地标记了其所属的类别。封锁域宗旨检测的数据集结包含深广标记了具体类别的图像，这些类别组成了模子鄙俗识别的完好列表。数据集结的每个实例都必须被正确地标记，以便模子鄙俗学习隔离这些类别。教练数据集闲居是均衡的，即每个类别都有大致换取数目的样本，以幸免模子偏好某些类别。封锁域宗旨检测模子通过这些标记数据学习如何隔离不同的类别。教练完成后，模子仅能识别教练数据中出现过的类别。

比拟之下，洞开域宗旨检测的任务是使模子鄙俗在未知类别存在的情况下进行灵验检测。这意味着模子不仅要鄙俗识别教练数据中出现的已知类别，还要鄙俗处理在测试数据中可能出现的未知类别。洞开域宗旨检测的教练数据集包含了已知类别的实例，可能还包括了少许未知类别的样本，但这些样本闲居不被标记，或者标记为“未知”类别。测试数据可能包含这些类别除外的对象。由于履行寰宇中对象的种种性，数据集经常比封锁域数据集更大且更复杂。通过特殊的技能处理（如相当检测、自监督学习等）使模子鄙俗识别未知类别或隔离已知与未知类别。教练过程中可能还会使用额外的未标注数据或弱标注数据来增强模子的泛化才气。

从模子才气上看，在封锁域宗旨检测中，模子被想象为只识别教练时提供的预界说类别，而况假定测试图像中只会出现这些已知类别，模子通过深广的教练数据来学习这些预界说类别的特征，并进行优化，确保在这些类别的识别上达到最好效果；比拟之下，洞开域宗旨检测要求模子不仅要鄙俗识别教练时提供的已知类别，还需要鄙俗处理在测试数据中可能出现的未知类别，模子需要具备较强的泛化才气，鄙俗在面对未知类别时作念出合理的反馈，如识别出这是一个未知类别，而不是失实地将其归类为一个已知类别。

在评价贪图方面，在封锁域宗旨检测中，评价模子性能的主要贪图包括：

l平均精度（AveragePrecision，AP）：用于评估模子对某一类别的检测精度，闲居通过绘画精确率-调回率弧线（Precision-RecallCurve）来诡计。

l平均平均精度（MeanAveragePrecision，mAP）：诡计通盘类别AP的平均值，是斟酌全体性能的要紧贪图。

关于洞开域宗旨检测，除了传统的AP和mAP贪图除外，还需要磋议以下贪图来全面评估模子的暴露：

l圮绝率（RejectionRate，RR）：斟酌模子在面对未知类别时圮绝作念出分类的才气。圮绝率越高，示意模子越鄙俗识别出未知类别。

l洞开域精度（Open-DomainAccuracy，ODA）：蛊惑了对已知类别的识别准确性和对未知类别的圮绝才气。

l相当检测才气（AnomalyDetectionAbility，ADA）：评估模子识别未知类别或相当情况的才气。

l未知类别识别率（UnknownClassRecognitionRate，UCRR）：斟酌模子鄙俗正确识别未知类别并将其归类为未知的才气。

对比两者的区别，总体来说，封锁域宗旨检测模子性能清静，关于已知类别的识别准确度高。

污点是模子在面对未知类别时无法提供挑升旨的已矣。而洞开域宗旨检测模子更具有鲁棒性，鄙俗在未知类别出当前作念出合理的反馈。但污点是完毕起来更复杂，需要更高等的技能和更大的数据量扶植。

在内容应用中，采用封锁域如故洞开域宗旨检测取决于具体的需求。举例，在自动驾驶领域，模子需要识别说念路上可能出现的各式险阻物，其中可能包括未见过的物体，因此更恰当使用洞开域宗旨检测。而在特定的工业质检环境中，需要识别的物体种类相对固定，这时封锁域宗旨检测可能更为适用。

洞开域宗旨检测的发展

洞开域宗旨检测（Open-DomainObjectDetection）是连年来跟着深度学习技能的进修而渐渐受到醉心的一个磋议宗旨。它旨在处罚传统宗旨检测模子在碰到未知类别时的暴露问题，从而使模子鄙俗更好地稳妥履行寰宇的复杂性。底下先容了洞开域宗旨检测的发展历程，包括关连的时间线、表面进展、要紧东说念主物和磋议恶果等方面的信息。

传统宗旨检测方法闲居依赖于预界说的类别列表，如PascalVOC、COCO等数据集上的教练。可是，暗网人兽这些方法在碰到未见过的类别时暴露欠安。梗概在2010年代中期，跟着深度学习的兴起，磋议东说念主员登程点念念考如何使模子愈加鲁棒并能应酬洞开域的挑战。

到了2010年代后期业内登程点尝试相当宗旨检测，这一时间的磋议登程点护理如何隔离正常与相当的情况。相当检测不错视为洞开域宗旨检测的一种雏形，它匡助模子识别出未知类别的实例。通过专揽未标注数据来增强模子的泛化才气，使模子鄙俗在面对未知类别时有更好的暴露。

此外元学习允许模子快速稳妥新任务，关于洞开域检测来说，意味着模子不错在较少的数据上快速学习新类别。通过半监督学习，蛊惑少许标注数据和深广未标注数据进行教练，有助于提高模子对未知类别的识别才气。

2020年，一篇名为《Open-Vocabulary Object Detection Using Captions》的论文建议了使用图像标题来辅助模子学习新类别。这种方法专揽了当然讲话描写的丰富性和无邪性，使模子鄙俗处理更平庸的类别。Open-VocabularyObjectDetection的建议使得这一领域的磋议登程点引起更多护理，尤其是在当然讲话处理与诡计机视觉交叉领域。

2023年，诡计机视觉和模式识别会议（CVPR）上展示了多项洞开域宗旨检测的最新磋议恶果。联汇科技的OmLab团队在CVPR2023的ODinW（OpenDomainintheWild）洞开域宗旨检测挑战赛中取得了双料冠军。这项比赛促进了洞开域检测技能的发展，并蛊惑了业界的护理。联汇科技的技能可能包括先进的特征索求方法、高效的模子架构、以及针对洞开域检测特色的翻新处罚决策。

到目下为止，洞开域宗旨检测仍然是一个终点活跃的磋议领域。这一领域的挑战在于，如何让诡计机视觉系统不仅鄙俗识别预界说的宗旨类别，还能灵验地处理那些在教练过程中未始见过的新类别。这种才气关于完毕愈加智能和自主的视觉系统至关要紧，寥落是在自动驾驶、安防监控以及医疗影像分析等领域中。

在学术界，远大高校和磋议机构正在积极推动洞开域宗旨检测的磋议。其中包括一些寰宇著名的学府和磋议中心，比如此坦福大学、麻省理工学院(MIT)、加州大学伯克利分校(UCBerkeley)、卡内基梅隆大学(CMU)等。这些机构的磋议东说念主员正致力于于开采新的算法和技能来处罚洞开域宗旨检测中的关节问题。

最新的进展包括更雄壮的模子架构、更灵验的教练战术、以及针对特定应用领域的优化技能。近期由中山大学合资好意思团建议新模子OV-DINO，OV-DINO是基于讲话感知采用性会通、调理的洞开域检测方法，该模子完毕了洞开域检测开源新SOTA！

OV-DINO的洞开域检测方法全体框架包括一个文本编码器、一个图像编码器和一个检测头。模子接纳图像和指示文本看成输入，通过特定模板创建调理的文本镶嵌示意。图像和文本镶嵌经过编码器处理后，图像镶嵌通过Transformer编码器生成详尽化的图像镶嵌。讲话感知查询采用模块采用与文本镶嵌关连的对象镶嵌，并在解码器中与可学习的内容查询会通，最终输出分类分数和追溯规模框。目下神志已公开论文和代码，在线Demo也可体验，想要获取原论文、代码，以及想在线体验的同学，不错在深度东说念主工智能公众号对话页面发送关节词：OV-DINO

洞开域宗旨检测的发展是一个缓缓激动的过程，从最先的相当检测和自监督学习方法，到自后的元学习和半监督学习等技能的应用，都极大地推动了这一领域的发展。跟着磋议的长远和技能的跨越，咱们不错期待更多的翻新恶果和内容应用案例的出现。

洞开域宗旨检测的难点

洞开域宗旨检测靠近多重挑战，这些挑战限定了模子的性能和实用性。以下是洞开域宗旨检测的主要难点：

泛化才气：泛化才气是指机器学习模子在未见过的数据上暴露的才气。在一个洞开域的场景下，模子频频需要处理各式未知类别的情况，这就要求模子不仅要鄙俗准确地识别和分类已知类别中的数据，还要鄙俗在碰到未知类别时作念出合理的反馈。

当模子接纳到一个未知类别的实例时，它应该鄙俗识别出这个实例并不属于它依然学习过的任何类别，而况不会失实地将其归类到任何一个已知类别中。这种才气关于幸免失实分类至关要紧，因为失实地将未知类别归类为已知类别可能会导致严重的后果，尤其是在高风险的应用领域，如医疗会诊或安全监控系统。

数据对抗衡：洞开域数据集经常包含深广未知类别实例，这可能导致模子偏向于预计未知类别。数据对抗衡是指在教练数据集结，不同类别的样本数目存在显耀各异的惬心。在洞开域数据集结，插综合网这种对抗衡问题尤为超过，因为这类数据集闲居包含了深广不属于已知分类的未知类别实例。这种对抗衡会导致机器学习模子倾向于预计那些更为常见的类别，包括未知类别，从而影响了模子对已知类别的识别准确率。

在处理洞开域数据时，若是数据集结未知类别的实例数目远超已知类别的实例数目，那么模子可能会学会将大部分输入都归类为未知类别，即使这些输入内容上是属于某个已知类别的。这种倾向性不仅缩小了模子关于已知类别的识别精度，还可能粉饰了模子关于着实未知数据的识别才气。

评估轨范：详情一个合适的评估方法来斟酌模子对未知类别的处理才气是一个挑战性的问题。在洞开域分类任务中，模子不仅要鄙俗准确地识别和分类已知类别的实例，还需要鄙俗合理地处理未知类别的实例。由于未知类别的种种性和不成先见性，传统的评估贪图（如准确率、精确率、调回率和F1分数）可能不及以全面评估模子在这方面的性能。评估模子对未知类别处理才气时需要磋议相当检测性能、分类性能、详尽性能、不祥情味揣测、鲁棒性测试等多种关节身分。

诡计资源：诡计资源关于洞开域宗旨检测任务来说至关要紧，因为在教练和使用过程中都会波及到处理大规模的数据集。这些数据集闲居包含数以百万计的图像或视频帧，每张图片或每个视频帧都需要被处理以识别其中的宗旨对象。由于深度学习模子教练波及深广的矩阵运算，GPU鄙俗提供并行诡计才气，显耀加速教练过程。关于大型数据集，可能需要多个高性能GPU组成的集群来扶植教练。为了进一步加速教练速率和处理更大的数据集，闲居经受分散式教练方法，这要求有专门的分散式诡计框架（如TensorFlow的DistributionStrategies、PyTorch的DistributedDataParallel等）和相应的网罗基础模式扶植。在推理阶段，关于某些场景，比如自动驾驶汽车中的实时宗旨检测，可能需要在成立端（角落侧）进行处理，这就要求成立具备一定的诡计才气，或者通过角落诡计处事来提供额外的扶植。

相当检测：相当检测在洞开域宗旨检测任务中是一项要紧的挑战，寥落是在面对未知类别或荒原情况时。在洞开域宗旨检测任务中，模子不仅要识别出常见的已知类别，还要鄙俗隔离正常与相当的情况。这是因为洞开域场景经常包含了种种化的配景和未知对象，而这些对象可能并未出当今教练数据集结。举例，在一个监控录像头系统中，除了识别行东说念主、车辆等常见对象外，还可能需要检测到短暂出现的非典型物体，如动物、摈弃物品或其他相当事件。由于模子教练时只斗争到了有限数目的已知类别，当碰到未知类别时，模子可能会将它们误分类为已知类别之一，或者无法给出任何挑升旨的预计已矣。

模子想象：在洞开域宗旨检测任务中，想象既能识别已知类别又能识别未知类别的模子架构是一项具有挑战性的任务。洞开域宗旨检测任务要求模子不仅鄙俗准确地识别教练数据中出现过的已知类别，而且还需要具备识别未知类别或相当情况的才气。这种才气关于很多内容应用来说至关要紧，举例在自动驾驶系统中识别说念路上可能出现的未知险阻物，或者在安全监控系统中识别相当行动。洞开域场景中的数据具有极高的种种性，包括各式未知类别和复杂的配景要求。模子需要鄙俗隔离已知类别和未知类别，而在教练过程中，未知类别是不成见的。在提高对未知类别的识别才气的同期，也需要保证对已知类别的识别精度不会下落。

为了处罚上述难点，磋议者们正在从多个角度探索洞开域宗旨检测的灵验处罚决策：

1.元学习(Meta-Learning)

元学习是一种使模子鄙俗快速稳妥新任务的技能。在洞开域检测的配景下，这意味着模子不错在很少的数据上快速学习新类别。元学习闲居通过以下几种面孔完毕：

学习算法的参数：通过教练模子学习如何学习，即学习一个优化过程，使得模子鄙俗更快地稳妥新任务。举例，MAML（Model-AgnosticMeta-Learning）是一种流行的元学习算法，它通过学习运行化参数，使得少许梯度更新即可快速稳妥新任务。

快速稳妥：专揽少许示例（即一少部分样本）来快速调节模子的参数，以稳妥新的检测类别。这闲居波及到在教练过程中模拟新任务的学习过程。原型网罗：构建一个鄙俗生成类别原型的网罗，使得模子鄙俗基于少许示例快速识别新类别。

2.半监督学习(Semi-SupervisedLearning)

半监督学习蛊惑了少许标注数据和深广未标注数据进行教练，这有助于提高模子对未知类别的识别才气。具体战术包括：

一致性正则化：确保模子在对未标注数据进行预计时的一致性，即使对输入数据进行了微小扰动也应得到换取的预计已矣。伪标签：专揽模子本身的预计看成未标注数据的标签，然后将这些伪标签与标注数据全部用于教练。

协同教练：通过教练多个模子，并让它们相互校验相互的预计已矣，从而提高未标注数据的灵验专揽。自教练：迭代地使用模子的预计已矣看成额外的教练数据，缓缓彭胀教练集。

3.相当检测技能(AnomalyDetectionTechniques)

相当检测技能旨在识别未知类别，从而减少误报和漏报。常用的方法包括：

相当得分：为每个检测已矣分派一个相当得分，该得分示意该对象属于未知类别的概率。洞开寰宇识别：想象特殊耗损函数，使得模子不仅能识别已知类别，还能识别未知类别。

对比学习：专揽对比学习技能来隔离已知类别和未知类别之间的各异。密度揣测：基于数据点在特征空间中的分散密度来识别相当点。

4.多模态学习(Multi-modalLearning)

多模态学习专揽多种类型的数据（如图像、文本、音频等）来教练模子，从而提高其对未知类别的领略才气。具体战术包括：

跨模态特征会通：将不同模态的信息整合在全部，以取得更全面的表征。

模态间转换：教练模子从一种模态的数据推断另一种模态的信息，举例从图像预计文本描写。模态对都：通过共同教练不同模态的数据，使它们在语义上对都，从而增强模子的泛化才气。

5.自监督学习(Self-SupervisedLearning)

自监督学习专揽未标注数据来增强模子的泛化才气。通过想象辅助任务（无需额外标注），模子不错从数据中学习到有用的特征示意。常见的自监督学习战术包括：

图像变换预计：让模子预计图像经过了哪些类型的变换（如旋转、翻转等）。拼图游戏：将图像分割成多少个块，然后打乱规定，让模子学习如何将这些块从头排列成原始图像。对比学习：通过对比不异和不同的图像对，让模子学习隔离不异与不不异的实例。

预计缺失部分：给定部分图像，让模子预计缺失的部分。

6.特征示意(FeatureRepresentation)

开采新的特征示意方法，使得模子鄙俗更灵验地拿获未知类别的特色。这包括：

档次特征示意：专揽多层特征来拿获不同档次的信息，从而提高模子的抒发才气。正式力机制：引入正式力机制来强调图像中最要紧的区域，忽略不关连的配景信息。

可变形卷积：使用可变形卷积核来稳妥不同局势的对象规模，提高模子的无邪性。

福利姬系

7.评估方法(EvaluationMethods)

建议新的评估贪图来斟酌模子在面对未知类别时的暴露。常用的评估贪图包括：

洞开集调回率(OSR)：评估模子识别未知类别的才气，寥落是在莫得明确标注未知类别的情况下。平均精度(mAP)：针对已知类别的轨范评估贪图，但在洞开域竖立下需要彭胀以涵盖未知类别的处理。相当得分阈值下的调回率(Recallatthreshold)：设定一个相当得分阈值，评估模子在该阈值下识别未知类别的才气。浑浊矩阵分析：通过分析浑浊矩阵来了解模子在不同类别间的性能暴露，寥落是关于未知类别的识别。

洞开域宗旨检测看成一个充满挑战的领域，其难点在于模子需要在未知类别出当前保握雅致的性能。为了处罚这些问题，磋议者们正在探索多种技能和方法。跟着技能的抑制跨越，咱们有望在异日几年内看到愈加雄壮的洞开域宗旨检测模子，这些模子将在自动驾驶、安防监控、医疗影像分析等领域说明要紧作用。异日的磋议将不息朝着提高模子的泛化才气、减少对深广标注数据的依赖以及改善模子的可说明性宗旨发展。

洞开域宗旨检测的价值

洞开域宗旨检测（OpenDomainObjectDetection）是一种诡计机视觉技能，它允许系统在未见过的、种种化的场景中识别和分类对象。与传统的截止域宗旨检测不同，洞开域宗旨检测旨在处理更平庸、更具挑战性的履行寰宇环境。这种技能关于很多内容应器具有要紧的价值，具体不错从以下几个方面进行先容：

洞开域宗旨检测（OpenDomainObjectDetection）是一种诡计机视觉技能，它使得机器鄙俗识别和分类在种种化的场景中出现的对象，这些场景可能包含之前未见过的物体或者环境要求。这种技能关于当代科技和社会发展具有显耀的价值，具体不错从以下几个方面进行审视的阐发：

1.应用范围平庸

自动驾驶：在自动驾驶领域，洞开域宗旨检测鄙俗匡助车辆在复杂的交通环境中识别行东说念主、车辆、自行车手以过火他潜在险阻物，这关于确保行车安全至关要紧。该技能不错灵验处理各式天气要求下的识别任务，比如雨雪天气中的物体检测，这在传统的截止域宗旨检测中是一个挑战。

安防监控：在各人安全领域，洞开域宗旨检测鄙俗匡助监控系统自动检测出相当行动或物品，比如无东说念主认领的包裹或不寻常的东说念主群蛊惑。这种技能不错完毕对可疑行动的实时预警，为安保东说念主员提供早期警报，从而选择相应的门径。零卖业：通过对顾主行动的分析，零卖商不错了解顾主偏好，优化商品摆设布局，提高销售效用。专揽洞开域宗旨检测技能不错自动追踪货架上的商品数目，简化库存照拂历程。