您的当前位置:主页 > 舆情焦点 >

蜜度跨模态检索能力全面升级

来源:新浪舆情通 作者:admin 时间:2024-01-21
导读:

新年伊始,蜜度全面提升跨模态检索速度、准确度和特定场景检索能力,为用户带来更为智能流畅的检索体验。

更快的检索速度 一键完成海量跨模态信息检索

基于蜜度强大的识别和检索能力,蜜度索骥可帮助用户更迅速地发现信息、处理信息。以一张照片为例,将照片作为检索条件输入,蜜度跨模态检索仅用10秒,就检索出与这张图片相关的文本、图片、视频等多种模态的信息。

若以文本为检索条件,蜜度索骥的检索速度还要更快,平均6秒就能查找出未加文字标注的海量信息,大大减少了用户检索的时间成本。整体而言,蜜度跨模态检索以秒级的检索速率即可呈现百万条相关结果,这种一键快速高效的跨模态检索能力,在信息溯源、风险洞察、版权作品监测等场景中,为用户打造极速响应的流畅体验。

更准的检索结果 打通不同模态内容的精准检索

对计算机而言,文本、图片、音视频等不同模态之间存在语义鸿沟,计算机在解读过程中极易发生偏差。目前市场上通过检索“文字标签”等关键词的方式实现的信息检索,存在检索内容不够精准等问题,难以满足当下实际工作需要。

蜜度跨模态检索通过跨模态对比学习、跨模态语义融合等技术,达到多模态信息表示的统一,实现高精度检索。据最新结果显示,蜜度跨模态F1值超过80%。(F1值:综合准确率和召回率的平衡指标)对于用户而言,跨模态检索不再需要过多人工操作,仅需要通过简短的描述词,就可以得到相关度高、相似度高的搜索结果。

例如,以“两辆车相撞”为描述词进行检索,蜜度跨模态检索能够很好地理解用户的搜索词,从海量信息中快速匹配到与撞车最相关的内容,实现超高匹配度的检索。而且,呈现的内容去除了垃圾网页、重复内容,保留高质量内容。

若是以图片为检索条件,检索结果可呈现相似度高的图片、视频等多模态内容,且根据内容相似程度由高至低呈现。这种检索方式在出版物、电影电视、音乐戏剧等作品实时监测、侵权行为追踪方面具有良好效果,能够帮助版权方保护作品的版权利益。

通过跨模态检索技术,蜜度已将信息检索、分析等能力拓展到全媒体多模态多语言的应用层面。旗下跨模态检索平台——蜜度索骥,已帮助政府、企业、学校等机构及时发现那些难以通过关键词检索到的信息,实现检索效率的大幅提升。

更丰富的场景训练 与业务场景深度结合

在跨模态检索具体应用中,一些特定场景正受到专业部门的关注。蜜度索骥通过对用户需求的深度挖掘,实现了打架斗殴、自然灾害、城管执法、交通事故、环境污染等近300种特定场景的训练,为公安、网安、应急等领域的专业化应用提供支持。

通过这类场景训练,蜜度索骥能够将机器语言和自然语言形成最大关联性,最大限度扩展信息检索范围,帮助相关单位及时全面了解相关信息,提升风险防范能力。如下图所示,输入“自然灾害”这类场景性而非具体事物描述时,用户能得到包括干旱、洪涝、山洪、台风、冰雹等多种自然灾害现象的检索结果。

再如,输入“交通事故”并限定范围,用户就能全面了解关于一起交通事故的多维度信息,有助于相关部门提高事故处置能力。另外,针对重要视频内容,蜜度索骥还能够提取视频中的特征元素,识别字幕及音频等内容,辅助公共部门进一步掌握辖区内该事件的传播概况。

蜜度将持续推进跨模态对比学习、多模态语义融合等跨模态技术演进,围绕用户的实际需求与使用场景,进一步丰富文本、图片、音频、视频的跨模态信息检索、分析与应用,为用户提供更智能、更便捷、更高效的检索服务。


舆情焦点

网站首页 - 河南要闻 - 地市资讯 - 法制金融 - 科教文卫 - 乡村振兴 - 体育旅游 - 舆情焦点 - 智库访谈 - 关于我们 - 信息举报
网站不良信息举报邮箱:dxyqyjy@163.com 举报电话:0371-55550100
违法和不良信息举报中心 | 河南省互联网违法和不良信息举报中心
违法和不良信息举报受理和处置管理办法

未经本站书面特别授权,请勿转载或建立镜像

copyright © 2002-2023 河南智库舆情网 版权所有 豫ICP备20021406号-1

豫公网安备 41010502004939号