一次交互ღ★◈,「分割+识别+解释+描述」全搞定ღ★◈,同时支持图像ღ★◈、视频和长视频ღ★◈,文本&Mask同时输出必发bifaღ★◈!
由港中文MMLab必发bifaღ★◈、港理工ღ★◈、北京大学等机构开源的PAM(Perceive Anything Model)模型ღ★◈,能够在保留SAM2分割一切ღ★◈、追踪一切能力的基础上ღ★◈,同时输出丰富的语义信息清舞比翼双飞ღ★◈。
为了训练这样一个强大的模型ღ★◈,PAM团队还构建了一个超大规模高质量训练数据集ღ★◈:拥有150万个图像区域+60万个视频区域标注
实验结果表明ღ★◈,PAM仅使用3B参数ღ★◈,就在多个图像和视频理解基准上全面刷新或逼近SOTAღ★◈,且具备更优的推理效率和显存占用ღ★◈,真正实现性能与轻量的统一ღ★◈。
但它也有一个明显的局限ღ★◈:无法提供定位目标的任何语义信息(比如物体是什么ღ★◈、有何功能ღ★◈、处于什么状态等)ღ★◈。
一些最新的Video LLM模型尝试结合VLM和SAM2的强大视觉提示能力ღ★◈,进行视频理解ღ★◈。然而ღ★◈:
这些模型往往无法直接输出分割结果ღ★◈,或需要额外接入segment模型ღ★◈,流程复杂ღ★◈;模型体量通常非常庞大必发bifa官方网站ღ★◈,ღ★◈,对计算资源要求高清舞比翼双飞ღ★◈,不适用于轻量化bifaღ★◈、快速响应的实际场景(如AR/VRღ★◈、移动端推理等)ღ★◈。
而PAM(Perceive Anything Model)既保留了SAM2在图像和视频中分割ღ★◈、追踪一切物体的能力ღ★◈,同时可以输出丰富的语义信息ღ★◈:
对于图片ღ★◈,用户通过或者拖拽矩形框选中一个物体ღ★◈,PAM可以完成分割的同时ღ★◈,输出该物体的类别+解释+描述的详细语义信息ღ★◈!
而对于长视频ღ★◈,PAM在追踪分割用户选中物体的同时ღ★◈,会根据事件的变化ღ★◈,动态地输出流式描述ღ★◈,类似实时字幕
通过SAM2分割骨架+Semantic Perceiver+LLM并行解码ღ★◈,在保证轻量高效的前提下ღ★◈,实现了分割mask和语义信息并行输出的图像/视频区域级理解ღ★◈。
基于此方法清舞比翼双飞ღ★◈,PAM只使用了1.5B/3B参数的LLM head清舞比翼双飞ღ★◈,就可以输出非常丰富和鲁棒的语义信息ღ★◈。
为支撑PAM的训练ღ★◈,构建了一个大规模ღ★◈、多层次必发bifabifa必发ღ★◈!ღ★◈、高密度的图像与视频语义标注数据集ღ★◈,覆盖分类ღ★◈、解释ღ★◈、描述ღ★◈、时序事件等多个维度ღ★◈:
使用SoM(Set of Masks)方法精准定位目标区域**ღ★◈,结合强大的闭源VLM(如GPT-4o)生成三类语义信息ღ★◈:
对每段视频抽取6关键帧必发bifaღ★◈,合成为Storyboard格式的高分辨率图像ღ★◈;使用SoM高亮目标区域ღ★◈,作为提示引导ღ★◈;利用闭源VLM进行多帧联合推理ღ★◈,生成细节丰富ღ★◈、时间感知强的事件描述ღ★◈。
将长视频切分为多个连续不重叠的事件片段每段片段重复Storyboard流程ღ★◈;并在生成描述时递归引入前一段文字内容ღ★◈,让字幕连贯衔接ღ★◈,保证上下文一致性ღ★◈。
可以看到ღ★◈,PAM-3B在PACO基准测试中达到最佳性能ღ★◈,超过先前最佳模型3.2%以上ღ★◈,并在LVIS基准测试中ღ★◈,就语义IoU而言清舞比翼双飞ღ★◈,超越了当前SOTA模型DAM-8Bღ★◈。
此外必发ღ★◈。ღ★◈,PAM首创了区域级的流式视频字幕能力必发bifaღ★◈,不仅能持续描述一个物体的行为ღ★◈,还能在连续事件中保持高度语义一致性ღ★◈,展现了强大的实际应用潜力清舞比翼双飞ღ★◈。
我们的优势
Our-Advantages
时效保证
即装即走,专车直发,高时效保障!
价格透明
成熟的线路优化方案,车型、公里数透明计价
高效运输
运前咨询,运途监控,运后回访,随叫随到
安全可靠
一站式运输,专业车辆,专人跟踪
必发物流专线利用互联网、计算机技术实现化、网络化管理,拥有完善的物流体系及的客户服务。我们针对每个必发物流客户不同的托运需求提供不同的个性化服务,我们深知客户服务和物流品质的重要性,卓越的货运操作经验、管理技能与公司实力!
提供必发物流到全国物流运输服务,一手车源,整车资源充足,随叫随到,计价透明,支持货到付款。在必发物流当地有着好口碑的必发物流货运公司,找必发物流运输选择我们,就是选择专业,我们保障:从收到您货物始,直到收货人收到货物为止,在货物搬运、装卸、中转、运输过程中的安全质量和数量,为每一件产品都起到保值的作用。即保护产品的存在价值,使您的产品在到达消费者时使用价值不变,您的产品不会"淋雨受潮、水浸、破损、丢失等”。找必发物流货运公司、必发物流托运公司、必发物流运输公司和必发物流专线,就选必发必发物流公司!
选择我们,就是选择专业
必发物流公司运输路线
TRANSPORTATION ROUTE
类型 | 到达 |
---|---|
必发物流 | 湖北省 必发物流、十堰物流、荆州物流、宜昌物流、襄樊物流、荆门物流、武汉物流、黄冈物流、咸宁物流、随州物流、仙桃物流、天门物流、潜江物流、恩施物流、神农架物流 |
必发物流 | 河南省 郑州物流、开封物流、洛阳物流、平顶山物流、安阳物流、鹤壁物流、新乡物流、焦作物流、濮阳物流、许昌物流、漯河物流、三门峡物流、南阳物流、商丘物流、信阳物流、周口物流、驻马店物流 |
必发物流 | 湖南省 长沙物流、株洲物流、湘潭物流、衡阳物流、邵阳物流、岳阳物流、常德物流、张家界物流、 益阳物流、郴州物流、 永州物流、 怀化市物流、娄底市物流 |
必发物流 | 安徽省 合肥物流、淮北物流、亳州物流、宿州物流、蚌埠物流、阜阳物流、淮南物流、滁州物流、六安物流、马鞍山物流、芜湖物流、宣城物流、铜陵物流、池州物流、安庆物流、黄山物流 |
必发物流 | 江西省 南昌物流、九江物流、上饶物流、抚州物流、宜春物流、吉安物流、赣州物流、景德镇物流、萍乡物流、新余物流、鹰潭物流 |
必发物流 | 四川省 成都物流、重庆物流、自贡物流、攀枝花物流、泸州物流、德阳物流、绵阳物流、广元物流、遂宁物流、内江物流、乐山物流、南充物流、眉山物流、宜宾物流、广安物流、达州物流、雅安物流、巴中物流、资阳物流 |
必发物流 | 陕西省 西安物流、延安物流、宝鸡物流、商州物流、咸阳物流、铜川物流、汉中物流、安康物流、汉城物流 |
必发物流 | 山西省 太原物流、大同物流、阳泉物流、长治物流、晋城物流、朔州物流、晋中物流、运城物流、忻州物流、临汾物流、吕梁物流、古交物流、高平物流、永济物流 |
必发物流 | 山东省 济南物流、青岛物流、淄博物流、枣庄物流、东营物流、烟台物流、潍坊物流、济宁物流、泰安物流、威海物流、日照物流、临沂物流、德州物流、聊城物流、滨州物流、菏泽物流 |
必发物流 | 河北省 石家庄物流、唐山物流、邯郸物流、保定物流、沧州物流、邢台物流、廊坊物流、承德物流、张家口物流、衡水物流、秦皇岛物流 |
必发物流 | 直辖市 北京市物流、天津市物流、上海市物流、重庆市物流 |
必发物流 | 江苏省 南京物流、无锡物流、徐州物流、常州物流、苏州物流、南通物流、连云港物流、淮安物流、盐城物流、扬州物流、镇江物流、泰州物流、宿迁物流 |
必发物流 | 浙江省 杭州物流、湖州物流、嘉兴物流、金华物流、丽水物流、宁波物流、衢州物流、绍兴物流、台州物流、温州物流、舟山物流 |
必发物流 | 福建省 福州物流、厦门物流、漳州物流、泉州物流、三明物流、莆田物流、南平物流、龙岩物流、宁德物流 |
必发物流 | 广东省 广州物流、东莞物流、深圳物流、汕头物流、韶关物流、惠州物流、中山物流、珠海物流、佛山物流、顺德物流 |
必发物流 | 广西省 南宁物流、钦州物流、玉林物流、梧州物流、柳州物流、桂林物流、北海物流、宣州物流、来宾物流、百色物流 |
必发物流 | 贵州省 贵阳物流、六盘水物流、遵义物流、赤水市物流、安顺物流、铜仁物流、凯里物流 |
必发物流 | 云南省 昆明物流、曲靖物流、玉溪物流、昭通物流、丽江物流、临沧物流、红河物流、西双版纳物流、大理物流 |
必发物流 | 内蒙古 兰州物流、金昌物流、白银物流、武威物流、天水物流、嘉峪关物流、酒泉物流、玉门物流、陇南物流 |
必发物流 | 吉林省 长春物流、吉林物流、四平物流、延庆物流、通辽物流、松原物流、白城物流、长岭物流、延边物流 |
必发物流 | 辽宁省 沈阳物流、大连物流、鞍山物流、抚顺物流、丹东物流、辽阳物流、葫芦岛物流、锦州物流、本溪物流、营口物流 |
必发物流 | 黑龙江省 哈尔滨物流、佳木斯物流、鸡西物流、牡丹江物流、齐齐哈尔物流、大庆物流、黑河物流 |
必发物流运输(含整车运输、零担运输、集装箱、多式联运) 提供大型整车运输和零担咨询、技术服务及作业指导 特色整车物流和零担物流专线,机械设备超高/宽/长/重,危险品等全国联运。