360全景相机商用难 芯片与图像拼接成关键

发布于:2017/7/27 15:53:58 | 694 次阅读

    360全景相机商用化道路日渐明朗,但实际与众行业融合的过程中却是荆棘载途。首先,由于需要稳定的多路视频采集功能,对于的运算能力提出了很高的要求;另外,在图像拼接与图像处理方面,也需要高效且稳定的图像算法来做一定的支持,这显然更大程度的提升了行业对360全景相机的配置及技术要求。

    首先,在芯片层面上,“多路视频采集”的功能不可或缺,作为商用全景相机应用最为频繁的一项功能,视频采集过程中会产生庞大的数据量,而且输入输出会非常频繁,因此对于芯片的运算能力及效率都提出了很高的要求。对此,各厂商也都拥有不同的解决方案,比如国外厂商Giroptic采用的FPGA方案,通过FPGA来编辑数字逻辑电路,然后将各个摄像头的画面整合在一起,最终输出到编码器当中;除此之外,业内也有其他厂商通过CMOS桥接DSP芯片来实现该功能,通过给摄像头的CMOS芯片上桥接一个DSP芯片来对原始视频数据进行压缩处理,将经过处理的数据传输到主芯片从而实现多路视频采集。

    对此,浙江得图网络有限公司CTO孙其瑞告诉记者:“作为一种新型的成像设备,360全景相机对芯片方面有一些硬性的指标要求,因此针对该领域,前两年市面上可选择的芯片种类也非常少,当时很多企业也都是利用行车记录仪中的芯片方案转化而来。不过,近两年随着VR产业的快速发展,芯片的选择也越来越多,目前主流的有安霸、高通以及海思等比较成熟的芯片方案,且近期也不断有一些传统平板手机领域的芯片厂商参与进来,比如盈方微、全志、威盛等,这在未来势必也会降低消费类全景相机产品的整体成本和终端价格。”

    成都观界创宇科技有限公司CEO刘天成也表示:“目前,针对四目及以上的360全景设备,业内对于芯片/FPGA都有一定的指标要求,比如3200万像素、60FPS以上的ISP处理能力、4路以上的input支持、强大的编码能力、类似SSD的高速写入能力以及配置为专有拼接算法提供的硬核等。而目前市面上仍不存在专门针对360全景相机领域而开发的芯片,想要实现这些基础指标,业内的厂商也都主要是通过复用手机或其他应用平台的SOC芯片方案略作修改而成,我们的产品则是通过选择复用最为接近硬件产品方案来进行改造和适配后形成的。”

    不过,这种情况也将会随着芯片厂商的加入而得到解决,随着360全景相机产业的兴起,各大芯片厂商也必然不会舍弃这块生机勃勃的新市场。AMD亚太区技术总监盧英瑞在接受记者采访时表示:“为了满足多路视频采集方面的要求,我们也拥有一个级的产品线,RadeonProSSG的开发套件能够为开发人员提供无需限制的解决方案,基于大型数据集和强大GPU运算需求,能够在这两个端点之间做进一步优化,以创建一个专用,快速的信息通道,从而消除瓶颈,确保开发人员能轻松地以同样的工作效率去处理额外增加数据配置及其他应用需求。而且也能够针对客户的特定需求提供产品的定制化服务,使得开发者们能够利用我们提供的公开标准来针对不同的产品做特定的开发,这将会对未来该领域技术与市场的发展产生积极的作用。”

    除此之外,全景相机要想实现稳定且流畅的视频及图片输出,软件层面上的图像拼接及处理技术也是必须要考量的重要一环。尽管目前市面上据说有一些产品可以做到实时拼接,但在实际应用当中,由于不同的摄像头之间会出现帧率不同以及时间差的问题,图像拼接功能也会给芯片运算模块带来很大负荷,且频繁的DDR读取以及内存搬运,对于一般的SOC而言,传输多路视频以及外加ISP会构成更大的压力,因此目前On-ChipStitching传输与处理成为全景相机图像处理领域的技术门槛。

    对此,刘天成表示:“现有的SOC以及FPGA方案,大多都是采用模板映射加上交界区域的多通道融合的方式来做到的。尽管这种方案的计算量较低而且易于实现,但实际上最终的图像拼接质量较差,且容易产生重影以及过缝扭曲等现象。举个例子,比如在高质量的Stitching过程中,通常会用到基于稠密像素级的光流算法,想要在SOC和FPGA内部进行相关的实时计算几乎是无法实现的,因此目前基于SOC和FPGA进行机内Stitching的方案实用价值不大。而且,现有的FPGA方案也很难满足全景相机在功耗、处理速度以及分辨率等多方面的需求。因此目前市面上常用的方式都是以安霸或海思等成熟芯片方案进行多模组组合来做,这种方案基本能够解决功耗以及帧率方面的问题,且画面不一致也可以通过CMOS硬件同步来解决。我们的产品就是在这种方案的基础上,外加了ISP以及在同步方面做了更多的优化,同时光流拼接缝合算法方面也体现出较大的优势。”

    盧英瑞也告诉记者:“为了达到更高质量的360全景影片效果,业内厂商需要在技术层面上做出多方面的优化和提升。就目前来看,业内所摄录的360全景影片基本都是使用2到32部独立(4K解析度)的摄影机录制,其中使用的摄影机数量越多,解析度也会相应提升。而我们目前所能够提供的解决方案最多是可以支持31部独立的摄影机同时录制16k*8k解析度的360全景影片,能够给观众带来良好的视觉体验。但就当前的技术而言,将多部摄影机的视角输出结合为单一、无接缝等距柱状投影的过程极为复杂,且这些摄影机的输出必须在软件当中被拼接在一起才能够加以编辑或检视,相应使用的摄影机数量越多,需要拼接的接缝也会越多,因此也很大的提升了产品的开发及应用的难度和成本。此外,镜头失真的修正、时差的考虑以及混合摄影机输出之间的曝光差异等也是必须要考虑的方面,只有综合解决这些问题,才能最终产生平衡的图像/影像。”

    而在图像拼接过程中,还需要在亮度以及细节部分来做一些像素的比对和微调,盧英瑞进一步补充到:“高质量的拼接首先会选取一个好的光线点,然后来针对主要的物体做出切割,因此它需要GPU拥有强大的并行运算能力以及较高的解析度。而我们的RadeonLoom方案能够很好的解决这个问题,利用我们所提供的开放源代码来建立OpenVX计算机视觉架构,各家厂商可以根据实际情况来与自己的架构进行融合,进而实现即时且快速离线拼接360度影片,实现与摄像头之间的衔接。”

    除了拼接之外,图像处理也是重要一环,但目前不少上市的产品都会存在图像边缘画面处理效果差、视频拍摄噪点、图像畸变以及色散(紫边)等问题,也成为影响用户体验和使用的重要因素。对此,各厂商的解决方案也不尽相同,刘天成表示:“针对这些问题,我们主要在两个方面做了优化。首先,在ISP上做了相关优化,能够部分减轻噪点以及色散方面的影响,并能够实现全局曝光和色温均衡;其次,我们在关键的sensor、镜头以及rig排布设计上也做了相应的优化,比如采用大靶面的sensor来提高基底的质量,优化设计镜头,提高靶面使用效率(常用的鱼眼镜头是内切圆,靶面使用率较低、像素浪费高),且在rig排布上也兼顾了重叠区域大小以及靠近光心区域内容的使用,在多个技术层面上进行优化,提升了整体的图像处理效果。”

    孙其瑞也对记者表示:“我们主要是通过在ISP芯片上来处理这些问题,首先,我们出品的相机镜头视角可以达到210度,大视角方案很好的保证了图像的重合度;其次,我们的F-theta畸变能够达到-3%,在图像投影中的中心视场会被校正缩小且边沿视场也会有较好的拉伸效果,保证了图像的解析度不受影响;另外,由于我们产品的镜头一般都很小,因此图像畸变基本可以忽略不计。”


参与讨论
后参与讨论

//评论区

推荐阅读

智能网联汽车国际标准法规协调专家组(HEAG)召开工作会议

近年来智能网联汽车快速发展,新技术不断涌现,与相关产业融合度持续提升,正在推动全球汽车产业发生深刻变革。为应对此种形势,欧、美、日等汽车工业发达国家和地区都加大了智能网联汽车的国际标准法规协调的参与力度,在联合国世界车辆法规论坛(UN/WP.29)和国际标准化组织(ISO)层面,智能网联汽车相关国际标准法规协调活动正快速推进。 为更有效地支撑上述组织的国际标准法规协调活动,2017年全国汽车标准

0215jiejie | 发布于:2022-12-01 0评论 0赞

苹果推出搭载M2芯片的新款iPad Pro 799美元起售

据苹果官网,苹果推出搭载M2芯片的新款iPadPro。 11英寸wifi版起售价为799美元,wifi+蜂窝网络版起售价为999美元;12.9英寸wifi版起售价为1099美元,wifi+蜂窝网络版起售价为1299美元。

0215jiejie | 发布于:2022-10-19 0评论 0赞

新能源汽车领衔 “中国智造”加速登陆欧洲市场

全球五大车展之一巴黎车展时隔四年再度启幕。在这场被视为“全球汽车行业风向标”的盛会上,国内外汽车品牌云集,长城汽车、比亚迪等再次领衔中国汽车出海。 长城汽车欧洲区域总裁孟祥军表示:“欧洲是长城汽车最重要的海外市场之一,巴黎车展是长城汽车向欧洲市场展示GWM品牌和产品的最佳机会。长城汽车正在研究汽车行业碳排放的整个生命周期,到2025年,将推出50多款新能源产品,全力支持可再生能源使用,为全球用户

0215jiejie | 发布于:2022-10-19 0评论 0赞

严监管时代来临,电子烟“通配”大战走向何方?

针对通配烟弹厂商的一系列诉讼的结果,将对生产通配烟弹的品牌未来在电子烟行业的发展产生深远影响。 10月1日,《电子烟强制性国家标准》正式实施,中国电子烟监管全面生效。而在电子烟行业进入规范化、法治化阶段前夕,一场围绕着通配烟弹的争论在行业里发酵。 “通配”是电子烟从业者约定俗成的概念。换弹式电子烟由烟杆和烟弹组成,“通配”烟弹指的是非品牌商生产、可与品牌烟杆匹配使用的烟弹。多位业内人士表示,被

0215jiejie | 发布于:2022-10-19 0评论 0赞

Bourns 全新大功率分流电阻器

采用金属感应引脚,专用于大电流应用中进行精确测量 全新分流电阻器专为电池管理系统、大电流工业控制和电动汽车充电站 提供高可靠性、高成本效益的解决方案 美国柏恩Bourns全球知名电子组件领导制造供货商,宣布新增12款CSM2F系列功率分流电阻器,扩展其产品组合。全新系列采用铆接通孔金属传感引脚,可满足大电流应用中对电压测试点精确定位日益增长的需求。最新型Bourns?CSM2F系列分流电阻器

0215jiejie | 发布于:2022-10-18 0评论 0赞

请尊重元宇宙“这个筐”

元宇宙是个筐,啥都往里装,但区别在于有的像聚宝盆,有的像垃圾桶。国庆假期刚结束,中青宝“90后”董事长李逸伦便亲自上阵,玩起了元宇宙婚礼。靠着老板首秀和代言,中青宝顺势推出“MetaLove元囍”App,正式进军元宇宙婚礼赛道。 就产品而言,如同其他元宇宙产品,李逸伦的元宇宙婚礼“新奇与吐槽齐飞”:有人说是有趣的尝试,有人则认为像QQ炫舞结婚系统。要知道,QQ炫舞是一款推出了十余年的老游戏。

0215jiejie | 发布于:2022-10-13 0评论 0赞

边缘计算:突围商业模式痛点

截至8月末,中国5G基站总数达210.2万个,中国5G发展已经进入下半场。随着5G加速融入千行百业,互动直播、vCDN、安防监控等场景率先大规模落地,车联网、云游戏、工业互联网、智慧园区、智慧物流等场景也快速走向成熟,这些更大流量、更低时延、更高性能的场景涌现,对边缘计算的刚性需求势必爆发。 GrandViewResearch预测,即使在新型冠状病毒肺炎疫情肆虐全球的背景下,边缘计算和5G网络市

0215jiejie | 发布于:2022-10-13 0评论 0赞

商务部回应美商务部升级半导体等领域对华出口管制并调整出口管制“未经验证清单”

商务部新闻发言人10日就美商务部升级半导体等领域对华出口管制并调整出口管制“未经验证清单”应询答记者问。 有记者问:近日,美国商务部在半导体制造和先进计算等领域对华升级出口管制措施。同时,在将9家中国实体移出“未经验证清单”过程中,又将31家中国实体列入,请问中方对此有何回应? 对此,商务部新闻发言人回应称,中方注意到相关情况。首先,通过中美双方前一阶段共同努力,9家中国实体zui终

0215jiejie | 发布于:2022-10-13 0评论 0赞

TCL华星官宣与奔驰合作:推出全球首款横贯A柱的车载显示屏

今年1月,奔驰带来了VISIONEQSS概念车,其中控台采用了一块完全无缝的47.5英寸曲面显示屏,横贯整个A柱,令人印象深刻。今天,TCL华星正式官宣与奔驰达成合作,并认领了VISIONEQSS上这块全球首款横贯整个A柱曲面的车载显示屏。 根据TCL介绍,这款显示屏采用了完全无缝的超薄一体化设计,将仪表盘、中控与副驾娱乐显示融为一体,并能够与3D实时导航系统相辅相成。 同时,这块显示屏还采用

0215jiejie | 发布于:2022-10-12 0评论 0赞

半导体板块暴跌 谁最受伤

国庆假期后首日开盘,上证综指时隔5个月再次失守3000点,与此同时,半导体板块也再度走低,其中,北方华创、雅克科技等个股跌停。10月11日早盘期间,半导体板块持续下挫,北方华创、雅克科技再度跌停。截至下午收盘,北方华创、雅克科技维持跌停状态,华海清科、拓荆科技-U、盛美上海、清溢光电、海光信息的跌幅则超10%。同日,半导体板块中的119只个股中超五成呈现下跌趋势。 在半导体板块遭遇下挫的同时,北

0215jiejie | 发布于:2022-10-12 0评论 0赞