组合来自多个图像传感器的数据
2019-11-22

组合来自多个图像传感器的数据

本发明揭示一种组合来自多个传感器的数据的方法。所述方法包括将共同控制信号提供到待同步的多个图像传感器。所述方法进一步包括接收来自所述多个图像传感器中的第一图像传感器的第一数据线,接收来自所述多个图像传感器中的第二图像传感器的第二数据线,以及组合所述第一数据线与所述第二数据线以产生同步数据线。

优先权主张

在一特定实施例中,第一时序数据420可与第一像素时钟相关联,第一传感器图像数据422可与第一像素大小相关联,第二时序数据430可与第二像素时钟相关联,且第二传感器图像数据432可与第二像素大小相关联。当组合器406组合第一时序数据420、第一传感器图像数据422、第二时序数据430和第二传感器图像数据432以产生同步数据线时,第一图像数据的第一线和第二图像数据的对应线组合成单一图像线。在一特定实施例中,所述单一图像线的大小可为第一图像数据的第一线或第二图像数据的对应线的大小的实质上两倍(例如,第一像素大小或第二像素大小的两倍),且经组合的单一图像线的像素时钟的速率可为第一像素时钟或第二像素时钟的速率的实质上两倍(例如,可具有为第一像素时钟频率或第二像素时钟频率的两倍的时钟频率)。所产生的同步数据线经由组合器时序数据信号528和组合器图像数据信号530发送到图像信号处理器208。

在2604处,可产生输出帧,所述输出帧具有对应于所述第一图像的线数据的第一区段且具有对应于所述第二图像的线数据的第二区段。所述第一区段和所述第二区段可经配置以用于产生三维(3D)图像格式或3D视频格式。

在2502处,可在多个图像传感器处接收共同控制信号。所述多个图像传感器中的每一者响应于所述共同控制信号以产生图像数据。举例来说,可从耦合到所述多个图像传感器中的每一者的传感器同步器接收所述共同控制信号,传感器同步器例如为图2到5的传感器同步器230、图18的控制同步块1844、图19的控制同步块1936或其任何组合。

作为一说明性实例,根据拜耳滤波器图案(Bayerfilterpattern),第一线数据1002、1012、1022中的每一者包括交替的红色和绿色像素值,第二线数据1004、1014、1024中的每一者包括交替的绿色和蓝色像素值,且第三线数据1006、1016、1026中的每一者包括交替的红色和绿色像素值。

参看图14,描绘说明具有用以组合来自多个图像传感器的数据的图像处理系统的移动装置的各种实施例的图解表示且将其大体上标示为1400。在1402处所说明的特定实施例中,移动装置包括具有两个邻近相机的阵列的图像处理系统。在1404处所说明的特定实施例中,移动装置包括具有布置在同轴(in-line)配置中的三个相机的阵列的图像处理系统。或者,任何数目个相机可布置在同轴配置中。在1406处所说明的特定实施例中,移动装置包括具有3X3相机阵列的图像处理系统。在1408处所说明的特定实施例中,移动装置包括具有5X5相机阵列的图像处理系统。或者,任何数目个相机可布置在二维阵列中。

图24为将共同控制信号提供到多个图像传感器且接收来自所述多个图像传感器中的每一者的同步数据输出的方法的特定说明性实施例的流程图;

在2604处,可产生输出帧,所述输出帧具有对应于所述第一图像的线数据的第一区段且具有对应于所述第二图像的线数据的第二区段。所述第一区段和所述第二区段可经配置以用于产生三维(3D)图像格式或3D视频格式。

参看图23,描绘将共同控制信号提供到多个图像传感器且经由图像处理器的单一相机输入将同步数据线提供到图像处理器的方法的特定说明性实施例的流程图,且将其大体上标示为2300。作为说明性非限制实例,方法2300可在图2、3和5的系统中的一者或一者以上处执行。

组合来自多个图像传感器的数据

本发明揭示一种组合来自多个传感器的数据的方法。所述方法包括将共同控制信号提供到待同步的多个图像传感器。所述方法进一步包括接收来自所述多个图像传感器中的第一图像传感器的第一数据线,接收来自所述多个图像传感器中的第二图像传感器的第二数据线,以及组合所述第一数据线与所述第二数据线以产生同步数据线。

在图8的特定实施例中,在第一数据流的数据与第二数据流的数据之间存在二线相位差。举例来说,通过组合器(例如,图2的组合器216)可在第一线相位期间接收第一传感器第一线数据802,可在第二线相位期间接收第一传感器第二线数据804,且可在第三线相位期间接收第一传感器第三线数据806和第二传感器第一线数据812。因而,在第一传感器第一线数据802与第二传感器第一线数据812之间存在二线相位差。

第一传感器202可经配置以将第一时序数据420和第一传感器图像数据422发送到如图2或图5中的系统中所说明的组合器206。类似地,第二传感器204可经配置以将第二时序数据430和第二传感器图像数据432发送到图2或图5的组合器206。

图18为相机阵列处理系统的第一特定说明性实施例的方框图;

图24为将共同控制信号提供到多个图像传感器且接收来自所述多个图像传感器中的每一者的同步数据输出的方法的特定说明性实施例的流程图;

图9为说明来自第一传感器的第一数据流与来自第二传感器的第二数据流之间的一线相位差的相位图的第二实施例的图解表示;

第一VFE组件1834可以通信方式耦合到第一GHJ组件1846以对准且修整第一行1804中的每一个别图像(S卩,由五个列1814到1822中的相机俘获的五个图像)。第二VFE组件1836可以通信方式耦合到第二GPU组件1848以对准且修整第二行1806中的每一个别图像。第三VFE组件1838可以通信方式耦合到第三GPU组件1850以对准且修整第三行1808中的每一个别图像。第四VFE组件1840可以通信方式耦合到第四GPU组件1852以对准且修整第四行1810中的每一个别图像。第五VFE组件1842可以通信方式耦合到第五GPU组件1854以对准且修整第五行1812中的每一个别图像。GPU组件1846到1854中的每一者可以通信方式耦合到GPU处理组件1856,GPU处理组件1856适于将行1804到1812中的全部行组合在一起,从而产生最终图像。

Description

在2302处,可将共同控制信号提供到多个图像传感器。所述多个图像传感器中的每一者可响应于所述共同控制信号以产生图像数据。举例来说,可通过耦合到所述多个图像传感器中的每一者的传感器同步器(例如,图2的传感器同步器230)来提供所述共同控制信号。为了说明,所述传感器同步器可经由以下接口来耦合到所述多个图像传感器中的每一者:集成电路间(I2C)控制接口;顺应相机串行接口(CSI)规范的接口;或顺应相机并行接口(CPI)规范的接口。

组合器1306响应于第一图像数据流1314和第二图像数据流1316。组合器1306经配置以在线缓冲器1312内组合来自第一图像数据流1314的数据与来自第二图像数据流1316的数据。在一特定实施例中,线缓冲器1312经配置以使来自第一图像传感器1302的第一数据与来自第二图像传感器1304的第二数据对准。在一特定实施例中,组合器1306响应于存储于线缓冲器1312内的数据且将帧数据1318提供到图像处理器1308。在一特定实施例中,帧数据1318可包括图像数据的多个行,其中每一行为来自每一传感器1302、1304的对应行的组合,例如关于图3所描述。

图像信号处理器208经配置以处理线数据218且产生经处理线数据240。在一特定实施例中,经处理线数据240可作为经处理帧数据而提供。尽管已展示两个传感器,但应理解,其它实施例可包括两个以上传感器。举例来说,图3描绘包括两个以上传感器的实施例300ο第N传感器305经配置以产生第N数据流,说明为第N图像数据流315。第N图像数据流315包括第N数据线325。第N传感器305可实质上类似于第一图像传感器202和第二图像传感器204,且可接收来自传感器同步器230的共同控制信号234,从而使得第一传感器202、第二传感器204和第N传感器305能够产生紧密对准的数据流212、214、315。举例来说,数据流212、214、315可具有实质上相同的时序特性,例如频率和相位。组合器206响应于第一图像数据流212、第二图像数据流214和第N图像数据流315。组合器206经配置以在线缓冲器216内组合来自第一图像数据流212、第二图像数据流214与第N图像数据流315的数据。

图11为说明用于多个传感器的帧有效和线有效信号时序的时序图;

参看图11,描绘说明与具有多个传感器的设备相关联的信号时序的时序图的特定实施例且将其大体上标示为1100。所述信号包括第一传感器的帧有效(FV)信号1102和线有效(LV)信号1104,第二传感器的FV1106和LV1108,和第三传感器的FV1110和LV1112。在一特定实施例中,第一传感器、第二传感器和第三传感器可为图3的第一传感器202、第二传感器204和第三传感器305。还结合经组合的线有效/数据信号1116和线负载(LL)信号1118来说明经组合的帧有效信号1114。

在图8的特定实施例中,在第一数据流的数据与第二数据流的数据之间存在二线相位差。举例来说,通过组合器(例如,图2的组合器216)可在第一线相位期间接收第一传感器第一线数据802,可在第二线相位期间接收第一传感器第二线数据804,且可在第三线相位期间接收第一传感器第三线数据806和第二传感器第一线数据812。因而,在第一传感器第一线数据802与第二传感器第一线数据812之间存在二线相位差。

组合来自多个图像传感器的数据

本发明揭示一种组合来自多个传感器的数据的方法。所述方法包括在具有用于单一相机的输入的图像处理器处接收图像数据的多个线。所述图像数据的每一线包括来自由第一相机俘获的第一图像的第一线数据和来自由第二相机俘获的第二图像的第二线数据。所述方法还包括产生输出帧,所述输出帧具有对应于所述第一图像的线数据的第一区段且具有对应于所述第二图像的线数据的第二区段。所述第一区段和所述第二区段经配置以用于产生三维3D图像格式或3D视频格式。

图3为用以组合来自多个图像传感器的数据的图像处理系统的第三说明性实施例的方框图;

控制同步块1936可用于同步阵列1902的相机中的每一者,例如将共同控制信号提供到一个或一个以上行1904到1912中的相机。控制同步块1936可以通信方式耦合到阵列1902的相机中的每一者且耦合到单一VFE组件1934。阵列1902中的所有相机的同步可允许高分辨率上的滚动快门的使用。由于所有相机可同时读出,所以滚动快门效应可减弱(随着阵列的大小)。举例来说,在图19的5X5阵列1902中,二十五个相机的同步可减弱与CMOS相机相关联的滚动快门效应。

在2208处,所述第一数据线与所述第二数据线可为经组合线以产生同步数据线。举例来说,方法2200可包括在逐线基础上交错从第一图像传感器接收的第一数据流与从第二图像传感器接收的第二数据流。如关于图5中所说明的组合第一传感器图像数据422与第二传感器图像数据432的组合器406所描述,可形成同步数据线。

经组合线1220包括图像的第一图像数据的第一线与图像的第二图像数据的对应线,与图像的第三图像数据的组合。如所说明,第一数据流、第二数据流与第三数据流经交错以形成经组合线1220。举例来说,经组合线1220包括具有第一传感器第一线数据1202、第二传感器第一线数据1212和第三传感器第一线数据1222的经组合线数据1232,具有第一传感器第二线数据1204、第二传感器第二线数据1214和第三传感器第二线数据1224的经组合线数据1234,和具有第一传感器第三线数据1206、第二传感器第三线数据1216和第三传感器第三线数据1226的经组合线数据1236。可通过在线缓冲器(例如,图3的线缓冲器216)内组合对应线而产生每一经组合线1232到1236。因而,来自多个传感器的具有三线相位差的数据输出可经组合,使得可在图像的图像数据的一条图像线内发生同步。

在2402处,可将共同控制信号提供到多个图像传感器。所述多个图像传感器中的每一者响应于所述共同控制信号以产生图像数据。举例来说,可通过耦合到所述多个图像传感器中的每一者的传感器同步器来提供所述共同控制信号,传感器同步器例如为图2到5的传感器同步器230、图18的控制同步块1844、图19的控制同步块1936或其任何组合。

因此,可使用单一图像信号处理器有效地处理经组合数据。因此,与向每一传感器指派一处理器的多处理器系统相比,总的图像系统成本和复杂性可减小。

参看图23,描绘将共同控制信号提供到多个图像传感器且经由图像处理器的单一相机输入将同步数据线提供到图像处理器的方法的特定说明性实施例的流程图,且将其大体上标示为2300。作为说明性非限制实例,方法2300可在图2、3和5的系统中的一者或一者以上处执行。

参看图2,描绘用以组合来自多个传感器的数据的图像处理系统的特定说明性实施例且将其大体上标示为200。图像处理系统200包括第一传感器202和第二传感器204。图像处理系统200进一步包括组合器206、图像信号处理器或视频前端208,和传感器同步器230。图像信号处理器208可耦合到显示装置(未图示)。组合器206包括一个或一个以上线缓冲器216。图像处理系统200可集成于至少一个半导体裸片中。