动态可重构技术开始应用于数码相机

动态可重构(Dynamic Reconfigurable)技术的应用范围不断扩大。除了商用一体机及数码相机等高价位电子产品外,应用范围还扩展到了实际售价为1万日元左右的数码相机产品。

动态可重构技术在拥有与专用逻辑电路(硬连线电路,Hard-Wired Circuit)相当的处理性能的同时,还能够像软件一样灵活改变电路构成。以前采用范围以办公一体机及广播电视专业摄像机等百万日元以上的高价位电子产品为中心,而最近终于开始向数万日元的低价位消费类电子产品全面普及注1)。近一年来,有多家数码相机厂商表示已在自己的产品上采用了动态可重构技术。其中也含有实售价格为1万日元左右的产品。

注1)以前在低价消费类电子产品领域,只有索尼在便携音乐播放器及游戏机上采用了自主开发的有关技术。

在卡西欧计算机发布相关产品4个月后,2011年2月富士胶片也展开了行动。富士胶片发布的“FinePix”系列数码相机中,有“F550EXR”、“HS20 EXR”及“X100”三款机型配备了采用该技术的图像处理LSI“EXR处理器”。

通过微细化使成本达到可以接受的水平

众多数码相机厂商接连采用动态可重构技术的原因主要有两点。

第一是微细化的发展使该技术的最大瓶颈即电路规模的尺寸达到了可以接受的程度。消费类电子产品中使用的ASIC也开始越来越多地采用45nm工艺以后的制造技术,因此在数码相机等低价消费类电子产品中采用该技术的巨大电路时,成本也已变得合算。

动态可重构技术一般采用呈阵列状排列大量(数十~1000个)8~32bit运算器(ALU)的架构。因此,处理性能远远高于运算器数量最多限制在10个左右的DSP等。但另一方面却存在电路面积非常大,芯片单价往往也很高的问题。而且,为了能够灵活改变电路构成,还需要在运算器之间设置开关,并使布线具有冗余性,因此与同样采用大量运算器的硬连线电路相比,电路面积也往往较大。

动态可重构技术从10年前亮相之初起就一直被公认“其高成本是采用于实际产品时的瓶颈”,实际上以前多半是在商用电子产品上采用的。然而,随着时间的推移,半导体制造技术的微细化得到顺利推进,由此,动态可重构技术终于能够在1万日元左右的消费类电子产品上使用了注2)。

注2)FPGA与动态可重构技术一样,随着微细化的发展开始越来越多地采用于消费类电子产品。但是,与将8~32bit运算器作为构件的动态可重构技术相比,FPGA的构件由进行单纯逻辑运算的LUT(Look-up Table)构成,构成阵列的构件的粒度较细。因此,实施媒体处理等操作的话,动态可重构技术的面积效率一般高于FPGA。

动态可重构技术开始在数码相机中配备的另一原因在于,图像处理LSI必须要在多种情况下具备出色的可编程性,也就是说必须要具备像软件那样的“灵活性”。具体体现在①电子产品的开发时、②供货后使用电子产品时,以及③开发新一代机型时。

其中尤其重要的是②使用电子产品时的可编程性。要想作为厂商保持独创性,大量配备与其他公司相比容易形成卖点的功能的话,凭借硬连线电路及DSP等动态可重构技术以外的方法是很难实现的。

比如,卡西欧计算机在该公司配备动态可重构技术的首款机型EX-ZR10中导入了称为“HDR(High Dynamicrange)艺术”及“多帧超分辨率”的独创功能。两种功能均使用于高速连拍的图像,前者通过合成多张图像来生成动态范围大的图像,并在此基础上由LSI对图像内进行分析,局部调整色彩饱和度和对比度,输出绘画风格的图像(图3)。而后者则利用多帧图像来提高分辨率。

富士胶片也导入了独创功能,比如识别摄影场景后从多达49种模式的画质设定中选择最佳设定的“PREMIUM EXRAUTO”,以及通过经由图像处理来寻找对焦点的对比度AF来设定多达49个测距点。估计为实现这些功能采用了动态可重构技术。

易于导入具有挑战性的功能

要想在摄影时对超千万像素的图像基本同步实施计算量如此大的复杂处理,凭借DSP及以往的SIMD型处理器处理性能会不足。实现手段仅限于像硬连线电路或动态可重构技术那样,能够使用大量运算器组成长管线,或者能够对大量像素实施并行处理的方法。

不过,从硬连线电路来看,要想导入比如A~C三种功能时,一般需要单独准备3种电路,芯片面积往往会变为3倍。假如A~C功能中含有成为电子产品卖点但实际使用频率又很低的利基功能的话,由此占用的大量芯片面积就会使成本效率变差。

而动态可重构技术具备②中所述的使用电子产品时的可编程性,能够在运行中动态改变电路构成。因此,即便是使用频率再低的利基功能,只要在营销及销售观点上断定其具有效果,也可不受芯片面积增加的不利影响,轻松导入。其原因是,采用动态可重构技术的话,只要是在固定的运算器阵列内实施处理,无论想要追加多少种功能,电路面积都不会成倍增加(图4)。不运行的电路不会“耗费”芯片面积,平时隐藏在后台的存储器中注3)。

注3)这一特性被比作虚拟存储器,称为“虚拟电路”。虚拟电路在切换多种处理时也很有效,但即便是一种处理,与规模超出运算器阵列的电路相比,也同样具有能够以适当级数折叠管线,以分时方式安装的优点。富士施乐在一体机上就采用了这种方法。

虽然动态可重构技术还要看其架构如何,但在安装大约3种以上具有某种复杂程度的功能时,在芯片面积这一点上,还是比硬连线电路更为有利。无论卡西欧计算机还是富士胶片,都未公布采用动态可重构技术具体安装了多少种功能等细节,但可以推测的是,采用动态可重构技术时上述判断起到了一定作用。

还可降低开发时的风险

另外,如③所述的开发新一代机型时的可编程性也很重要。硬连线电路的话,即使想要对以往机型的图像处理算法加以修正、追加功能,不重新制作数亿日元的掩膜的话,也是不可能实现的。而动态可重构技术的话只需与固件一样,在存储器上追加新的电路数据即可(图4)。这样便可延长一次投入的图像处理LSI的“产品寿命”。

实际上,富士胶片就曾表示,采用动态可重构技术的EXR处理器今后“还有进步的余力”。另外,由于无需在掩膜中嵌入电路数据,因此与通常的固件开发一样,直到电子产品马上要供货之前,都可致力于电路构成的优化及验证工作(图4)。而且,缺陷的修正等也比硬连线电路容易得多注4)。

注4)目前在MCU领域中,掩膜ROM产品已被闪存ROM产品取代,而在系列LSI领域中,硬连线电路向动态可重构技术的过渡也可以说是类似现象。

除了一体机、摄像机及数码相机等与图像相关的电子产品之外,动态可重构技术今后还将充分利用上述可编程性,在其他电子产品领域取代硬连线电路及DSP。比如东芝表示,在无线通信领域的基带处理电路方面,动态可重构技术对电路面积及耗电量也同样有利。而且,随着智能电话及平板终端越来越多地导入WAN及无线LAN等多种无线通信方式,该技术还有望配备到这些电子产品上。

STP引擎具有设计工具优势,DAPDNA推出新版产品

目前已进入实用阶段的动态可重构技术有瑞萨电子的“STP(Stream Transpose)引擎”(基于原有的DRP)、东京计器的“DAPDNA”系列、索尼的“VME(Virtual Mobile Engine)”,以及松下的“D-Fabrix”等。此外,还有很多企业在自主研发相关技术,但真正使用到实际产品上的主要还是上述4种。

其中,以外销为提前稳步积累起采用业绩的是瑞萨电子的STP引擎。以前已被索尼的多款广播电视专业摄像机,以及风险企业Yoozma的数字电视发送器等采用,但2011年6月瑞萨电子自己宣称,该技术还被采用到了消费类数码相机上 注5)。

注5)在动态可重构技术方面,瑞萨电子凭借出色的研发成果以及在图像处理产品中的应用业绩,于2011年5月获得了日本电子信息通信学会颁发的“第47届(平成22年度)业绩奖”。在相关发布资料中,该公司称STP引擎得到了数码相机的采用。

瑞萨电子并未公布具体都有哪些企业的数码相机采用了STP引擎。但如前所述,卡西欧计算机和富士胶片近一年来相继在自己的数码相机产品上采用了动态可重构技术,由此来看,两公司的数码相机采用的很可能是STP引擎的衍生技术。

虽然正在研发动态可重构技术的企业有很多,但站在包括设计工具在内的综合观点上,并以外销为前提使该技术达到商用水平的,恐怕全世界只有瑞萨电子一家 注6)。

注6)动态可重构技术的营销难度要比普通处理器大,过去有很多企业都在相关业务上失败过。比如,奥林巴斯着眼于在数码相机等产品上的应用,于2002年设立了动态可重构技术的专业企业AOI技术公司,但之后因客户拓展不利,该公司于2007年被解散。另外,开发出DAPDNA的IPflex公司也由于营销失败等原因陷入了破产。

当然,也不能说卡西欧计算机及富士胶片在动态可重构技术的架构方面就毫无自主开发的可能性。但是,这两家公司在动态可重构技术的基本架构方面并未取得类似专利,因此自主开发的途经颇显薄弱。富士胶片虽然已就动态可重构技术在图像处理中的应用方法申请了多项专利,但这些专利与架构并不相关 注7)。

注7)富士胶片已就动态可重构技术在数码相机领域的应用方法申请了专利,而且还在内窥镜等医疗器械领域申请了同样的专利。该公司今后将在所有图像处理产品中采用动态可重构技术。

索尼及松下开发的技术主要用于自己的产品,而东京计器的DAPDNA尚未达到能够在ASIC上作为IP内核使用的设计水平。

另外,卡西欧计算和富士胶片都未在这方面接受过《日经电子》的采访,而且,对于自己的产品是否采用了瑞萨电子的STP引擎,这两家公司和瑞萨电子都回答说“无可奉告”。

沿用高层次综合工具

瑞萨电子的STP引擎能够将应用范围从专业广播电视设备稳步拓展至消费类数码相机产品,其原因在于该公司在技术上有着丰富的积累。STP引擎本来是原NEC电子与NEC中央研究所共同开发的,包括改进后的技术在内的话,已拥有近15年的历史。

在设计工具方面,与其他众多企业仅着眼于动态可重构技术进行开发相比,STP引擎以已经确立市场的、在ASIC设计领域积累了丰富业绩的高层次综合(行为级综合)*工具为基础。因此就STP引擎而言,虽然动态可重构技术的市场目前仍处于黎明期,但其设计环境的完善度已达到很高水平。

在STP引擎中,瑞萨电子尤为重视的一点是,即使是不熟悉固件设计的普通软件技术人员及算法设计人员,也可轻松地设计和优化动态可重构技术的电路。具体来说,除了能够以高层次综合工具为基础利用C语言进行设计之外,最近还在DMA处理方面充实了各种模板,即使是不精通系统LSI的内部架构,也可轻松优化电路构成。

一般而言,用动态可重构技术的运算器阵列开始实施数据处理时,需要利用DMA控制电路从主存储器等的DRAM向运算器阵列的RAM单元及寄存器读入数据。对这些从主存储器转移数据的操作实施优化的话,还会影响主存储器的延迟时间以及内部总线的构成等,因此对普通软件技术人员来说门槛较高。

STP引擎将这些与DMA相关的处理事先汇总成了模板。这样,便可轻松实施诸如将某项功能向什么模块做分割并行化处理的全局性优化。比如,Yoozma的数字电视发送器,其数字电视的基带处理当初需要使用4块芯片的STP引擎。但后来通过使用模板尝试多种模块分配,最终将芯片数量优化为了两块(图5)。

DAPDNA也走向复活

被富士施乐作为图像处理加速器采用于办公一体机等的东京计器DAPDNA系列也从暂时的动荡中摆脱出来,正顺利走向复活。开发出DAPDNA的原IPflex公司由于营销战略失误等于2009年7月申请进入破产程序,在债务清理过程中,曾为DAPDNA用户的东京计器并入了原IPflex公司的核心技术人员,并接手了销售、开发及客服等全部业务。

由于富士施乐等今后有意继续使用DAPDNA,因此东京计器决定开发新版芯片。作为富士施乐采用的图像处理芯片“DAPDNA-IMX”的后续产品,将投放“DAPDNA-IM2”(表1)。

新版芯片在保持运算器数量与原产品同为1000个左右的同时,将制造技术从90nm工艺微细化到了65nm工艺,降低了制造成本,有望培育成赢利业务。与原产品相比,虽然运算器数量一样,但工作频率提高到了约1.5倍,性能更高。

THE END
0.数码相机处理Raw数据的完整流程——利用MATLAB和Dcraw处理RAW我曾经稍微解释了一下“数码相机RAW文件生成色彩流程”,但下面这个贴是更详细的解释。非常有参考价值。 --- 利用MATLAB 和 Dcraw 处理数码相机 Raw 文件的完整流程 源自:https://capbone_com/process-raw-data-using-matlab-and-dcraw/ 这篇文章要说的当然不是如何用 PS、LightRoom 来处理 Raw 文件,jvzquC41hqxvo7}kvgq/exr1vjxfcm23:6;92A23/3320qyon
1.DeveloperStudioPro免费版本?RAW数码相机处理软件免费使用教程深耕摄影市场数十年的永准贸易,始终致力于提供数码摄影及色彩管理的全方位解决方案,永准独家引进业界知名的Silkypix Developer Studio Pro,让无法满足随相机附赠RAW档转换软件的使用者,获得高品质的影像转换工具。Silkypix Developer Studio Pro是解RAW档软件Silkypix系列中最高阶的版本,专为需大量处理RAW档的摄影师及jvzquC41yy}/lk:30pku1|thvli0;982834ivvq
2.NikonCaptureNX2(尼康相机照片处理软件)官方下载Nikon Capture NX2(尼康相机照片处理软件)v2.4.7是一款简易实用,功能强大的通过简单易用的照片处理软件,操作编辑 NEF 、JPEG 和 TIFF格式图像。Capture NX 2轻松便捷的操作和强大的功能,将和尼康的相机产品一起,为用户提供更有趣的摄影和影像编辑的体验,有喜欢的小伙伴快来下载吧! jvzquC41uqlu0
3.[导入]数码照片后期处理软件大全gracefulli这款软件可以对数码相机照的相片进行优化。例如:它可以把相片上人的面部做一些处理,可以让面部看上去更新光滑,产生一种淡化的感觉 4.夜景噪点杀手BlackFrame http://www.digi163.com/down/SoftDown.asp?ID=36 数码相机的用友都对拍摄夜景时的噪点深恶痛绝,却又束手无策,这个软件可以成为您的有力武器.数码相机的jvzquC41yy}/ewgnqiy/exr1itgdgoznnk5btlmkxg5329<1255298652;8177mvon
4.digitalphotoprofessional4最新版下载digital photo professional4是一款图片处理软件,专门为佳能品牌的相机推出,该软件还提供各种编辑功能,如裁剪、拉直和应用图像样式,以实现所需的图像外观和感觉。佳能DPP4软件支持批量处理,允许用户一次编辑和调整多个图像,这对于编辑大量单独拍摄的图像特别有用。它还提供了一系列组织和管理工具,帮助用户有效地浏览、搜索jvzq<84yyy4xkw|kp94dqv4uqhz039886;4ivvq
5.TurboPhoto非常实用的傻瓜式数码照片特效处理软件Turbo Photo是一个以数码摄影为背景,面向数码相机普通用户和准专业用户而设计的一套集图片管理,浏览,处理增强以及输出为一身的国产软件系统。她能完成数码摄影相关的大部分后期工作,拓展数码摄影的创作手段,从而深化数码相机的应用,给您的生活带来无穷乐趣,给您的工作带来更多方便。 jvzquC41yy}/kyqc{uugv7hqo1zvtktrjqzp0qyon
6.商品拍摄与图片处理第2版——周林娥焦志菲本书根据电子商务行业的发展现状,以网店的工作过程为导向,以商品拍摄及图片处理的过程为主线,首先介绍了商品拍摄的基础知识:拍摄器材的选择与环境搭建、数码相机设置与基本操作、商品拍摄的布光与构图;然后通过实战拍摄箱包、皮具、服装、围巾、首饰、化妆品、玻璃制品等常用商品详解其拍摄过程和拍摄技巧;最后针对网店需求jvzq<84yyy4doyjfw0ipo8gqqmy0dxtm17<19?8;0jzn
7.幻影魔术手,用光影魔术幻影手如何能把照糊了的照片变得清晰√ 顶部快捷入口上增加了从数码设备获取,上传下载边框,图片上传到网络相册的入口。 0.27 正式版: √ 允许用户制作、上传和下载轻松边框。定期推荐精美的边框。 √ 增加了从数码设备导入图片的功能,目前支持数码相机/读卡器、TWAIN设备和手机文件夹。 √ 图片处理完成后,可通过软件自动上传到百度空间、Flickr、天涯相册jvzq<84yyy4ek‚ncrr4dqv4fqe5ecwok17?12:90jvsm
8.CCTV.com杨:大家看到的照片的确是加工过的,它是用数码相机拍的,后来又做过处理。实际情况是周正龙当时身上带着两部相机,一部是数码相机,一部是胶卷相机,分别都拍下了照片。周正龙也向有关专家出示过胶卷的底片,但他拒绝提供相片的底片,原因是据说他听说发现华南虎会奖励50万元,他想拿到更多的奖金,所以只把数码照片交了jvzquC41pg}t0lhvx0ipo8xqekku{87229713@43228:47xjvor
9.photoprofessional佳能图像处理软件下载v4.18.0官方版例如,利用数码相机将图像保存为JPEG时,根据相关设置,相机内部会对图像的锐度进行处理。如果还是觉得锐度不够而需要用图像处理软件对图像锐度进行再处理时,很容易出现画质降低,因此应尽量避免对锐度进行再处理。但若使用DPP进行RAW显像,由于显像时是初次对锐度进行处理,因此可保持图像的高画质,而且调节范围比相机设置更广jvzquC41yy}/5;w0eqs0uxkv1796:@3jvor