应用小我数字助理、FPGA技术实现高品格流视频的计划
>2019-08-10 11:23:45 来源:网络

 

无线多媒体依赖于复杂的视频软件/效劳器技术,而流视频和音频的天生又依赖复杂的处理技术。有一种产品无疑会从无线多媒体技术中得益,这便是小我数字助理(PDA)。然而,分歧的PDA所采纳的微处理器机能程度分歧,如某些支撑低帧速率的视频流和用软件处理低分辨率,而另有一些则不支撑任何范例的视频流。一个能支撑高品格双向视频通讯的PDA的体系必要很强的体系计算能力。

 

 

图1 Mediaworks可设置设备摆设处理器体系的评估布局,用Altera APEX 20K1500 FPGA实现。

 

提高机能的办法之一是采纳常见的小型接口模范,如PCMCIA卡和CF卡,最新的PDA都支撑这些接口模范。高级视频和无线处理体系都可以或许或许采纳PCMCIA和CF电路卡的模范停止开拓。为PDA供给优越流视频产品的最大成便是上述接口模范无法称心高分辨率视频的高数据带宽请求,而视频数据压缩算法可以或许或许部分或全体地解决成就。然而,流视频编解码器,如MPEG4是为带宽相对无穷的体系开拓的,如几个GHz的PC处理,这无法称心市场上大批无线多媒体设备对品格、本钱、功耗和机能的必要。因此,加快流视频复杂处理器的视频编解码器的开拓成为关键成就。


本文介绍了几种用PDA实现高品格流视频的办法。MediaWorks构建了可设置设备摆设的媒体处理器,晋升了基于可编程逻辑的设计办法,开拓出一整套优化的解决计划。采纳可设置设备摆设媒体处理器还可启用软硬件协同设计过程,这对付工程临盆效力是非常关键的,可以或许或许加快分歧机能的视频编解码器的设计开拓。


PDA设备都具有观看图形的屏幕和规复捕获音频的扬声器和麦克风,通常未集成用于视频捕捉的相机。考虑本钱相干,多采纳最经济的处理器,这些处理器通常不支撑双向流视频。因此,必要额外的处理器和压缩/解压硬件和软件。本文试图解决在现有的PDA设备中实现MPEG4视频捕捉、传送和播放的成就。


设计计划中,第一步是增长视频捕捉能力,即利用能以足够的帧速率和图像尺寸工作的传感器开拓基于PCMCIA的VGA解析度的相机。虽然绝大部分的PDA无法显示完备的VGA图像,但是可以或许颠末过程Internet把图像传送给PC用户,就能观看全体图像。选用PCMCIA接口模范很容易开拓,也可将Compcat Flash尺度作为备用,基本的布局是颠末过程PCMCIA总线把统统图像数据传送给PDA,用软件对输入的图像停止编码,对输入的图像停止解码。


初始结果是每秒7-12帧的帧速率,得当于QCIF(176&TImes;144)图像(本地用户看到的图像和正在发送给本地用户的图像)。这些结果证明了这种概念的可行性。但是咱咱咱们觉得,要称心传递图像给PC用户的请求,图像尺寸应该更大一些,帧速率也应该更快一些,使观看起来更流畅。下一代设计中就应该触及布局的变更来解决上述成就。


因为要在PDA上增长视频功效,必要供给基于PCMCIA/CF的VGA相机。然而,为了增长体系的视频机能,必需解决PCMCIA总线瓶颈和PDA的计算机能限制。设计中颠末过程将视频编码器放置在PCMCIA接口的相机侧来实现这一偏向。根据图像序列,编码视频只必要不到未压缩视频流数据速率的十分之一,在接口总线的相机侧编码视频流,允许将更大的视频图像传送给PDA,同时还可传送更多的视频帧。


编码必要部分解码能力,因此视频编码的计算量比解码大。因此用可设置设备摆设的处理技术为VGA相机开拓一个编码器。这种新的视频架构也适用于增长无线功效的下一代产品。视频解码仍在PDA的软件中。


采纳这种新的布局,可以或许或许获得:
* 每秒30帧的CIF分辨率图像
* 大于每秒20帧的VGA图像
目前的设计办法是寻找最相符任务需要的处理器,但采纳诸如Altera的Nios或Tensilica的Xtensa等可设置设备摆设处理器,可以或许或许根据特定的任务定制处理器。采纳可设置设备摆设处理器的设计有如下几步:第一,用APEX 20KE FPGA开拓体系或指令集仿真器评估初始的软件和硬件设置设备摆设,颠末过程阐发结果确定机能瓶颈。用硬件、软件或二者结合的计划解决目前最大瓶颈的办法实践上已经颠末过程,正在赓续改良。计划已经实现(参数化指令,处理器设置设备摆设变更,协处理器,新体系等等),正在对结果停止评估。评估结果应证实机能的改良环境。评估;提出计划;颠末过程进一步的评估验证计划,如许周而复始直到硬件/软件计划满意机能请求为止,如图1所示。颠末此过程,可能另有一些不行防止的瓶颈,但会逐渐到达最佳点。


可设置设备摆设处理器计划必需具有如下条件:
* 处理器具有参数化指令集。
* 处理器具有可改变的部件如缓冲尺寸等。
* 处理器具有内部或特定的协处理器。
* 处理器可以或许在多处理器条件下运行。
* 以上条件的组合。


采纳参数化指令处理,开拓者可以或许用基本的处理器设置设备摆设评估代码,发现瓶颈。常见的瓶颈是缺少高速缓冲。用可设置设备摆设处理器,开拓者可以或许回退和从新设置设备摆设处理器,供给更多的指令或数据缓冲,或从2路到3路到4路组合指令。另外一类瓶颈是过窄的数据通道限制了一块或大批像素块的编码效力。采纳可设置设备摆设处理器,可以或许拓宽数据通道,一次对整行像素停止处理,从而节省处理器周期。可以或许创建特定的指令,以便充足利用这个更宽的数据通道。以MPEG4操纵为例,可以或许定制相对差值之和(SAD)的计算,如许16个自力的8位像素求和可以或许用一个统统16像素值的128位同时求和指令替代。


还可以或许或许为离散余弦变换(DCT)定制指令,但用公用协处理器可能会更好。采纳公用的协处理器,流水线DCT协处理器可以或许或许胜任这种工作。软件DCT很容易就占用15%到20%的处理器周期。如果处理器没有所需的带宽,可以或许或许用60到80MHz速率的硬件替代DCT软件。


多处理器设计计划类似于应用公用协处理器。因为每帧要量化或模拟化,所以视频编码和解码具有串行特性。DCT或逆DCT(iDCT)顺序对每帧停止处理,因此一帧可以或许或许从一个处理器传送到下一个处理器,每个处理器履行特定的功效。因此,全体的帧速率为最慢的处理器的帧速率。采纳这种计划,处理器流水线的初计舳有延迟,原有的编码/解码软件必要有律计布局并行操纵。


以上设计计划的开端结果说明处理周期有显著改良,但还必要进一步优化(散布式数字DCT,从新设计布局,削减中央存储等)。


目前的结果归纳于表1至表4中。
一旦确定了最终设计计划,就可以或许或许把计划移植到ASIC,或从FPGA设计转换为Altera HardCopy器件,可以或许或许低落本钱。


本文简要探究了用可设置设备摆设媒体处理器解决如何为现有的PDA从新装备多媒体功效,此中的关键是硬件/软件协同设计。在为消除机能瓶颈开拓解决计划时,设计者必要在可能的硬件和软件计划之间停止权衡取舍。

存眷南京电子资讯网微信(ee-focus) 无废话,无谎话 有立场,有温度
持续阅读
更多资讯
上拉可加载更多
————  --^o^--  ————
友情链接:中国肉鸡网  中国物资网  中国旅游信息网  新策考研资讯网  科技日报网  电脑技术学习网  万达国际学院  电脑技术学习网  论文发表网  四川绵阳职业技术学院