大量数据的内存管理

2015-08-24 10:33:37来源: eefocus
LabVIEW自动处理内存分配。因为该过程是自动的,LabVIEW在处理数据时必须注意数据的安全性。这就意味着LabVIEW需时常备份数据。如程序需处理大量数据,大量的数据副本可能会导致内存溢出错误。使用下列规范避免内存问题,优化程序以处理大量数据。
注:  也可使用记录性能和内存信息窗口,获取和显示VI执行事件和内存使用的数据。使用该窗口确定引发内存问题的VI。

减少大量数据的数据副本

LabVIEW是一种数据流语言,VI需要更多数据时(例如,数据连线分出两条支路),LabVIEW会创建数据副本。大多数情况下LabVIEW能检测是否需要创建一个新的副本,当不确定是否需要数据副本时,LabVIEW仍然会创建新的数据副本。

使用显示缓冲区分配窗口确定LabVIEW分配内存的位置。该窗口确定LabVIEW用于存放数据副本的数据缓冲区。

请按照下列规范编写程序,以减少LabVIEW创建的数据副本:

注:  下列技巧中有些与良好的LabVIEW编程惯例不一致,这些技巧只在处理海量数据时使用。
  • 使用占用资源较小的数据类型。例如,使用16位整型数据,而不是双精度浮点数
  • 使用简单数组。当从波形或动态数据提取数据数组时,LabVIEW会为数据建立额外副本。
  • 创建大程序框图。调用子VI时,LabVIEW会创建数据副本。
  • 数据流经子VI时,请确保所有程序框图接线端均在条件结构或循环之外。如接线端在条件结构或循环中,LabVIEW将会产生越来越多的数据副本。
  • 如请不要将数据连接至循环内。如要将数据连入循环,可使用移位寄存器。LabVIEW只在第一次循环时复制一个数据副本。如使用隧道,每次循环时,LabVIEW都会创建数据副本。
  • 如有可能,使用必须连接的输入。产生默认值时,LabVIEW将会创建数据副本。
  • 使用元素同址操作结构,而不是平铺式顺序结构。
提示:  较新版本的LabVIEW比早期版本自动复制更多数据副本。版本越新,LabVIEW处理大量数据的功能就越好。

传输大量数据

如不能避免创建大量数据副本,可减少每个副本的大小。传输时,将大量数据分为若干部分,即数据块策略。数据分块时,LabVIEW创建的副本对内存使用没有负面影响。但是,这些副本对数据吞吐率还是有负面影响,所以,仍建议最小化这些副本。下例证明了这个概念。

需复制512 MB数据至磁盘。一次调用就可获取所有数据并将数据保存至磁盘。但是,即时将数据副本减少为1,仍需传输原始数据和一个数据副本。这意味着要向LabVIEW要求1 GB的内存。更好的方法是建立一个循环,一次获取500 KB的数据并流盘。内存占用减少为1 MB,500 KB用于原始数据,500 KB用于数据副本,这在大多数计算机的内存容量之内。

优点是节省了LabVIEW分配大量内存所需的海量时间。在多数计算机上,250 MB数据的流盘时间不超过15秒。如按照其它方法,LabVIEW分配1 GB RAM的时间很可能超过15秒。

如将大量数据流盘或存储在冗余磁盘阵列(RAID)中,也可不通过缓冲区传输数据,以减少数据副本,加快数据传输。如要禁用缓冲区,将TRUE值连接至打开/创建/替换文件函数的禁用缓存输入端。

显示大量数据

在许多交互式应用程序中,唯一对数据进行的操作是显示数据。显示500万个数据点超出了大多数显示器的显示能力。LabVIEW图片的宽度一般在300-1000像素。500万个点超过了波形图实际显示点数三个数量级。所以,需大量减少数据点。

例如,在图形上看到精确至像素的大量数据。如一个500万点缓冲区中有一个突波,绘制出的图形应该是一条水平线,上有一个一像素的突波。如果数据是一个正弦波,其周期数大于屏幕的像素宽度。图形应该是一个不间断的频带,且无混叠。最大值最小值截取算法可解决上述两个问题。

最大值最小值截取算法是在每个截取区间内给出一个最大值和一个最小值,以截取部分数据。简单截取使用每个截取区间的第一个数据点作为截取区间的数据点。简单截取将会导致混叠,所以只能在时间紧迫,精度相对不重要的情况下使用该算法。

使用最大值最小值截取算法的第一步是确定图形的像素宽度。使用图形的绘图区:大小:宽度属性,找到该项。每个像素宽度至少需两个截取区间。将像素宽度乘以2,获得区间数量,然后将数据除以区间数量,从而降低算法误差。将数据长度除以这个数,向最近数取整。得到的是截取的数据块大小。对于每个数据块,找到最大和最小点,并将其按照在数据集合中的顺序排列。不必担心最后一个数据块的数据点比其它数据块的少。问题在于小于像素宽度,在屏幕上不可见。将所有最大值和最小值数据连接起来,然后绘制这些数据。屏幕上每个像素宽度上有四个点。这样,即使有一个像素宽度的突波,周围的像素也不会受影响。最大值最小值截取法保证了永远可以看到数据的峰值,显示高频率正弦波产生的不间断频带。绘制到图形的数据较少,绘制的速度就更快。

在下图中,如使用最大值最小值截取算法处理左边的数据,LabVIEW将生成右边的图表。

存储大量数据

使用队列或数据值引用在内存中存储大量数据,而无需占用大量内存。使用包含数据的单个元素创建一个队列。要访问数据时,可拆散队列。这使程序的其它部分不能同步访问某个数据。对数据操作完成后,将元素重新排入队列。要传递的唯一对象是队列的引用。传递队列时,LabVIEW不创建额外的数据副本。给队列命名后,可在任何时候使用获取队列函数获取队列引用。创建多个数据对象与创建多个队列一样容易。

还可使用数据值引用存储数据,不创建额外数据备份。数据值引用比队列速度更快,但是没有超时选项。可为数据创建引用并传递引用,而不是传递数据至队列。如要对数据进行操作,可使用元素同址操作结构。数据值引用写入/读取元素边框节点接受数据值引用输入,用户可在元素同址操作结构中操作数据并替换原内存中的数据。

注:  可在类属性对话框的继承页上设置只有LabVIEW类的成员VI才可创建类的数据值引用。

也可使用功能全局变量在内存中存储大量数据。使用功能性全局变量,LabVIEW将在数据块中保存和访问数据。这样,不需大量内存就可以传输数据。未初始化的移位寄存器可用来保存数据。使用数组函数读取、写入和重新调整数据。数组函数按顺序排列数据,不会创建数据副本。该方法通常比队列方法慢。

关键字:大量数据  内存管理

编辑:什么鱼 引用地址:http://www.eeworld.com.cn/Test_and_measurement/2015/0824/article_12898.html
本网站转载的所有的文章、图片、音频视频文件等资料的版权归版权所有人所有,本站采用的非本站原创文章及图片等内容无法一一联系确认版权者。如果本网所选内容的文章作者及编辑认为其作品不宜公开自由传播,或不应无偿使用,请及时通过电子邮件或电话通知我们,以迅速采取适当措施,避免给双方造成不必要的经济损失。
论坛活动 E手掌握
微信扫一扫加关注
论坛活动 E手掌握
芯片资讯 锐利解读
微信扫一扫加关注
芯片资讯 锐利解读
推荐阅读
全部
大量数据
内存管理

小广播

独家专题更多

富士通铁电随机存储器FRAM主题展馆
富士通铁电随机存储器FRAM主题展馆
馆内包含了 纵览FRAM、独立FRAM存储器专区、FRAM内置LSI专区三大部分内容。 
走,跟Molex一起去看《中国电子消费品趋势》!
走,跟Molex一起去看《中国电子消费品趋势》!
 
带你走进LED王国——Microchip LED应用专题
带你走进LED王国——Microchip LED应用专题
 
电子工程世界版权所有 京ICP证060456号 京ICP备10001474号 电信业务审批[2006]字第258号函 京公海网安备110108001534 Copyright © 2005-2016 EEWORLD.com.cn, Inc. All rights reserved