如何在HDF5文件中筛选特定对象

本文关键字:筛选 对象 文件 HDF5 | 更新日期: 2023-09-27 17:59:43

学习ILNumerics HDF5 API。我真的很喜欢使用C#对象初始化器在一个表达式中设置一个复杂的HDF5文件的选项。我创建了以下文件:

using (var f = new H5File("myFile.h5")) {
    f.Add(new H5Group("myTopNode") {
        new H5Dataset("dsNo1", ILMath.vec<float>(1,200)),  // no attributes 
        new H5Group("myGroup") {
            new H5Dataset("dsYes", ILMath.rand(100,200)) { // matching dataset
                Attributes = { 
                    { "att1", 1 },
                    { "att2", 2 } 
                }
            }, 
            new H5Dataset("dsNo2") {  // attributes but wrong name
                Attributes = { 
                    { "wrong1", -100 },
                    { "wrong2", -200 } 
                }
            }
        }
    });
}

现在,我正在寻找一种聪明的方法来迭代文件并筛选具有特定属性的数据集我想找到所有名称中至少有一个属性为"att"的数据集,收集并返回它们的内容这就是我迄今为止所做的:

IList<ILArray<double>> list = new List<ILArray<double>>();
using (var f = new H5File("myFile.h5")) {
    var groups = f.Groups;
    foreach (var g in groups) {
        foreach (var obj in g) {
            if (obj.H5Type == H5ObjectTypes.Dataset && obj.Name.Contains("ds")) {
                var ds = obj as H5Dataset;
                // look for attributes 
                foreach (var att in ds.Attributes) {
                    //ds.Attributes["att"].
                    if (att.Name.Contains("att")) {
                        list.Add(ds.Get<double>());
                    }
                }
            }
        }
    }
}
return list; 

但它不能递归地工作。我可以采用它,但ILNumerics声称它很方便,所以一定有更好的方法吗?类似python中h5py的东西?

如何在HDF5文件中筛选特定对象

H5Group提供了Find<T>方法,它正是您想要的。它在整个子树上进行迭代,并将任意谓词考虑在内:

var matches = f.Find<H5Dataset>(
                 predicate: ds => ds.Attributes.Any(a => a.Name.Contains("att")));

为什么不让函数返回"ILCell"而不是"List"?这可以更好地集成到ILNumerics内存管理中(不会有存储在周围等待垃圾收集器的到来):

using (var f = new H5File("myFile.h5")) {
    // create container for the dataset contents
    ILCell c = cell(size(1, 1)); // one element init
    // retrieve datasets filtered
    var matches = f.Find<H5Dataset>(predicate: ds => {
        if (ds.Attributes.Any(a => a.Name.Contains("att"))) {
            c[end + 1] = ds.Get<double>();
            return true; 
        }
        return false; 
    });
    return c; 
}

一些链接:

http://ilnumerics.net/hdf5-interface.html

http://ilnumerics.net/Cells.html

http://ilnumerics.net/GeneralRules.html