HDInsight是否仅适用于ASV(blob存储)
本文关键字：blob 存储 ASV 是否 适用于 HDInsight | 更新日期: 2023-09-27 18:29:01
我想以一种我可以轻松报告的格式将map reducer生成的数据保存在hdinsight中。理想的表结构（Azure表存储）。经过一些研究，HDInsight服务似乎只能与Azure Storage Vault（ASV）一起工作（包括阅读和写作）。这是正确的吗？
我更喜欢在C#中实现hdinsight mapper/reducer。
我对hive或pig了解不多，不知道是否有一种功能可以在ASV之外的外部（azure表）数据存储中持久化reducer的结果？
当前支持HDInsight的默认存储是ASV。您还可以将数据存储在HDInsight集群上的"本地"HDFS文件系统上。然而，这意味着要保持集群永久运行，并将您的存储限制在计算节点上。这可能会变得非常昂贵。
一种解决方案可能是将结果循环到类似SQL server（或SQL Azure）的东西中，这取决于它们的大小和您计划对它们做什么。
或者，我目前正在开发配置单元和Azure表之间的连接器，该连接器目前允许您从Azure表读取到配置单元（通过外部表），但很快也将获得写支持。