如何以编程方式将数据加载到HDFS(本地HDInsight)
本文关键字:HDFS 本地 HDInsight 加载 数据 编程 方式 | 更新日期: 2023-09-27 18:21:23
有没有一种方法可以使用c#以编程方式将数据加载到本地HDFS集群中?
我找到了一个关于使用SDK使用C#代码将数据加载到Azure的教程,但它需要blob存储,并且不适用于本地集群。有解决办法吗?
我知道可以使用Javascript控制台或Hadoop命令行加载数据,但我特别希望通过代码实现这一点。
我浏览了一些论坛,发现Hive连接现在需要你有一个azure存储帐户,无论你是否使用HDInsight azure服务。将数据加载到HDFS中也是这种情况吗?
任何指针都会有所帮助。
谢谢!
是的,这是可能的。HDInsight提供了一个C库,用于HDFS文件系统操作。有关详细信息,请参阅此链接,有关工作示例,请参阅本文。
希望这能有所帮助。