分布式对象,大数据

本文关键字:数据 对象 分布式 | 更新日期: 2023-09-27 18:06:53

我有一个关于大型内存对象和分布式计算的一般性问题。

我有一个像Class这样的大对象。对象,它存储了大量数据,比如超过20万个对象,而且还在增加。因为它现在是一个简单的对象,创建并运行在内存中,客户端调用其中的数据。因为速度也很重要,我将这个怪物序列化到桌面,比如c# BinaryFormatter,然后加载并运行它们。这是一个WCF项目,所以对象留在内存中。我的问题是,我应该如何跨多个服务器扩展它,就像分布式计算一样。c#中有类似"数据库分片"之类的工具吗?是否有一个数据库,我可以保存这些信息。这个对象不仅仅是一个简单的数据库表。它有上下类的引用。所有东西都被引用了。有哈希表等。谷歌似乎使用"碎片"来创建这种巨型索引,并将数据分割到不同的服务器上。在。net中有这样的工具和机制吗?这里的方法是什么?我使用Windows Server AppFabric将其保存在内存中并加载它,但似乎我需要将这个怪物对象分成几部分?

分布式对象,大数据

从来没有听过一些已经准备好在。net中运行数据库分片的解决方案。如果能看看其他关于这个问题的帖子,会很有趣的。

但是对于一般知识来说,也可能是非常有用的链接可以是这个:
使用Silverlight的CodeProject分布式计算

我写的好文章。

好运。

我想我没有得到"赞成"这个答案,但你的问题的解决方案不是一些技术分片,而是更好的设计。如果你需要一直在内存中保存这么多对象你需要有一些非常好的激励机制。难道不能一次只加载其中的一部分吗?如果客户端"调用其中的数据",客户端就不必把所有的数据都拿回来,不是吗?如果没有,试着把事情分解成客户真正需要的可管理的部分。