不断增长的日志数据
本文关键字:数据 日志 不断增长 | 更新日期: 2023-09-27 18:00:35
在我们的应用程序(预订/预订类型)中,我们通过单个DBAudit
表处理日志数据。
问题是,由于该表中数据的增长,基于该表生成的报告"大幅"放缓。有哪些选项(时间证明)?
这些是有效的选择吗:
- 通过多个表处理日志
- 定期自动删除旧数据
- 将旧数据迁移到其他存档数据库
其他具有大量活动日志的应用程序如何维护这一点?
您可以尝试每隔一段时间预先计算数据中的重要指标,然后根据这些指标构建报告。
这将允许您将旧日志数据归档到数据仓库中,而不会影响您的报告。
是的,所有这些都是不错的选择,您可能应该尝试实现所有这些:
- 通过多个表处理日志——也许可以考虑只保留主表中的最新数据,然后将它们移到一些历史表中。这取决于运行报表实际需要多少数据
- 定期自动删除旧数据——我会考虑在删除数据之前先计算指标。尝试创建尽可能多的不同度量,以减少空间消耗,然后在处理数据时只保留结果并删除实际数据
- 将旧数据迁移到其他归档数据库中——只有在您真的无法删除任何数据的情况下,我才会这样做
除此之外,您还可以尝试为最常用的列向报告表添加索引,和/或尽可能优化查询。如果这些表中已经有索引,请确保定期重新构建这些索引。