从网站检索动态加载的数据
本文关键字：数据 加载 动态 网站 检索 | 更新日期: 2023-09-27 18:33:46
我正在尝试检索使用散列链接动态加载到网页上的数据，即 http://www.westfield.com.au/au/retailers#page=5
我的问题是使用什么技术将数据加载到页面上？
其次，如何使用 C# 检索此数据？
到目前为止，我的尝试已经使用WebClient下载此链接的页面，不幸的是，无论我使用哪个页面链接，html文件都只包含第一页的数据。
使用什么技术将数据加载到页面上？
JavaScript 用于从服务器加载数据，将其解析为 HTML 并将其放在 DOM 中的正确位置。
其次，如何使用 C# 检索此数据？
向以下请求：http://www.westfield.com.au/api/v1/countries/au/retail-chains/search.json?page=5，它将返回一个包含所需数据的结构化 JSON 文档。
如果你只需要JSON结构，Jon的回答听起来是一个很好的起点。
如果你想要一个好的堆栈来真正渲染抓取，我会使用 phantomjs 和 Selenium 的组合来帮助桥接到 .net。
本文是一个很好的起点。