. net HTTPReguest GetResponse()获取前N字节

本文关键字:字节 获取 HTTPReguest GetResponse net | 更新日期: 2023-09-27 18:08:45

我正在尝试创建一个网站爬虫。它将从许多网站检索一些数据。
有时候,如果我加载一个网页的1000个字节,我就能看到我要找的东西。
下面是我的代码:

request = (HttpWebRequest)WebRequest.Create("http://example.com");
var response = (HttpWebResponse)request.GetResponse();
string responseString = new StreamReader(response.GetResponseStream()).ReadToEnd();

当我调用request.GetResponse()时,它将加载整个页面(例如4000字节),但我要查找的数据是在前1000字节。当我调用ReadToEnd()时,它将从RAM读取所有接收到的数据。但是所有的数据都是从网站发送到我的电脑上的!我不想接收所有字节,我只需要第一个字节的N个字节。如果我能做到这一点,我就可以节省很多很多的互联网流量。你能帮我吗?我怎么能做到呢?

. net HTTPReguest GetResponse()获取前N字节

使用StreamReader。读,如。

StreamReader sr = new StreamReader(response.GetResponseStream());
char[] c = new char[1000]; // 1000 bytes
sr.Read(c, 0, c.Length); 
string responseString  = new string(c);