HttpWebRequest处理分块数据的速度较慢

本文关键字：速度 数据 处理 HttpWebRequest | 更新日期: 2023-09-27 18:29:14

我正在使用HttpWebRequest连接到我内部构建的HTTP服务器。我的问题是，它比通过PostMan连接到服务器慢得多(https://chrome.google.com/webstore/detail/postman-rest-client/fdmmgilgnpjigdojojpjoooidkmcomcm?hl=en)，这可能是在使用Chrome中的内置功能来请求数据。

服务器是使用MSDN上的此示例构建的(http://msdn.microsoft.com/en-us/library/dxkwh6zw.aspx)并且使用64的缓冲区大小。该请求是一个HTTP请求，正文中包含一些数据。

当通过PostMan连接时，请求被分成一堆块，BeginRecieve（）被调用多次，每次接收64B，耗时约2毫秒。除了最后一个，它的接收容量小于64B。

但是，当使用HttpWebRequest与我的客户端连接时，第一个BeginRecieve（）回调接收64B，耗时约1毫秒，第二个仅接收47B，耗时近200毫秒，最后第三个接收58B，耗时2毫秒。

第二个BeginRecieve怎么了？我注意到，一旦我开始向HttpWebRequest输入流写入数据，就会建立连接，但直到我调用GetResponse（），数据接收才会开始。

这是我的HttpWebRequest代码：

var request = (HttpWebRequest)WebRequest.Create(url);
request.Method = verb;
request.Timeout = timeout;
request.Proxy = null;
request.KeepAlive = false;
request.Headers.Add("Content-Encoding", "UTF-8");
System.Net.ServicePointManager.Expect100Continue = false;
request.ServicePoint.Expect100Continue = false;
if ((verb == "POST" || verb == "PUT") && !String.IsNullOrEmpty(data))
{
    var dataBytes = Encoding.UTF8.GetBytes(data);
    try
    {
        var dataStream = request.GetRequestStream();
        dataStream.Write(dataBytes, 0, dataBytes.Length);
        dataStream.Close();
    }
    catch (Exception ex)
    {
        throw;
    }
}
WebResponse response = null;
try
{
    response = request.GetResponse();
}
catch (Exception ex)
{
    throw;
}
var responseReader = new StreamReader(rStream, Encoding.UTF8);
var responseStr = responseReader.ReadToEnd();
responseReader.Close();
response.Close();

我做错了什么？为什么它的行为与来自网络浏览器的HTTP请求大不相同？这实际上给我的应用程序增加了200毫秒的延迟。

HttpWebRequest处理分块数据的速度较慢

这看起来像是Nagle算法与TCP延迟确认冲突的典型情况。在您的情况下，您正在发送一个小的Http请求（根据您的数字约为170字节）。这可能小于MSS（最大段大小），这意味着Nagle算法将启动。服务器可能会延迟ACK，导致最多500毫秒的延迟。有关详细信息，请参阅链接。

您可以通过ServicePointManager.UseNagleAlgorithm = false禁用Nagle（在发出第一个请求之前），请参阅MSDN。

另请参阅Nagle的算法对小请求不友好，以了解包括Wireshark分析在内的详细讨论。

注意：在你的答案中，当你写写读的时候，你也遇到了同样的情况。当你转向读写时，你就克服了这个问题。但是，我不认为您可以指示HttpWebRequest（或HttpClient）将小请求作为单个TCP写入操作发送。在某些情况下，这可能是一个很好的优化。尽管这可能会导致一些额外的阵列复制，从而对性能产生负面影响。

200ms是Nagle算法的典型延迟。这会导致怀疑服务器或客户端正在使用Nagling。您说您正在使用MSDN中的一个示例作为服务器。。。好吧，你去吧。使用合适的服务器或禁用Nagling。

假设内置的HttpWebRequest类具有不必要的200ms延迟是非常不可能的。看看其他地方。查看您的代码以查找问题。

HttpWebRequest似乎真的很慢。

有趣的是：我使用Sockets实现了自己的HTTP客户端，我发现了HttpWebRequest如此缓慢的原因。如果我将ASCII标头编码到它自己的字节数组中，并在流上发送它们，然后是根据数据编码的字节数组，那么我的基于套接字的HTTP客户端的行为与HttpWebRequest完全相同：首先它用数据（标头的一部分）填充一个缓冲区，然后部分使用另一个缓冲区时（标头的其余部分），等待200毫秒，然后发送其余数据。

代码：

TcpClient client = new TcpClient(server, port);
NetworkStream stream = client.GetStream();
// Send this out
stream.Write(headerData, 0, headerData.Length);
stream.Write(bodyData, 0, bodyData.Length);
stream.Flush();

当然，解决方案是在将两个字节的数组发送到流之前附加它们。我的应用程序现在的行为与预期一致。

使用单流写入的代码：

TcpClient client = new TcpClient(server, port);
NetworkStream stream = client.GetStream();
var totalData = new byte[headerBytes.Length + bodyData.Length];
Array.Copy(headerBytes,totalData,headerBytes.Length);
Array.Copy(bodyData,0,totalData,headerBytes.Length,bodyData.Length);
// Send this out
stream.Write(totalData, 0, totalData.Length);
stream.Flush();

HttpWebRequest似乎在我写入请求流之前发送了头，所以它的实现可能有点像我的第一个代码示例。这有道理吗？

希望这对有同样问题的人有帮助！

试试这个：你需要处理你的IDisposables:

var request = (HttpWebRequest)WebRequest.Create(url);
request.Method = verb;
request.Timeout = timeout;
request.Proxy = null;
request.KeepAlive = false;
request.Headers.Add("Content-Encoding", "UTF-8");
System.Net.ServicePointManager.Expect100Continue = false;
request.ServicePoint.Expect100Continue = false;
if ((verb == "POST" || verb == "PUT") && !String.IsNullOrEmpty(data))
{
    var dataBytes = Encoding.UTF8.GetBytes(data);
    using (var dataStream = request.GetRequestStream())
    {
        dataStream.Write(dataBytes, 0, dataBytes.Length);
    }
}
string responseStr;
using (var response = request.GetResponse())
{
    using (var responseReader = new StreamReader(rStream, Encoding.UTF8))
    {
        responseStr = responseReader.ReadToEnd();
    }
}
相关文章：