远程服务器返回了一个错误:(507)存储空间不足

我开发了一个小程序，循环发送请求到一个网站。为了得到一些信息，我需要从网页，然后存储到我的数据库。

大约1400个请求。

我在开发机和Windows Azure VM上运行它。

起初，它在两台机器上运行良好(第一天)。但是当我第二天在Windows Azure VM上运行它之后。就像这样抛出异常。

Web Exception: system.net.webeexception: The remote server returned an错误:(507)存储空间不足。在System.Net.WebClient。OpenRead(Uri地址)System.Net.WebClient。OpenRead(字符串地址)StockChecker.MainWindow。Worker_DoWork(对象发送者,DoWorkEventArgs e)

但是在开发机器上这是没有问题的。

发生了什么事?目标网站是否被检测为bot?如何解决这个问题。

这是我的代码。

WebClient client = new WebClient();
List<tbmProduct> prodList = // Get data from my database;
foreach (var prod in prodList)
{
    string content;
    string link = prod.SupplierUrl;
    try
    {
        using (StreamReader reader = new StreamReader(client.OpenRead(link)))
        {
            content = reader.ReadToEnd();
            // Do something. Update my database.
        }
    }
    catch (WebException ex)
    {
        // write log
    }
    catch (Exception ex)
    {
        // write log
    }
}