c# Crawler将单线程WebClient调用移动到多线程

我们目前有一个网络爬虫，我们的客户没有能力为我们提供一个xml文件。这个列表正在建设，所以我需要有一个更有效的方式来抓取这些网站。爬虫的逻辑很简单:

Pass in www.example.com/widgets
Store the html and pass it to crawler function
crawl widgets page 1
 IF widgets page 1 is the end of their product list
   stop
 else 
   go to widgets page 2

对于队列中的每个站点重复此操作。如您所见，如果Site 1有5000个产品，那么Site 2在完成之前无法继续。什么是最好的多线程方式，这样我就可以限制我对每个站点的请求数量，但同时抓住多个站点?我试过Parallel。但结果是非常零星和不可预测的。目前，我们通过使用Windows任务管理器同时启动"组"存储来处理这个问题。下面是一些示例代码:

foreach(site in ListofSites)
{
  int page = 1;
  bool continue_crawling = true;
  while(continue_crawling)
  {
    HtmlDocument doc = new HtmlDocument();
    var htmlWeb = new HtmlWeb();
    htmlWeb.UserAgent = "Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/31.0.1650.57 Safari/537.36";
    doc = htmlWeb.Load(URL + page);
    string html = doc.DocumentNode.OuterHtml;
    continue_crawling = ParseFile(html);
    page++;
  }
}
private bool Parse(string html)
{
  //parse the file and see if we have enough data
 return endofproduct;
}