簡単なWeb巡回のc#プログラム
犬マンマ(doghouse)kernel memoryはテキストだけでなくWeb参照も可能です。その前準備としてAbot2を使って簡単なUri情報を収集するプログラムを作成します。
Nuget情報は下記になります。
概要
googleニュースサイトを巡回してUri情報をコンソールに表示する。
自分も知らなかったのですがnamespaceにusingする名前を含めるとusingを省略できるようです。初心者ですいません^^;
using Abot2.Poco;
namespace Abot2.Crawler.Test
{
class Program
{
private static string checkSiteUri = "https://news.google.com/home?hl=ja&gl=JP&ceid=JP:ja";
static async Task Main(string[] args)
{
await RunCrawler();
}
private static async Task RunCrawler()
{
var config = new CrawlConfiguration
{
MaxPagesToCrawl = 20, //Only crawl 20 pages
MinCrawlDelayPerDomainMilliSeconds = 3000 //Wait this many millisecs between requests
};
var crawler = new PoliteWebCrawler(config);
crawler.PageCrawlCompleted += (sender, e) =>
{
Console.WriteLine("Ans="+e.CrawledPage.Uri);
};
var crawlResult = await crawler.CrawlAsync(new Uri(checkSiteUri));
}
}
}
