網路爬蟲 - 武功密技

學習 網路爬蟲 一段時間了

也算是略懂一二
分享一下小的領略的二三式


第一式 - WebClient

• 擷取網頁原始碼
• http://www.webjx.com/htmldata/2005-11-27/1133050783.html
• 下載 (檔案or圖片or...)
• http://msdn.microsoft.com/.../ez801hhe%28v=vs.110%29.aspx
• WebClient 全部功能
• http://msdn.microsoft.com/.../System.Net.WebClient...

  


第二式 - WebRequest

• 模擬 POST GET 等 HTTP method ，再取得網頁原始碼  
• http://www.dotblogs.com.tw/.../archive/2012/09/29/75169.aspx
• 自定 User-Agent
• http://stackoverflow.com/.../setting-the-user-agent...
• 自訂 任意 Header (蒙騙任何 server)
• http://blog.xuite.net/peeter/diary/33162221
• 所有可以自訂的項目
• http://msdn.microsoft.com/.../system.net.webrequest...
• 所有 WebRequest 的功能
• http://msdn.microsoft.com/.../system.net.webrequest...

終式 - WebBrowser

• 直接模擬一個瀏覽器 取得原始碼 (所以可以執行 Javascript)
• http://xyz.cinc.biz/2013/12/csharp-webbrowser-html-ajax.html
• 操控所有瀏覽器的功能 (上一頁 下一頁 重新整理 填資料 按確定... 等 )
• http://www.cnblogs.com/.../2012/09/24/CSharp-WebBrowser.html
• 自訂任意的 IE 版本
• http://msdn.microsoft.com/.../ee330730%28v=vs.85%29.aspx...
• 監聽 Javascript 事件
• http://xyz.cinc.biz/2013/12/csharp-webbrowser-html-ajax.html
• 所有 WebBrowser 功能
• http://msdn.microsoft.com/.../system.windows.forms...
• 所有 模擬使用者 操作的列表
• http://msdn.microsoft.com/.../system.windows.forms...

最後一招

• 解析 HTML 取出需要的資訊 - HTML Agility Pack
• http://msdn.microsoft.com/zh-tw/evalcenter/ee787055.aspx 

以上小小的分享一下