powershell网络蜘蛛解决乱码问题

抓取（爬取）网上信息的脚本程序，俗称网络蜘蛛。
powershell中自带了这样的两个命令，【Invoke-WebRequest】和【Invoke-RestMethod】，但这两个命令有时候会乱码。

现在转帖分享， 某个【歪果仁】写的脚本。来源于 墙外出处： https://gist.github.com/angel-vladov/9482676

核心代码

function Read-HtmlPage {
param ([Parameter(Mandatory=$true, Position=0, ValueFromPipeline=$true)][String] $Uri)

# Invoke-WebRequest and Invoke-RestMethod can't work properly with UTF-8 Response so we need to do things this way.
[Net.HttpWebRequest]$WebRequest = [Net.WebRequest]::Create($Uri)
[Net.HttpWebResponse]$WebResponse = $WebRequest.GetResponse()
$Reader = New-Object IO.StreamReader($WebResponse.GetResponseStream())
$Response = $Reader.ReadToEnd()
$Reader.Close()

# Create the document class
[mshtml.HTMLDocumentClass] $Doc = New-Object -com "HTMLFILE"
$Doc.IHTMLDocument2_write($Response)

# Returns a HTMLDocumentClass instance just like Invoke-WebRequest ParsedHtml
$Doc

#powershell 传教士 转帖并修改的文章 2016-01-01, 允许再次转载，但必须保留名字和出处，否则追究法律责任

}

原文函数

function Read-HtmlPage {
  param ([Parameter(Mandatory=$true, Position=0, ValueFromPipeline=$true)][String] $Uri)

  # Invoke-WebRequest and Invoke-RestMethod can't work properly with UTF-8 Response so we need to do things this way.
  [Net.HttpWebRequest]$WebRequest = [Net.WebRequest]::Create($Uri)
  [Net.HttpWebResponse]$WebResponse = $WebRequest.GetResponse()
  $Reader = New-Object IO.StreamReader($WebResponse.GetResponseStream())
  $Response = $Reader.ReadToEnd()
  $Reader.Close()

  # Create the document class
  [mshtml.HTMLDocumentClass] $Doc = New-Object -com "HTMLFILE"
  $Doc.IHTMLDocument2_write($Response)
  
  # Returns a HTMLDocumentClass instance just like Invoke-WebRequest ParsedHtml
  $Doc
}

PowerShell function you can use for reading UTF8 encoded HTML pages content. The built in Invoke-WebRequest and Invoke-RestMethod fail miserably.

# powershell蜘蛛  # 乱码问题  # 转帖  # 但这  # 带了  # 墙外  # 网上  # param  # Parameter  # Mandatory  # HtmlPage  # ps  # function  # Read  # true  # ValueFromPipeline  # String  # Uri  # work  # Position  # UTF  # properly 

相关文章： 网站制作软件有哪些,制图软件有哪些？  简单实现Android验证码  建站之星如何实现五合一智能建站与营销推广？  如何在云主机上快速搭建多站点网站？  如何选择高效稳定的ISP建站解决方案？  较简单的网站制作软件有哪些,手机版网页制作用什么软件？  如何配置FTP站点权限与安全设置？  如何快速打造个性化非模板自助建站？  制作充值网站的软件,做人力招聘为什么要自己交端口钱？  制作销售网站教学视频,销售网站有哪些？  制作ppt免费网站有哪些,有哪些比较好的ppt模板下载网站？  网站制作和推广的区别,想自己建立一个网站做推广，有什么快捷方法马上做好一个网站？  如何选购建站域名与空间？自助平台全解析  c++如何打印函数堆栈信息_c++ backtrace函数与符号名解析【方法】  seo网站制作优化,网站SEO优化步骤有哪些？  建站之星如何助力企业快速打造五合一网站？  教学网站制作软件,学习*后期制作的网站有哪些？  建站之星×万网：智能建站系统+自助建站平台一键生成  网站制作中优化长尾关键字挖掘的技巧,建一个视频网站需要多少钱？  建站之星后台管理如何实现高效配置？  动图在线制作网站有哪些,滑动动图图集怎么做？  IOS倒计时设置UIButton标题title的抖动问题  高端云建站费用究竟需要多少预算？  如何选择靠谱的建站公司加盟品牌？  实现虚拟支付需哪些建站技术支撑？  如何快速生成可下载的建站源码工具？  胶州企业网站制作公司,青岛石头网络科技有限公司怎么样？  如何在香港免费服务器上快速搭建网站？  如何有效防御Web建站篡改攻击？  如何快速生成橙子建站落地页链接？  车管所网站制作流程,交警当场开简易程序处罚决定书，在交警网站查询不到怎么办？  北京网站制作网页,网站升级改版需要多久？  免费的流程图制作网站有哪些,2025年教师初级职称申报网上流程？  微信推文制作网站有哪些,怎么做微信推文，急？  定制建站模板如何实现SEO优化与智能系统配置？18字教程  建站主机选虚拟主机还是云服务器更好？  学生网站制作软件,一个12岁的学生写小说，应该去什么样的网站？  如何通过西部数码建站助手快速创建专业网站？  湖北网站制作公司有哪些,湖北清能集团官网？  安云自助建站系统如何快速提升SEO排名？  活动邀请函制作网站有哪些,活动邀请函文案？  如何高效完成独享虚拟主机建站？  网页设计与网站制作内容,怎样注册网站？  建站主机与服务器功能差异如何区分？  如何基于云服务器快速搭建网站及云盘系统？  广州建站公司哪家好？十大优质服务商推荐  建站主机助手选型指南：2025年热门推荐与高效部署技巧  如何选择高效响应式自助建站源码系统？  孙琪峥织梦建站教程如何优化数据库安全？  如何将凡科建站内容保存为本地文件？