长沙小红书推广公司,上海搜索引擎优化seo,网站可兼容移动端,本地企业网站建设服务昨天在爬数据时#xff0c;发现某个网站Response.Get过来的数据一直是为空。当时就很奇怪#xff0c;认真看下了响应头。发现Transfer-Encoding:chunked这个玩意网上查了下资料一般情况HTTP的Header包含Content-Length域来指明报文体的长度。有时候服务生成HTTP回应是无法确定… 昨天在爬数据时发现某个网站Response.Get过来的数据一直是为空。当时就很奇怪认真看下了响应头。发现Transfer-Encoding:chunked这个玩意网上查了下资料一般情况HTTP的Header包含Content-Length域来指明报文体的长度。有时候服务生成HTTP回应是无法确定消息大小的比如大文件的下载或者后台需要复杂的逻辑才能全部处理页面的请求这时用需要实时生成消息长度服务器一般使用chunked编码。 在进行Chunked编码传输时在回复消息的Headers有transfer-encoding域值为chunked表示将用chunked编码传输内容。使用chunked编码的Headers如下可以利用FireFox的FireBug插件或HttpWatch查看Headers信息HttpWatch还可以查看chunked的个数: 编码使用若干个Chunk组成由一个标明长度为0的chunk结束每个Chunk有两部分组成第一部分是该Chunk的长度和长度单位一般不写第二部分就是指定长度的内容每个部分用CRLF(全称carriage return/line feed 回车换行)隔开。在最后一个长度为0的Chunk中的内容是称为footer的内容是一些没有写的头部内容。 这上面是网上的原话具体更详细的可以去参考里面看看 不过网上很多关于chunked .net解析都是tmd无用把代码贴出来后面的小哥们不要再痛苦。 哥当时也是写不出解析代码想着网上找找国内找的都千扁一屡最后在国外论坛找到了方案。 最后通过Fiddler调试看到POST的网站有返回Content-Length,此时心都炸了。找了半天你居然告诉我是有Length返回。但是浏览器F12看到的却是Transfer-Encoding:chunked。试着在Fiddler上面模拟调试看看请求前请求后的变化。把浏览器请求头内容复制到Fiddler的参数里面点击exec响应区域显示为空。我的神哟这tmd什么情况参数有问题?,认真对照一下吧总会发现有问题。。。。。当时我没有特别注意Cookie也没有传过去Cookie为空。把浏览器里面的Cookie信息拷贝进去。exec断点命中了。。。。。。。。。当时是多么的开心说明这个网站的POST必须要cookie 解析代码也找到那再把.net代码检查下。运行拿到了数据。。。。不写了 贴代码 StringBuilder sb1 new StringBuilder();
Byte[] buf new byte[256];
Stream resStream myHttpWebResponse.GetResponseStream();resStream new GZipStream(resStream, CompressionMode.Decompress);string tmpString null;
int count 0;
do
{
count resStream.Read(buf, 0, buf.Length - 1);
if (count ! 0)
{
tmpString Encoding.UTF8.GetString(buf, 0, count);
sb1.Append(tmpString);
}
} while (count 0); 参考https://imququ.com/post/transfer-encoding-header-in-http.html还有一个网站找不到了,可怜了。 http://www.dayuji1000.com/vrtechnews/index.htmlhttp://www.xafuda.cn/article/jnd3.5.html 转载于:https://www.cnblogs.com/kengwfpzu920/p/6655046.html
