js网站记住密码怎么做,四网一体网站建设方案,怎样创建个人购物网站,企业网站建站技术转自即时通讯网#xff1a;http://www.52im.net/
原作者#xff1a;阮一峰(ruanyifeng.com#xff09;#xff0c;本文由即时通讯网重新整理发布#xff0c;感谢原作者的无私分享。
1、写在前面
论坛和群里常会有技术同行打算自已开发IM或者消息推送系统#xff0c;很…转自即时通讯网http://www.52im.net/
原作者阮一峰(ruanyifeng.com本文由即时通讯网重新整理发布感谢原作者的无私分享。
1、写在前面
论坛和群里常会有技术同行打算自已开发IM或者消息推送系统很多时候连基本的网络编程理论如网络协议等都不了解就贸然定方案、写代码显得非常盲目且充满技术风险。即时通讯网论坛里精心整理了《通俗易懂深入理解TCP协议》、《不为人知的网络编程》、《P2P技术详解》、《高性能网络编程》这几个网络编程的系列文章甚至还有图文并貌实战代码的《NIO框架入门》等等。资料虽好无奈很多同行或许是时间紧迫也或许是心态浮躁反正就是没办法静下心来仔细研读导致错过了很多必须掌握的网络编程知识基础如果您正打算从零开发移动端IM则建议您从此文开始《新手入门一篇就够从零开发移动端IM》。本次《网络编程懒人入门》系列文章共8篇将为大家尤其是上面说的浮躁的开发者同行提供懒人快速入门希望在你没办法耐心读完上面的几个系列文章但还是强烈建议优先去读一读的情况还能对基本的网络编程知识有所了解和掌握从而对您的IM系统或消息推送系统的技术选型、方案制定、代码编写起到理论支撑作用。本文将从网络通信协议讲起懒人们动起来^_^ 2、正文引言
我们每天使用互联网你是否想过它是如何实现的 全世界几十亿台电脑连接在一起两两通信。上海的某一块网卡送出信号洛杉矶的另一块网卡居然就收到了两者实际上根本不知道对方的物理位置你不觉得这是很神奇的事情吗 互联网的核心是一系列协议总称为互联网协议Internet Protocol Suite。它们对电脑如何连接和组网做出了详尽的规定。理解了这些协议就理解了互联网的原理。 下面就是我的学习笔记。因为这些协议实在太复杂、太庞大我想整理一个简洁的框架帮助自己从总体上把握它们。为了保证简单易懂我做了大量的简化有些地方并不全面和精确但是应该能够说清楚互联网的原理。 另外如果您很好奇承载这些网络协议的物理设备是怎么工作的可以先看看《网络编程懒人入门(六)史上最通俗的集线器、交换机、路由器功能原理入门》。 3、系列文章
本文是系列文章中的第1篇本系列文章的大纲如下
《网络编程懒人入门(一)快速理解网络通信协议上篇》本文《网络编程懒人入门(二)快速理解网络通信协议下篇》《网络编程懒人入门(三)快速理解TCP协议一篇就够》《网络编程懒人入门(四)快速理解TCP和UDP的差异》《网络编程懒人入门(五)快速理解为什么说UDP有时比TCP更有优势》《网络编程懒人入门(六)史上最通俗的集线器、交换机、路由器功能原理入门》《网络编程懒人入门(七)深入浅出全面理解HTTP协议》《网络编程懒人入门(八)手把手教你写基于TCP的Socket长连接》
本站的《脑残式网络编程入门》也适合入门学习本系列大纲如下
《脑残式网络编程入门(一)跟着动画来学TCP三次握手和四次挥手》《脑残式网络编程入门(二)我们在读写Socket时究竟在读写什么》《脑残式网络编程入门(三)HTTP协议必知必会的一些知识》《脑残式网络编程入门(四)快速理解HTTP/2的服务器推送(Server Push)》
如果您觉得本系列文章过于基础您可直接阅读《不为人知的网络编程》系列文章该系列目录如下
《不为人知的网络编程(一)浅析TCP协议中的疑难杂症(上篇)》《不为人知的网络编程(二)浅析TCP协议中的疑难杂症(下篇)》《不为人知的网络编程(三)关闭TCP连接时为什么会TIME_WAIT、CLOSE_WAIT》《不为人知的网络编程(四)深入研究分析TCP的异常关闭》《不为人知的网络编程(五)UDP的连接性和负载均衡》《不为人知的网络编程(六)深入地理解UDP协议并用好它》
关于移动端网络特性及优化手段的总结性文章请见
《现代移动端网络短连接的优化手段总结请求速度、弱网适应、安全保障》《移动端IM开发者必读(一)通俗易懂理解移动网络的“弱”和“慢”》《移动端IM开发者必读(二)史上最全移动弱网络优化方法总结》4、参考资料 《TCP/IP详解 - 第11章·UDP用户数据报协议》《TCP/IP详解 - 第17章·TCP传输控制协议》《TCP/IP详解 - 第18章·TCP连接的建立与终止》《TCP/IP详解 - 第21章·TCP的超时与重传》《通俗易懂-深入理解TCP协议上理论基础》《通俗易懂-深入理解TCP协议下RTT、滑动窗口、拥塞处理》《理论经典TCP协议的3次握手与4次挥手过程详解》《理论联系实际Wireshark抓包分析TCP 3次握手、4次挥手过程》《计算机网络通讯协议关系图中文珍藏版》《高性能网络编程(一)单台服务器并发TCP连接数到底可以有多少》《高性能网络编程(二)上一个10年著名的C10K并发连接问题》《高性能网络编程(三)下一个10年是时候考虑C10M并发问题了》《高性能网络编程(四)从C10K到C10M高性能网络应用的理论探索》《简述传输层协议TCP和UDP的区别》《为什么QQ用的是UDP协议而不是TCP协议》《移动端即时通讯协议选择UDP还是TCP》5、内容概述
5.1五层模型
互联网的实现分成好几层。每一层都有自己的功能就像建筑物一样每一层都靠下一层支持。用户接触到的只是最上面的一层根本没有感觉到下面的层。要理解互联网必须从最下层开始自下而上理解每一层的功能。如何分层有不同的模型有的模型分七层有的分四层。我觉得把互联网分成五层比较容易解释 如上图所示最底下的一层叫做实体层/物理层Physical Layer最上面的一层叫做应用层Application Layer中间的三层自下而上分别是链路层Link Layer、网络层Network Layer和传输层Transport Layer。越下面的层越靠近硬件越上面的层越靠近用户。 它们叫什么名字其实并不重要。只需要知道互联网分成若干层就可以了。 5.2层与协议
每一层都是为了完成一种功能。为了实现这些功能就需要大家都遵守共同的规则。大家都遵守的规则就叫做协议protocol。 互联网的每一层都定义了很多协议。这些协议的总称就叫做互联网协议Internet Protocol Suite。它们是互联网的核心下面介绍每一层的功能主要就是介绍每一层的主要协议。 6.实体层
我们从最底下的一层开始。 电脑要组网第一件事要干什么当然是先把电脑连起来可以用光缆、电缆、双绞线、无线电波等方式。
这就叫做实体层它就是把电脑连接起来的物理手段。它主要规定了网络的一些电气特性作用是负责传送0和1的电信号。 7.链接层
7.1定义
单纯的0和1没有任何意义必须规定解读方式多少个电信号算一组每个信号位有何意义 这就是链接层的功能它在实体层的上方确定了0和1的分组方式。 7.2 以太网协议
早期的时候每家公司都有自己的电信号分组方式。逐渐地一种叫做以太网Ethernet的协议占据了主导地位。 以太网规定一组电信号构成一个数据包叫做帧Frame。每一帧分成两个部分标头Head和数据Data。 标头包含数据包的一些说明项比如发送者、接受者、数据类型等等数据则是数据包的具体内容。 标头的长度固定为14字节。数据的长度最短为46字节最长为1500字节。因此整个帧最短为64字节最长为1518字节。如果数据很长就必须分割成多个帧进行发送。 7.3MAC地址
上面提到以太网数据包的标头包含了发送者和接受者的信息。那么发送者和接受者是如何标识呢 以太网规定连入网络的所有设备都必须具有网卡接口。数据包必须是从一块网卡传送到另一块网卡。网卡的地址就是数据包的发送地址和接收地址这叫做MAC地址。
每块网卡出厂的时候都有一个全世界独一无二的MAC地址长度是48个二进制位通常用12个十六进制数表示。 前6个十六进制数是厂商编号后6个是该厂商的网卡流水号。有了MAC地址就可以定位网卡和数据包的路径了。 7.4广播
定义地址只是第一步后面还有更多的步骤
1首先一块网卡怎么会知道另一块网卡的MAC地址 回答是有一种ARP协议可以解决这个问题。这个留到后面介绍这里只需要知道以太网数据包必须知道接收方的MAC地址然后才能发送。2其次就算有了MAC地址系统怎样才能把数据包准确送到接收方 回答是以太网采用了一种很原始的方式它不是把数据包准确送到接收方而是向本网络内所有计算机发送让每台计算机自己判断是否为接收方。上图中1号计算机向2号计算机发送一个数据包同一个子网络的3号、4号、5号计算机都会收到这个包。它们读取这个包的标头找到接收方的MAC地址然后与自身的MAC地址相比较如果两者相同就接受这个包做进一步处理否则就丢弃这个包。这种发送方式就叫做广播broadcasting。 有了数据包的定义、网卡的MAC地址、广播的发送方式链接层就可以在多台计算机之间传送数据了。 8网络层
8.1网络层的由来
以太网协议依靠MAC地址发送数据。理论上单单依靠MAC地址上海的网卡就可以找到洛杉矶的网卡了技术上是可以实现的。 但是这样做有一个重大的缺点。以太网采用广播方式发送数据包所有成员人手一包不仅效率低而且局限在发送者所在的子网络。也就是说如果两台计算机不在同一个子网络广播是传不过去的。这种设计是合理的否则互联网上每一台计算机都会收到所有包那会引起灾难。 互联网是无数子网络共同组成的一个巨型网络很像想象上海和洛杉矶的电脑会在同一个子网络这几乎是不可能的。 因此必须找到一种方法能够区分哪些MAC地址属于同一个子网络哪些不是。如果是同一个子网络就采用广播方式发送否则就采用路由方式发送。路由的意思就是指如何向不同的子网络分发数据包这是一个很大的主题本文不涉及。遗憾的是MAC地址本身无法做到这一点。它只与厂商有关与所处网络无关。这就导致了网络层的诞生。它的作用是引进一套新的地址使得我们能够区分不同的计算机是否属于同一个子网络。这套地址就叫做网络地址简称网址。 于是网络层出现以后每台计算机有了两种地址一种是MAC地址另一种是网络地址。两种地址之间没有任何联系MAC地址是绑定在网卡上的网络地址则是管理员分配的它们只是随机组合在一起。 网络地址帮助我们确定计算机所在的子网络MAC地址则将数据包送到该子网络中的目标网卡。因此从逻辑上可以推断必定是先处理网络地址然后再处理MAC地址。
8.2 IP协议
规定网络地址的协议叫做IP协议。它所定义的地址就被称为IP地址。目前广泛采用的是IP协议第四版简称IPv4。IPv4这个版本规定网络地址由32个二进制位组成 习惯上我们用分成四段的十进制数表示IP地址从0.0.0.0一直到255.255.255.255。 互联网上的每一台计算机都会分配到一个IP地址。这个地址分成两个部分前一部分代表网络后一部分代表主机。比如IP地址172.16.254.1这是一个32位的地址假定它的网络部分是前24位172.16.254那么主机部分就是后8位最后的那个1。处于同一个子网络的电脑它们IP地址的网络部分必定是相同的也就是说172.16.254.2应该与172.16.254.1处在同一个子网络。 但是问题在于单单从IP地址我们无法判断网络部分。还是以172.16.254.1为例它的网络部分到底是前24位还是前16位甚至前28位从IP地址上是看不出来的。 那么怎样才能从IP地址判断两台计算机是否属于同一个子网络呢这就要用到另一个参数子网掩码subnet mask。所谓子网掩码就是表示子网络特征的一个参数。它在形式上等同于IP地址也是一个32位二进制数字它的网络部分全部为1主机部分全部为0。比如IP地址172.16.254.1如果已知网络部分是前24位主机部分是后8位那么子网络掩码就是11111111.11111111.11111111.00000000写成十进制就是255.255.255.0。 知道子网掩码我们就能判断任意两个IP地址是否处在同一个子网络。方法是将两个IP地址与子网掩码分别进行AND运算两个数位都为1运算结果为1否则为0然后比较结果是否相同如果是的话就表明它们在同一个子网络中否则就不是。 比如已知IP地址172.16.254.1和172.16.254.233的子网掩码都是255.255.255.0请问它们是否在同一个子网络两者与子网掩码分别进行AND运算结果都是172.16.254.0因此它们在同一个子网络。总结一下IP协议的作用主要有两个一个是为每一台计算机分配IP地址另一个是确定哪些地址在同一个子网络。
8.3 IP数据包
根据IP协议发送的数据就叫做IP数据包。不难想象其中必定包括IP地址信息。但是前面说过以太网数据包只包含MAC地址并没有IP地址的栏位。那么是否需要修改数据定义再添加一个栏位呢 回答是不需要我们可以把IP数据包直接放进以太网数据包的数据部分因此完全不用修改以太网的规格。这就是互联网分层结构的好处上层的变动完全不涉及下层的结构。具体来说IP数据包也分为标头和数据两个部分 标头部分主要包括版本、长度、IP地址等信息数据部分则是IP数据包的具体内容。它放进以太网数据包后以太网数据包就变成了下面这样 IP数据包的标头部分的长度为20到60字节整个数据包的总长度最大为65,535字节。因此理论上一个IP数据包的数据部分最长为65,515字节。前面说过以太网数据包的数据部分最长只有1500字节。因此如果IP数据包超过了1500字节它就需要分割成几个以太网数据包分开发送了。
8.4ARP协议
关于网络层还有最后一点需要说明。因为IP数据包是放在以太网数据包里发送的所以我们必须同时知道两个地址一个是对方的MAC地址另一个是对方的IP地址。通常情况下对方的IP地址是已知的后文会解释但是我们不知道它的MAC地址。所以我们需要一种机制能够从IP地址得到MAC地址。这里又可以分成两种情况
1第一种情况如果两台主机不在同一个子网络那么事实上没有办法得到对方的MAC地址只能把数据包传送到两个子网络连接处的网关gateway让网关去处理2第二种情况如果两台主机在同一个子网络那么我们可以用ARP协议得到对方的MAC地址。ARP协议也是发出一个数据包包含在以太网数据包中其中包含它所要查询主机的IP地址在对方的MAC地址这一栏填的是FF:FF:FF:FF:FF:FF表示这是一个广播地址。它所在子网络的每一台主机都会收到这个数据包从中取出IP地址与自身的IP地址进行比较。如果两者相同都做出回复向对方报告自己的MAC地址否则就丢弃这个包。
总之有了ARP协议之后我们就可以得到同一个子网络内的主机MAC地址可以把数据包发送到任意一台主机之上了。 9、传输层
9.1传输层的由来
有了MAC地址和IP地址我们已经可以在互联网上任意两台主机上建立通信。 接下来的问题是同一台主机上有许多程序都需要用到网络比如你一边浏览网页一边与朋友在线聊天。当一个数据包从互联网上发来的时候你怎么知道它是表示网页的内容还是表示在线聊天的内容 也就是说我们还需要一个参数表示这个数据包到底供哪个程序进程使用。这个参数就叫做端口port它其实是每一个使用网卡的程序的编号。每个数据包都发到主机的特定端口所以不同的程序就能取到自己所需要的数据。 端口是0到65535之间的一个整数正好16个二进制位。0到1023的端口被系统占用用户只能选用大于1023的端口。不管是浏览网页还是在线聊天应用程序会随机选用一个端口然后与服务器的相应端口联系。 传输层的功能就是建立端口到端口的通信。相比之下网络层的功能是建立主机到主机的通信。只要确定主机和端口我们就能实现程序之间的交流。因此Unix系统就把主机端口叫做套接字socket。有了它就可以进行网络应用程序开发了。
9.2UDP协议
现在我们必须在数据包中加入端口信息这就需要新的协议。最简单的实现叫做UDP协议它的格式几乎就是在数据前面加上端口号。UDP数据包也是由标头和数据两部分组成 标头部分主要定义了发出端口和接收端口数据部分就是具体的内容。然后把整个UDP数据包放入IP数据包的数据部分而前面说过IP数据包又是放在以太网数据包之中的所以整个以太网数据包现在变成了下面这样 UDP数据包非常简单标头部分一共只有8个字节总长度不超过65,535字节正好放进一个IP数据包。
9.3TCP协议
UDP协议的优点是比较简单容易实现但是缺点是可靠性较差一旦数据包发出无法知道对方是否收到。为了解决这个问题提高网络可靠性TCP协议就诞生了。这个协议非常复杂但可以近似认为它就是有确认机制的UDP协议每发出一个数据包都要求确认。如果有一个数据包遗失就收不到确认发出方就知道有必要重发这个数据包了。 因此TCP协议能够确保数据不会遗失。它的缺点是过程复杂、实现困难、消耗较多的资源。 TCP数据包和UDP数据包一样都是内嵌在IP数据包的数据部分。TCP数据包没有长度限制理论上可以无限长但是为了保证网络的效率通常TCP数据包的长度不会超过IP数据包的长度以确保单个TCP数据包不必再分割。 10、应用层
应用程序收到传输层的数据接下来就要进行解读。由于互联网是开放架构数据来源五花八门必须事先规定好格式否则根本无法解读。应用层的作用就是规定应用程序的数据格式。 举例来说TCP协议可以为各种各样的程序传递数据比如Email、WWW、FTP等等。那么必须有不同协议规定电子邮件、网页、FTP数据的格式这些应用程序协议就构成了应用层。这是最高的一层直接面对用户。它的数据就放在TCP数据包的数据部分。因此现在的以太网的数据包就变成下面这样
11、本文小结
至此整个互联网的五层结构自下而上全部讲完了。这是从系统的角度解释互联网是如何构成的。下一篇《网络编程懒人入门(二)快速理解网络通信协议下篇》我反过来从用户的角度自上而下看看这个结构是如何发挥作用完成一次网络数据交换的。敬请期待
