关注我的微信公众号：后端技术漫谈
不定期推送关于后端开发、爬虫、算法题、数据结构方面的原创技术文章，以及生活中的逸闻趣事。
我目前是一名后端开发工程师。主要关注后端开发，数据安全，网络爬虫，物联网，边缘计算等方向。
原创博客主要内容
TIM截图20190218204943.png
本文快速回顾了计算机网络书本中常考的的知识点，用作面试复习，事半功倍。
主要内容有：计算机网络体系结构，TCP与UDP，UDP/TCP实现DEMO代码
计算机网络体系结构
在这里插入图片描述
1. 五层协议
数据报->分组->帧->比特流
2. 七层协议
其中表示层和会话层用途如下：
五层协议没有表示层和会话层，而是将这些功能留给应用程序开发者处理。
3. 数据在各层之间的传递过程
在向下的过程中，需要添加下层协议所需要的首部或者尾部，而在向上的过程中不断拆开首部和尾部。
路由器只有下面三层协议，因为路由器位于网络核心中，不需要为进程或者应用程序提供服务，因此也就不需要运输层和应用层。
4. TCP/IP
它只有四层，相当于五层协议中数据链路层和物理层合并为网络接口层。
现在的 TCP/IP 体系结构不严格遵循 OSI 分层概念,应用层可能会直接使用 IP 层或者网络接口层
TCP/IP 协议族是一种沙漏形状，中间小两边大，IP 协议在其中占用举足轻重的地位。
在这里插入图片描述
知识点偏通信理论的多一些，可以放在后面复习
TCP与UDP的特点
用户数据报协议 UDP（User Datagram Protocol）：无连接的，尽最大可能交付，没有拥塞控制，面向报文
对于应用程序传下来的报文不合并也不拆分，只是添加 UDP 首部，支持一对一、一对多、多对一和多对多的交互通信。
传输控制协议 TCP（Transmission Control Protocol）是有连接的，提供可靠交付，有流量控制，拥塞控制，面向字节流
把应用层传下来的报文看成字节流，把字节流组织成大小不等的数据块，每一条 TCP连接只能是点对点的（一对一）。
总结（TCP和UDP的区别）：
1）TCP提供面向连接的传输；UDP提供无连接的传输
2）TCP提供可靠的传输（有序，无差错，不丢失，不重复）；UDP提供不可靠的传输。
3）TCP面向字节流的传输，因此它能将信息分割成组，并在接收端将其重组；UDP是面向数据报的传输，没有分组开销。
4）TCP提供拥塞控制和流量控制机制；UDP不提供拥塞控制和流量控制机制。
5）TCP只能是点对点的（一对一）。UDP支持一对一、一对多、多对一和多对多的交互通信。
首部格式
UDP
在这里插入图片描述
首部字段只有 8 个字节，包括源端口、目的端口、长度、检验和。12 字节的伪首部是为了计算检验和临时添加的。
TCP
在这里插入图片描述
TCP拆包粘包
如果客户端连续不断的向服务端发送数据包时，服务端接收的数据会出现两个数据包粘在一起的情况。
分包机制一般有两个通用的解决方法：
1,特殊字符控制
2,在包头首都添加数据包的长度
如果使用netty的话，就有专门的编码器和解码器解决拆包和粘包问题了。
tips:
UDP没有粘包问题，但是有丢包和乱序。不完整的包是不会有的，收到的都是完全正确的包。传送的数据单位协议是UDP报文或用户数据报，发送的时候既不合并，也不拆分。
三次握手四次挥手：
https://blog.csdn.net/qzcsu/article/details/72861891
三次握手
（1）第一步：源主机A的TCP向主机B发出连接请求报文段，其首部中的SYN(同步)标志位应置为1，表示想与目标主机B进行通信，**并发送一个同步序列号X(例：SEQ=100)进行同步，表明在后面传送数据时的第一个数据字节的序号是X＋1（即101）**。SYN同步报文会指明客户端使用的端口以及TCP连接的初始序号。 （2）第二步：目标主机B的TCP收到连接请求报文段后，如同意，则发回确认。在确认报中应将ACK位和SYN位置1，表示客户端的请求被接受。确认号应为X＋1(图中为101)，同时也为自己选择一个序号Y。 （3）第三步：源主机A的TCP收到目标主机B的确认后要向目标主机B给出确认，其ACK置1，确认号为Y＋1，而自己的序号为X＋1。**TCP的标准规定，SYN置1的报文段要消耗掉一个序号。** 运行客户进程的源主机A的TCP通知上层应用进程，连接已经建立。当源主机A向目标主机B发送第一个数据报文段时，**其序号仍为X＋1，因为前一个确认报文段并不消耗序号。** 当运行服务进程的目标主机B的TCP收到源主机A的确认后，也通知其上层应用进程，连接已经建立。至此建立了一个全双工的连接。
在这里插入图片描述
三次握手的原因
如果采用的是三次握手，就算是那一次失效的报文传送过来了，服务端接受到了那条失效报文并且回复了确认报文，但是客户端不会再次发出确认。由于服务器收不到确认，就知道客户端并没有请求连接。
如果使用的是两次握手建立连接，假设有这样一种场景，客户端发送了第一个请求连接并且没有丢失，只是因为在网络结点中滞留的时间太长了，由于TCP的客户端迟迟没有收到确认报文，以为服务器没有收到，此时重新向服务器发送这条报文，此后客户端和服务器经过两次握手完成连接，传输数据，然后关闭连接。此时此前滞留的那一次请求连接，网络通畅了到达了服务器，这个报文本该是失效的，但是，两次握手的机制将会让客户端和服务器再次建立连接，这将导致不必要的错误和资源的浪费。
四次挥手
在这里插入图片描述
等待 2MSL（最长报文段寿命） 的原因
书中解释:
在这里插入图片描述
TCP采用四次挥手关闭连接如图所示为什么建立连接协议是三次握手，而关闭连接却是四次握手呢？
建立连接的时候， 服务器在LISTEN状态下，收到建立连接请求的SYN报文后，把ACK和SYN放在一个报文里发送给客户端。
而关闭连接时，服务器收到对方的FIN报文时，仅仅表示对方不再发送数据了但是还能接收数据，而自己也未必全部数据都发送给对方了，所以己方可以立即关闭，也可以发送一些数据给对方后，再发送FIN报文给对方来表示同意现在关闭连接，因此，己方ACK和FIN一般都会分开发送，从而导致多了一次。
如果已经建立了连接，但是客户端突然出现故障了怎么办？
TCP还设有一个保活计时器，显然，客户端如果出现故障，服务器不能一直等下去，白白浪费资源。服务器每收到一次客户端的请求后都会重新复位这个计时器，时间通常是设置为2小时，若两小时还没有收到客户端的任何数据，服务器就会发送一个探测报文段，以后每隔75分钟发送一次。若一连发送10个探测报文仍然没反应，服务器就认为客户端出了故障，接着就关闭连接。
Time-wait状态好处和坏处
好处
上方所述两点
坏处
高并发下，端口都处在timewait很快就用完端口。
解决方法：
http://blog.chinaunix.net/xmlrpc.php?r=blog/article&uid=28541347&id=5748888
什么情况下会出现RST包
看这篇就够了：https://blog.csdn.net/eric0318/article/details/51113018
TCP 滑动窗口
在这里插入图片描述
窗口是缓存的一部分，用来暂时存放字节流。
发送方和接收方各有一个窗口，接收方通过 TCP 报文段中的窗口字段告诉发送方自己的窗口大小，发送方根据这个值和其它信息设置自己的窗口大小。
发送窗口内的字节都允许被发送，接收窗口内的字节都允许被接收。
接收窗口只会对窗口内最后一个按序到达的字节进行确认，例如接收窗口已经收到的字节为 {31, 34, 35}，其中 {31} 按序到达，而 {32, 33} 就不是，因此只对字节 31 进行确认。发送方得到一个字节的确认之后，就知道这个字节之前的所有字节都已经被接收。
TCP 可靠传输（超时重传）
TCP 使用超时重传来实现可靠传输：如果一个已经发送的报文段在超时时间内没有收到确认，那么就重传这个报文段。
一个报文段从发送再到接收到确认所经过的时间称为往返时间 RTT，加权平均往返时间 RTTs 计算如下：
image
超时时间 RTO 应该略大于 RTTs，TCP 使用的超时时间计算如下：
image
其中 RTTd 为偏差。
TCP 流量控制
流量控制是为了控制发送方发送速率，保证接收方来得及接收。
接收方发送的确认报文中的窗口字段可以用来控制发送方窗口大小，从而影响发送方的发送速率。将窗口字段设置为 0，则发送方不能发送数据。
TCP 拥塞控制
在这里插入图片描述
在这里插入图片描述
发送方需要维护一个叫做拥塞窗口（cwnd）的状态变量，注意拥塞窗口与发送方窗口的区别：拥塞窗口只是一个状态变量，实际决定发送方能发送多少数据的是发送方窗口。
为了便于讨论，做如下假设：
1. 慢开始与拥塞避免
发送的最初执行慢开始，令 cwnd=1，发送方只能发送 1 个报文段；当收到确认后，将 cwnd 加倍，因此之后发送方能够发送的报文段数量为：2、4、8 …
注意到慢开始每个轮次都将 cwnd 加倍，这样会让 cwnd 增长速度非常快，从而使得发送方发送的速度增长速度过快，网络拥塞的可能也就更高。设置一个慢开始门限 ssthresh，当 cwnd >= ssthresh 时，进入拥塞避免，每个轮次只将 cwnd 加 1。
如果出现了超时，则令 ssthresh = cwnd/2，然后重新执行慢开始。
2. 快重传与快恢复
在接收方，要求每次接收到报文段都应该发送对已收到有序报文段的确认，例如已经接收到 M1 和 M2，此时收到 M4，应当发送对 M2 的确认。
快重传
在发送方，如果收到三个重复确认，那么可以确认下一个报文段丢失，例如收到三个 M2 ，则 M3 丢失。此时执行快重传，立即重传下一个报文段。
快恢复
在快重传情况下，只是丢失个别报文段，而不是网络拥塞，因此执行快恢复，令 ssthresh = cwnd/2 ，cwnd = ssthresh，注意到此时直接进入拥塞避免。
慢开始和快恢复的快慢指的是 cwnd 的设定值，而不是 cwnd 的增长速率。慢开始 cwnd 设定为 1，而快恢复 cwnd 设定为 ssthresh。
UDP/TCP代码DEMO
经典：https://blog.csdn.net/column/details/socket.html
TCP：https://blog.csdn.net/ns_code/article/details/14105457
UDP：https://blog.csdn.net/ns_code/article/details/14128987
TCP
TCP连接的建立步骤
客户端向服务器端发送连接请求后，就被动地等待服务器的响应。典型的TCP客户端要经过下面三步操作：
服务端的工作是建立一个通信终端，并被动地等待客户端的连接。典型的TCP服务端执行如下两步操作：
Demo
ServerDemo.java
/**
* sinture.com Inc.
* Copyright (c) 2016-2018 All Rights Reserved.
*/
package test.socketDemo.TCP;
import java.io.IOException;
import java.net.ServerSocket;
import java.net.Socket;
/**
* @author yzd
* @version Id: ServerDemo.java, v 0.1 2018年07月10日 12:36 yzd Exp $
*/
public class ServerDemo {
public static void main(String[] args) throws IOException {
// 服务端在20006端口监听客户端请求的TCP连接
ServerSocket server = new ServerSocket(20000);
Socket client = null;
boolean f = true;
while(f){
// 等待客户端的连接，如果没有获取连接
client = server.accept();
System.out.println("与客户端连接成功！");
// 为每个客户端连接开启一个线程
new Thread(new ServerThread(client)).start();
}
}
}
ServerThread.java
/**
* sinture.com Inc.
* Copyright (c) 2016-2018 All Rights Reserved.
*/
package test.socketDemo.TCP;
import java.io.BufferedReader;
import java.io.IOException;
import java.io.InputStreamReader;
import java.io.PrintStream;
import java.net.Socket;
/**
* @author yzd
* @version Id: ServerThread.java, v 0.1 2018年07月10日 13:41 yzd Exp $
*/
public class ServerThread implements Runnable {
private Socket client = null;
public ServerThread(Socket client){
this.client = client;
}
@Override
public void run() {
try{
//获取Socket的输出流，用来向客户端发送数据
PrintStream out = new PrintStream(client.getOutputStream());
//获取Socket的输入流，用来接收从客户端发送过来的数据
BufferedReader buf = new BufferedReader(new InputStreamReader(client.getInputStream()));
boolean flag = true;
while (flag){
//接收从客户端发送过来的数据
String str = buf.readLine();
if(str == null || "".equals(str)){
flag = false;
}else {
if("bye".equals(str)){
flag = false;
}else{
//将接收到的字符串前面加上echo，发送到对应的客户端
out.println("echo:" + str);
}
}
}
out.close();
client.close();
} catch (IOException e) {
e.printStackTrace();
}
}
}
ClientDemo.java
/**
* sinture.com Inc.
* Copyright (c) 2016-2018 All Rights Reserved.
*/
package test.socketDemo.TCP;
import java.io.BufferedReader;
import java.io.IOException;
import java.io.InputStreamReader;
import java.io.PrintStream;
import java.net.Socket;
import java.net.SocketTimeoutException;
/**
* @author yzd
* @version Id: ClientDemo.java, v 0.1 2018年07月10日 14:05 yzd Exp $
*/
public class ClientDemo {
public static void main(String[] args) throws IOException {
//客户端请求与本机在20006端口建立TCP连接
Socket client = new Socket("127.0.0.1", 20000);
client.setSoTimeout(10000);
//获取键盘输入
BufferedReader input = new BufferedReader(new InputStreamReader(System.in));
//获取Socket的输出流，用来发送数据到服务端
PrintStream out = new PrintStream(client.getOutputStream());
//获取Socket的输入流，用来接收从服务端发送过来的数据
BufferedReader buf = new BufferedReader(new InputStreamReader(client.getInputStream()));
boolean flag = true;
while(flag){
System.out.print("输入信息：");
String str = input.readLine();
//发送数据到服务端
out.println(str);
if("bye".equals(str)){
flag = false;
}else{
try{
//从服务器端接收数据有个时间限制（系统自设，也可以自己设置），超过了这个时间，便会抛出该异常
String echo = buf.readLine();
System.out.println(echo);
}catch(SocketTimeoutException e){
System.out.println("Time out, No response");
}
}
}
input.close();
if(client != null){
//如果构造函数建立起了连接，则关闭套接字，如果没有建立起连接，自然不用关闭
client.close(); //只关闭socket，其关联的输入输出流也会被关闭
}
}
}
UDP
UDP的通信建立的步骤
客户端要经过下面三步操作：
UDP服务端要经过下面三步操作：
Demo
这里有一点需要注意：
UDP程序在receive()方法处阻塞，直到收到一个数据报文或等待超时。由于UDP协议是不可靠协议，如果数据报在传输过程中发生丢失，那么程序将会一直阻塞在receive()方法处，这样客户端将永远都接收不到服务器端发送回来的数据，但是又没有任何提示。为了避免这个问题，我们在客户端使用DatagramSocket类的setSoTimeout()方法来制定receive()方法的最长阻塞时间，并指定重发数据报的次数，如果每次阻塞都超时，并且重发次数达到了设置的上限，则关闭客户端。
ClientDemo.java
/**
* sinture.com Inc.
* Copyright (c) 2016-2018 All Rights Reserved.
*/
package test.socketDemo.UDP;
import java.io.IOException;
import java.io.InterruptedIOException;
import java.net.DatagramPacket;
import java.net.DatagramSocket;
import java.net.InetAddress;
/**
* @author yzd
* @version Id: ClientDemo.java, v 0.1 2018年07月10日 14:46 yzd Exp $
*/
public class ClientDemo {
public static final int TIMEOUT = 5000;
public static final int MAXNUM = 5;
public static void main(String[] args) throws IOException {
String str_send = "Hello UDPServer";
byte[] buf = new byte[1024];
//客户端在9000端口监听接收到的数据
DatagramSocket ds = new DatagramSocket(9000);
InetAddress loc = InetAddress.getLocalHost();
//定义用来发送数据的DatagramPacket实例
DatagramPacket dp_send= new DatagramPacket(str_send.getBytes(),str_send.length(),loc,3000);
//定义用来接收数据的DatagramPacket实例
DatagramPacket dp_receive = new DatagramPacket(buf, 1024);
//数据发向本地3000端口
ds.setSoTimeout(TIMEOUT); //设置接收数据时阻塞的最长时间
int tries = 0; //重发数据的次数
boolean receivedResponse = false; //是否接收到数据的标志位
//直到接收到数据，或者重发次数达到预定值，则退出循环
while(!receivedResponse && triesServerDemo.java
/**
* sinture.com Inc.
* Copyright (c) 2016-2018 All Rights Reserved.
*/
package test.socketDemo.UDP;
import java.io.IOException;
import java.net.DatagramPacket;
import java.net.DatagramSocket;
/**
* @author yzd
* @version Id: ServerDemo.java, v 0.1 2018年07月10日 15:12 yzd Exp $
*/
public class ServerDemo {
public static void main(String[] args) throws IOException {
String str_send = "Hello UDPclient";
byte[] buf = new byte[1024];
//服务端在3000端口监听接收到的数据
DatagramSocket ds = new DatagramSocket(3000);
//接收从客户端发送过来的数据
DatagramPacket dp_receive = new DatagramPacket(buf, 1024);
System.out.println("Server is on，Waiting for client to send data......");
boolean f = true;
while(f){
//服务器端接收来自客户端的数据
ds.receive(dp_receive);
System.out.println("Server received data from client：");
String str_receive = new String(dp_receive.getData(),0,dp_receive.getLength()) +
" from " + dp_receive.getAddress().getHostAddress() + ":" + dp_receive.getPort();
System.out.println(str_receive);
//数据发动到客户端的3000端口
DatagramPacket dp_send= new DatagramPacket(str_send.getBytes(),str_send.length(),dp_receive.getAddress(),9000);
ds.send(dp_send);
System.out.println("Server send message succeed.");
//由于dp_receive在接收了数据之后，其内部消息长度值会变为实际接收的消息的字节数，
//所以这里要将dp_receive的内部消息长度重新置为1024
dp_receive.setLength(1024);
}
ds.close();
}
}
应用层
浏览器从输入URL地址到最终显示内容的过程
DNS查找对应ip过程
首先查找浏览器自身的DNS缓存，如果有这个域名映射且没过期（TTL）则直接向该IP发送HTTP请求，否则下一步
查找本地操作系统hosts缓存，如果有且没过期，拿出来使用完成DNS解析，否则下一步
查找本地DNS域名服务器，
如果不可以由该服务器解析，则把请求发至根域名服务器，解析该域名是由谁来授权管理，返回顶级域名服务器的IP地址
本地DNS服务器联系顶级域名服务器。
顶级域名服务器如果无法解析，则找下一级DNS服务器，并把IP发给本地DNS服务器。
以此类推，在DNS域名解析的过程中，使用UDP协议进行不可靠传输，不需要三次握手，传输需要的内容较少，使用UDP更快。
在网页开发过程中尽量减少对DNS域名的解析，天猫，淘宝等使用进行dns延迟缓存
https://www.cnblogs.com/sjm19910902/p/6423181.html
HTTP请求过程
- 建立TCP连接
- 发送请求 一旦建立了TCP连接，Web浏览器就会向Web服务器发送请求命令。例如：GET/sample/hello.jsp HTTP/1.1。
- 发送请求头信息 浏览器发送其请求命令之后，还要以头信息的形式向Web服务器发送一些别的信息，之后浏览器发送了一空白行来通知服务器，它已经结束了该头信息的发送。
- 服务器应答 客户机向服务器发出请求后，服务器会客户机回送应答， HTTP/1.1 200 OK ，应答的第一部分是协议的版本号和应答状态码。
- 服务器发送应答头信息 正如客户端会随同请求发送关于自身的信息一样，服务器也会随同应答向用户发送关于它自己的数据及被请求的文档。
- 服务器向浏览器发送数据 Web服务器向浏览器发送头信息后，它会发送一个空白行来表示头信息的发送到此为结束，接着，它就以Content-Type应答头信息所描述的格式发送用户所请求的实际数据。
*7. Web服务器关闭TCP连接
一般情况下，一旦Web服务器向浏览器发送了请求数据，它就要关闭TCP连接，然后如果浏览器或者服务器在其头信息加入了这行代码：Connection:keep-alive TCP连接在发送后将仍然保持打开状态，于是，浏览器可以继续通过相同的连接发送请求。保持连接节省了为每个请求建立新连接所需的时间，还节约了网络带宽。
如果是第一次访问请求该网址
浏览器发送HTTP请求，请求头包括：
- 请求方法（Request Method）
- 协议版本
- 客户端信息（User-Agent）
- connect
- 请求内容等
- host
如果顺利访问：客户端返回200状态码
返回信息包括：
- 返回内容
- expires设置缓存过期时间
- contentType返回内容类型
- contentLength
- status
- Etage该缓存的版本号
- contentEncoding
- Date
- cache-control
- set-cookie设置本域名下浏览器的cookie
- lastModified
如果是第二次
浏览器则发出http请求时
- 带上cookie发送
- if-Modified-since（匹配前一次请求时返回的last-modified）
- if-None-match(匹配前一次请求时返回的Etag)
- 如果资源没有被修改则返回304状态码。
但是如果前一次请求浏览器设置expires，则浏览器首先会检查缓存中的资源，如果在设置的expires时间之内则不会再次发送请求。
lastModified代表服务器最后修改时间，精确到秒。expires资源过期时间，精确到秒。Etag则代表资源的版本号，每次修改资源Etag就会变。不同资源的Etag不同。
如果正确访问
浏览器根据返回content-type，解析服务器返回的数据
- 浏览器解析html文件时，每次遇到frame、img、link、javascript都会重新发送一个http请求
- javascript下载完后就会立即执行阻塞浏览器的渲染以及绘制。
- 所以一般js链接放在最后，但是很多浏览器都会优先下载js文件和css文件，所以如果js没有对dom操作，尽量defer延迟加载js文件。
- css在文档头，防止因为css样式改变导致浏览器多次重绘或者回流，是页面闪动卡顿。
js和css尽量使用外链形式，减少DOM结构的长度和复杂度，减少浏览器解析html文件的时间。
dom节点尽量别深度嵌套，css少使用多层选择器。
页面减少http请求的个数，多个图片使用图片dataURI编码或则图片精灵进行合并、css文件压缩合并、js文件压缩合并。配置localhost之后就不会走dns了
-----正文结束-----
本文参考
https://github.com/CyC2018/CS-Notes/
https://github.com/linw7/Skill-Tree/blob/master/%E8%AE%A1%E7%AE%97%E6%9C%BA%E7%BD%91%E7%BB%9C.md
https://www.jianshu.com/p/674fb7ec1e2c
有删减，修改，补充额外增加内容
本作品采用知识共享署名-非商业性使用 4.0 国际许可协议进行许可。
关注我
我是一名后端开发工程师。主要关注后端开发，数据安全，网络爬虫，物联网，边缘计算等方向，欢迎交流。
各大平台都可以找到我
- Github：@qqxx6661
- CSDN：@Rude3Knife
- 知乎：@Zhendong
- 简书：@蛮三刀把刀
- 掘金：@蛮三刀把刀
原创博客主要内容
- Java知识点复习全手册
- Leetcode算法题解析
- 剑指offer算法题解析
- SpringBoot菜鸟入门实战系列
- SpringCloud菜鸟入门实战系列
- 爬虫相关技术文章
- 后端开发相关技术文章
- 逸闻趣事/好书分享/个人兴趣
个人公众号：后端技术漫谈
如果文章对你有帮助，不妨收藏起来并转发给您的朋友们~
页面更新：2024-02-29
本站资料均由网友自行发布提供，仅用于学习交流。如有版权问题，请与我联系，QQ：4156828
© CopyRight 2020-2024 All Rights Reserved. Powered By 71396.com 闽ICP备11008920号-4
闽公网安备35020302034903号
