<返回更多

从 Linux 源码看 Socket 的阻塞和非阻塞

2021-04-29  今日头条  Linux后端开发
加入收藏
从 Linux 源码看 Socket 的阻塞和非阻塞

 

笔者一直觉得如果能知道从应用到框架再到操作系统的每一处代码,是一件Exciting的事情。

大部分高性能网络框架采用的是非阻塞模式。笔者这次就从linux源码的角度来阐述socket阻塞(block)和非阻塞(non_block)的区别。 本文源码均来自采用Linux-2.6.24内核版本。

TCP 非阻塞 client 端的例子

如果我们要产生一个非阻塞的socket,在C语言中如下代码所示:

从 Linux 源码看 Socket 的阻塞和非阻塞

 

由于网络协议非常复杂,内核里面用到了大量的面向对象的技巧,所以我们从创建连接开始,一步一步追述到最后代码的调用点。

socket 的创建

很明显,内核的第一步应该是通过AF_INET、SOCK_STREAM以及最后一个参数0定位到需要创建一个TCP的socket,如下图绿线所示:

从 Linux 源码看 Socket 的阻塞和非阻塞

 

我们跟踪源码调用

 

从 Linux 源码看 Socket 的阻塞和非阻塞

 

进一步分析__sock_create的代码判断:

从 Linux 源码看 Socket 的阻塞和非阻塞

 

由于family是AF_INET协议,注意在操作系统里面定义了PF_INET等于AF_INET, 内核通过函数指针实现了对pf(net_proto_family)的重载。如下图所示:

从 Linux 源码看 Socket 的阻塞和非阻塞

 

则通过源码可知,由于是AF_INET(PF_INET),所以net_families[PF_INET].create=inet_create(以后我们都用PF_INET表示),即
pf->create = inet_create; 进一步追溯调用:

从 Linux 源码看 Socket 的阻塞和非阻塞

 

上面的代码就是在INET中寻找SOCK_STREAM的过程了 我们再看一下inetsw[SOCK_STREAM]的具体配置:

从 Linux 源码看 Socket 的阻塞和非阻塞

 

这边也用了重载,AF_INET有TCP、UDP以及Raw三种:

从 Linux 源码看 Socket 的阻塞和非阻塞

 

从上述代码,我们可以清楚的发现sock->ops=&inet_stream_ops;

从 Linux 源码看 Socket 的阻塞和非阻塞

 

即sock->ops->recvmsg = sock_common_recvmsg;
同时sock->sk->sk_prot = tcp_prot;

我们再看下tcp_prot中的各个函数重载的定义:

从 Linux 源码看 Socket 的阻塞和非阻塞

 

fcntl控制socket的阻塞非阻塞状态

我们用fcntl修改socket的阻塞非阻塞状态。 事实上: fcntl的作用就是将O_NONBLOCK标志位存储在sock_fd对应的filp结构的f_lags里,如下图所示。

从 Linux 源码看 Socket 的阻塞和非阻塞

 


从 Linux 源码看 Socket 的阻塞和非阻塞

 

追踪setfl代码:

从 Linux 源码看 Socket 的阻塞和非阻塞

 

上图中,由sock_fd在task_struct(进程结构体)->files_struct->fd_array中找到对应的socket的file描述符,再修改file->flags

在调用socket.recv的时候

我们跟踪源码调用:

从 Linux 源码看 Socket 的阻塞和非阻塞

 

由上文可知: sock->ops->recvmsg = sock_common_recvmsg;

值得注意的是,在sock_recmsg中,有对标识O_NONBLOCK的处理

从 Linux 源码看 Socket 的阻塞和非阻塞

 

上述代码中sock关联的file中获取其f_flags,如果flags有O_NONBLOCK标识,那么就设置msg_flags为MSG_DONTWAIT(不等待)。
fcntl与socket就是通过其共同操作File结构关联起来的。

sock_common_recvmsg

从 Linux 源码看 Socket 的阻塞和非阻塞

 

由上文可知: sk->sk_prot->recvmsg 其中sk_prot=tcp_prot,即最终调用的是tcp_prot->tcp_recvmsg,上面的代码可以看出,如果fcntl(O_NONBLOCK)=>MSG_DONTWAIT置位=>(flags & MSG_DONTWAIT)>0, 再结合tcp_recvmsg的函数签名,即如果设置了O_NONBLOCK的话,设置给tcp_recvmsg的nonblock参数>0,关系如下图所示:

从 Linux 源码看 Socket 的阻塞和非阻塞

 

首先我们看下tcp_recvmsg的函数签名:

从 Linux 源码看 Socket 的阻塞和非阻塞

 

显然我们关注焦点在(int nonblock这个参数上):

从 Linux 源码看 Socket 的阻塞和非阻塞

 

上面的逻辑归结起来就是:
(1)在设置了nonblock的时候,如果copied>0,则返回读了多少字节,如果copied=0,则返回-EAGAIN,提示应用重复调用。
(2)如果没有设置nonblock,如果读取的数据>=期望,则返回读取了多少字节。如果没有则用sk_wait_data将当前进程等待。

如下流程图所示:

从 Linux 源码看 Socket 的阻塞和非阻塞

 

sk_wait_data代码-函数为:

从 Linux 源码看 Socket 的阻塞和非阻塞

 

该函数调用schedule_timeout进入睡眠,其进一步调用了schedule函数,首先从运行队列删除,其次加入到等待队列,最后调用和体系结构相关的switch_to宏来完成进程间的切换。


如下图所示:

从 Linux 源码看 Socket 的阻塞和非阻塞

 

情况1:有对应的网络数据到来

首先我们看下网络分组到来的内核路径,网卡发起中断后调用netif_rx将事件挂入CPU的等待队列,并唤起软中断(soft_irq),再通过linux的软中断机制调用net_rx_action,如下图所示:

从 Linux 源码看 Socket 的阻塞和非阻塞

 

:上图来自PLKA(<<深入Linux内核架构>>)


紧接着跟踪next_rx_action

从 Linux 源码看 Socket 的阻塞和非阻塞

 

紧接着tcp_v4_rcv:

从 Linux 源码看 Socket 的阻塞和非阻塞

 

在这里__wake_up_common将停在当前wait_queue_head_t中的进程唤醒,即状态改为task_running,等待CFS调度以进行下一步的动作,如下图所示。

从 Linux 源码看 Socket 的阻塞和非阻塞

 

情况2:设定的超时时间到来

在前面调用sk_wait_event中调用了schedule_timeout

从 Linux 源码看 Socket 的阻塞和非阻塞

 

process_timeout函数即是将此进程重新唤醒

从 Linux 源码看 Socket 的阻塞和非阻塞

 

原文链接:
https://my.oschina.net/alchemystar/blog/1791017

声明:本站部分内容来自互联网,如有版权侵犯或其他问题请与我们联系,我们将立即删除或处理。
▍相关推荐
更多资讯 >>>