深圳做网站什么公司好,广州电商小程序开发,创建全国文明城市倡议书,百度快照举报网站前言#xff1a;Linux内核是由林纳斯托瓦兹#xff08;Linus Torvalds#xff09;在1991年开始开发的。当时他为了得到一个可以运行UNIX操作系统的个人计算机#xff0c;开始编写一个操作系统内核#xff0c;并将其命名为Linux。随后#xff0c;越来越多的开发者加入到项…前言Linux内核是由林纳斯·托瓦兹Linus Torvalds在1991年开始开发的。当时他为了得到一个可以运行UNIX操作系统的个人计算机开始编写一个操作系统内核并将其命名为Linux。随后越来越多的开发者加入到项目中共同完善和扩展Linux内核。如今Linux已经成为最流行和广泛使用的开源操作系统内核之一驱动着许多不同类型的设备和服务器。
一Linux内核简述
Linux内核是一个操作系统OS内核本质上定义为类Unix。它用于不同的操作系统主要是以不同的Linux发行版的形式。Linux内核是第一个真正完整且突出的免费和开源软件示例。Linux 内核是第一个真正完整且突出的免费和开源软件示例促使其广泛采用并得到了数千名开发人员的贡献。
Linux 内核由芬兰赫尔辛基大学的学生 Linus Torvalds 于 1991 年创建。随着程序员调整其他自由软件项目的源代码以扩展内核的功能它迅速取得了进展。Torvalds 首先使用 80386 汇编语言编写的任务切换器以及终端驱动程序然后将其发布到 Comp.os.minix Usenet 组。它很快被 Mini社区所改编为该项目提供了见解和代码。
Linux 内核越来越受欢迎因为 GNU 自己的内核 GNU Hurd 不可用且不完整而 Berkeley Software DistribuTIonBSD操作系统仍然受到法律问题的困扰。在开发人员社区的帮助下Linux 0.01 于 1991 年 9 月 17 日发布。
精品文章推荐
C/C发展方向强烈推荐
深入探索Linux内核了解内核源代码结构与组织
Linux C/C开发上线项目后端、音视频、存储、QT
2023年C/C高性能技术知识大整理进阶到大神级别
2023年音视频开发知识技术合集基础入门到高级进阶
想知道什么是 Linux 内核上真正的不是那种时髦的创新吗
在科技行业创新这个词几乎和革命一样到处泛滥所以很难将那些夸张的东西与真正令人振奋的东西区分开来。Linux 内核被称为创新但它又被称为现代计算中最大的奇迹一个微观世界中的庞然大物。
撇开营销和模式不谈Linux 可以说是开源世界中最受欢迎的内核它在近 30 年的生命时光当中引入了一些真正的规则改变者。
Cgroups2.6.24
早在 2007 年Paul Menage 和 Rohit Seth 就在内核中添加了深奥的控制组cgroups功能cgroups 的当前实现是由 Tejun Heo 重写的。这种新技术最初被用作一种方法从本质上来说是为了确保一组特定任务的服务质量。
例如你可以为与你的 WEB 服务相关联的所有任务创建一个控制组定义cgroup为例行备份创建另一个 cgroup 再为一般操作系统需求创建另一个 cgroup。然后你可以控制每个组的资源百分比这样你的操作系统和 WEB 服务就可以获得大部分系统资源而你的备份进程可以访问剩余的资源。
然而cgroups 如今变得这么著名是因其作为驱动云技术的角色容器。事实上cgroups 最初被命名为进程容器。当它们被 LXC、CoreOS 和 Docker 等项目采用时这并不奇怪。
就像闸门打开后一样“容器” 一词就像成为了 Linux 的同义词一样微服务风格的基于云的“应用”概念很快成为了规范。如今已经很难摆脱 cgroups 了它们是如此普遍。每一个大规模的基础设施如果你运行 Linux 的话可能还有你的笔记本电脑都以一种合理的方式使用了 cgroups这使得你的计算体验比以往任何时候都更加易于管理和灵活。
例如你可能已经在电脑上安装了 Flathub 或 Flatpak或者你已经在工作中使用 Kubernetes 和/或 OpenShift。不管怎样如果“容器”这个术语对你来说仍然模糊不清则可以 通过 Linux 容器从背后获得对容器的实际理解。
LKMM4.17
2018 年Jade Alglave、Alan Stern、Andrea Parri、Luc Maranget、Paul McKenney 以及其他几个人的辛勤工作的成果被合并到主线 Linux 内核中以提供正式的内存模型。Linux 内核内存[一致性]模型LKMM子系统是一套描述 Linux 内存一致性模型的工具同时也产生用于测试的用例特别命名为 klitmus。
随着系统在物理设计上变得越来越复杂增加了更多的中央处理器内核高速缓存和内存增长等等)它们就越难知道哪个中央处理器需要哪个地址空间以及何时需要。例如如果 CPU0 需要将数据写入内存中的共享变量并且 CPU1 需要读取该值那么 CPU0 必须在 CPU1 尝试读取之前写入。类似地如果值是以一种顺序方式写入内存的那么期望它们也以同样的顺序被读取而不管哪个或哪些 CPU 正在读取。
即使在单个处理器上内存管理也需要特定的任务顺序。像 x y 这样的简单操作需要处理器从内存中加载 y 的值然后将该值存储在 x 中。在处理器从内存中读取值之前是不能将存储在 y 中的值放入 x 变量的。此外还有地址依赖x[n] 6 要求在处理器能够存储值 6 之前加载 n。
LKMM 可以帮助识别和跟踪代码中的这些内存模式。它部分是通过一个名为 herd 的工具来实现的该工具以逻辑公式的形式定义了内存模型施加的约束然后列举了与这些约束一致性的所有可能的结果。
低延迟补丁2.6.38
很久以前在 2011 年之前如果你想在 Linux 上进行多媒体工作你必须得有一个低延迟内核。这主要适用于录音时添加了许多实时效果如对着麦克风唱歌和添加混音以及在耳机中无延迟地听到你的声音。有些发行版如 Ubuntu Studio可靠地提供了这样一个内核所以实际上这没有什么障碍这只不过是当艺术家选择发行版时的一个重要提醒。
然而如果你没有使用 Ubuntu Studio或者你需要在你的发行版提供之前更新你的内核你必须跳转到 rt-patches 网页下载内核补丁将它们应用到你的内核源代码编译然后手动安装。
后来随着内核版本 2.6.38 的发布这个过程结束了。Linux 内核突然像变魔术一样默认内置了低延迟代码根据基准测试延迟至少降低了 10 倍)。不再需要下载补丁不用编译。一切都很顺利这都是因为 Mike Galbraith 编写了一个 200 行的小补丁。
对于全世界的开源多媒体艺术家来说这是一个规则改变者。从 2011 年开始事情变得如此美好到 2016 年我自己做了一个挑战在树莓派 v1型号 B上建造一个数字音频工作站DAW结果发现它运行得出奇地好。
RCU2.5
RCU即 读-拷贝-更新(Read-Copy-Update)是计算机科学中定义的一个系统它允许多个处理器线程从共享内存中读取数据。它通过延迟更新但也将它们标记为已更新来做到这一点以确保数据读取为最新内容。实际上这意味着读取与更新同时发生。
典型的 RCU 循环有点像这样
删除指向数据的指针以防止其他读操作引用它。等待读操作完成它们的关键处理。回收内存空间。
将更新阶段划分为删除和回收阶段意味着更新程序会立即执行删除同时推迟回收直到所有活动读取完成通过阻止它们或注册一个回调以便在完成时调用。
虽然 RCU 的概念不是为 Linux 内核发明的但它在 Linux 中的实现是该技术的一个定义性的例子。
对于 Linux 内核创新的问题的最终答案永远是协作。你可以说这是一个好时机也可以称之为技术优势称之为黑客能力或者仅仅称之为开源但 Linux 内核及其支持的许多项目是协作与合作的光辉范例。
它远远超出了内核范畴。各行各业的人都对开源做出了贡献可以说都是因为 Linux 内核。Linux 曾经是现在仍然是自由软件的主要力量激励人们把他们的代码、艺术、想法或者仅仅是他们自己带到一个全球化的、有生产力的、多样化的人类社区中。
你最喜欢的创新是什么
这个列表偏向于我自己的兴趣容器、非统一内存访问NUMA和多媒体。无疑列表中肯定缺少你最喜欢的内核创新。在评论中告诉我。
1.1内核在操作系统中的位置
为了更具象地理解内核不妨将Linux计算机想象成有三层结构
硬件物理机这是系统的底层结构或基础是由内存RAM、处理器或 CPU以及输入/输出I/O设备例如存储、网络和图形组成的。其中CPU 负责执行计算和内存的读写操作。
Linux 内核操作系统的核心。没错内核正处于核心的位置它是驻留在内存中的软件用于告诉 CPU 要执行哪些操作。
用户进程这些是内核所管理的运行程序。用户进程共同构成了用户空间。用户进程有时也简称为进程。内核还允许这些进程和服务器彼此进行通信称为进程间通信或 IPC。
系统执行的代码在CPU上以以下两种模式之一运行:内核模式或用户模式。运行在内核态的代码可以不受限制地访问硬件而用户态会限制SCI对CPU和内存的访问。内存也有类似的分离(内核空间和用户空间)。这两个小细节构成了一些复杂操作的基础比如安全保护构建容器和虚拟机的权限分离。
这也意味着如果进程在用户模式下失败损失是有限且无害的并且可以由内核修复。另一方面由于内核进程要访问内存和处理器内核进程的崩溃可能会导致整个系统的崩溃。因为用户进程之间会有适当的保护措施和权限要求所以一个进程的崩溃通常不会造成太多问题。
此外由于Linux内核在实时补丁期间可以连续工作因此在应用补丁进行安全修复时不会出现宕机。
1.2Linux 内核的作用是什么
内容有以下四项作用
内存管理追踪记录有多少内存存储了什么以及存储在哪里进程管理确定哪些进程可以使用中央处理器CPU、何时使用以及持续多长时间设备驱动程序充当硬件与进程之间的调解程序/解释程序系统调用和安全防护从流程接受服务请求
正确实现时内核对用户是不可见的它在自己的小世界(称为内核空间)中工作从中分配内存跟踪所有内容的存储位置。用户看到的东西(比如Web浏览器和文件)叫做用户空间。这些应用程序通过系统调用接口(SCI)与内核交互。
可以这样理解:内核就像一个忙碌的私人助理为高管(硬件)服务。助理的工作是将员工和公众(用户)的信息和请求(流程)传递给高管记住存储的内容和位置(内存)并确定谁可以在任何给定的时间访问高管以及会议时间有多长。
1.3学习Linux内核准备工作
熟悉C语言这个是最基本的
了解编译连接过程如果写过ld、lcf类的链接文件最好这样就能理解类似percpu变量的实现方法
学过或者自学过计算机组成原理或者微机原理知道smp、cpu、cache、ram、hdd、bus的概念明白中断、dma、寄存器这样才能理解所谓的上下文context、barrier是什么
Linux内核的特点结合了unix操作系统的一些基础概念 Linux内核的任务
1.从技术层面讲内核是硬件与软件之间的一个中间层。作用是将应用层序的请求传递给硬件并充当底层驱动程序对系统中的各种设备和组件进行寻址。
2.从应用程序的层面讲应用程序与硬件没有联系只与内核有联系内核是应用程序知道的层次中的最底层。在实际工作中内核抽象了相关细节。
3.内核是一个资源管理程序。负责将可用的共享资源(CPU时间、磁盘空间、网络连接等)分配得到各个系统进程。
4.内核就像一个库提供了一组面向系统的命令。系统调用对于应用程序来说就像调用普通函数一样。
内核实现策略
1.微内核。最基本的功能由中央内核微内核实现。所有其他的功能都委托给一些独立进程这些进程通过明确定义的通信接口与中心内核通信。
2.宏内核。内核的所有代码包括子系统如内存管理、文件管理、设备驱动程序都打包到一个文件中。内核中的每一个函数都可以访问到内核中所有其他部分。目前支持模块的动态装卸(裁剪)。Linux内核就是基于这个策略实现的。
哪些地方用到了内核机制
1.进程在cpu的虚拟内存中分配地址空间各个进程的地址空间完全独立;同时执行的进程数最多不超过cpu数目之间进行通 信需要使用特定的内核机制。
2.进程间切换(同时执行的进程数最多不超过cpu数目)也需要用到内核机制。进程切换也需要像FreeRTOS任务切换一样保存状态并将进程置于闲置状态/恢复状态。
3.进程的调度。确认哪个进程运行多长的时间。
Linux进程
1.采用层次结构每个进程都依赖于一个父进程。内核启动init程序作为第一个进程。该进程负责进一步的系统初始化操作。init进程是进程树的根所有的进程都直接或者间接起源于该进程。
2.通过pstree命令查询。实际上得系统第一个进程是systemd而不是init这也是疑问点
3.系统中每一个进程都有一个唯一标识符(ID),用户或其他进程可以使用ID来访问进程。
1.4Linux内核源代码的目录结构
Linux内核源代码包括三个主要部分
内核核心代码包括第3章所描述的各个子系统和子模块以及其它的支撑子系统例如电源管理、Linux初始化等
其它非核心代码例如库文件因为Linux内核是一个自包含的内核即内核不依赖其它的任何软件自己就可以编译通过、固件集合、KVM虚拟机技术等
编译脚本、配置文件、帮助文档、版权说明等辅助性文件使用ls命令看到的内核源代码的顶层目录结构具体描述如下。include/ ---- 内核头文件需要提供给外部模块例如用户空间代码使用。 kernel/ ---- Linux内核的核心代码包含了3.2小节所描述的进程调度子系统以及和进程调度相关的模块。
mm/ ---- 内存管理子系统3.3小节。
fs/ ---- VFS子系统3.4小节。
net/ ---- 不包括网络设备驱动的网络子系统3.5小节。
ipc/ ---- IPC进程间通信子系统。
arch// ---- 体系结构相关的代码例如arm, x86等等。
arch//mach- ---- 具体的machine/board相关的代码。
arch//include/asm ---- 体系结构相关的头文件。
arch//boot/dts ---- 设备树Device Tree文件。
init/ ---- Linux系统启动初始化相关的代码。
block/ ---- 提供块设备的层次。
sound/ ---- 音频相关的驱动及子系统可以看作“音频子系统”。
drivers/ ---- 设备驱动在Linux kernel 3.10中设备驱动占了49.4的代码量。
lib/ ---- 实现需要在内核中使用的库函数例如CRC、FIFO、list、MD5等。
crypto/ ----- 加密、解密相关的库函数。
security/ ---- 提供安全特性SELinux。
virt/ ---- 提供虚拟机技术KVM等的支持。
usr/ ---- 用于生成initramfs的代码。
firmware/ ---- 保存用于驱动第三方设备的固件。
samples/ ---- 一些示例代码。
tools/ ---- 一些常用工具如性能剖析、自测试等。
Kconfig, Kbuild, Makefile, scripts/ ---- 用于内核编译的配置文件、脚本等。
COPYING ---- 版权声明。
MAINTAINERS ----维护者名单。
CREDITS ---- Linux主要的贡献者名单。
REPORTING-BUGS ---- Bug上报的指南。
Documentation, README ---- 帮助、说明文档。二、为什么要学习 Linux 内核
大部分程序员可能永远没有机会开发Linux内核或者驱动Linux那么我们为什么还需要学习Linux内核呢Linux的源代码和架构都是开放的我们可以学到很多操作系统的概念和实现原理。Linux的设计哲学体系继承了UNIX现在整个设计体系相当稳定和简化这是大部分服务器使用Linux的重要原因。
那学习Linux内核的原因就在于此。
进一步了解内核的原理有助于你更好地使用命令和程序设计让你的面试和开发更上一层楼。但是不建议直接看源代码因为Linux代码太大容易丢失。
而最好的办法是先了解一下Linux内核机制知道基本的原理与流程。
不过Linux内核机制也非常复杂而且其中互相关联。 比如说进程运行要分配内存内存映射涉及文件的关联文件的读写需要经过块设备从文件中加载代码才能运行起来进程。这些知识点要反复对照才能理清。
但是一旦攻克你会发现Linux这个复杂的系统开始透明起来。
三、如何学习Linux内核
内核的知识就像下面的绳结一样一环扣一环我们要解开它们就必须要先找到线头也就是内核中的函数接口。初学阶段我们一般不深入的研究内核代码会使用内核的接口函数就不错了。
下面提供了如何学习这些内核函数的方法就像解绳子一样
1系统调用接口
SCI 层提供了某些机制执行从用户空间到内核的函数调用。正如前面讨论的一样这个接口依赖于体系结构甚至在相同的处理器家族内也是如此。SCI 实际上是一个非常有用的函数调用多路复用和多路分解服务。在 ./linux/kernel 中您可以找到 SCI 的实现并在 ./linux/arch 中找到依赖于体系结构的部分。
2操作系统原理
操作系统英语Operating System缩写OS是一组主管并控制计算机操作、运用和运行硬件、软件资源和提供公共服务来组织用户交互的相互关联的系统软件程序。根据运行的环境操作系统可以分为桌面操作系统手机操作系统服务器操作系统嵌入式操作系统等。
程序员必知的计算机网络的166个核心概念揭秘计算机408学习法助你轻松成为计算机大神零基础也能学会轻松入门Linux操作系统深入剖析计算机底层原理打开技术的大门解锁你对Linux内核的疑惑让你成为一个更好的程序员
3内存管理专题
内核管理的另一个重要资源是内存。为了提高效率如果虚拟内存由硬件管理那么内存就按照所谓的内存分页法(大多数架构是4KB)来管理。Linux包括管理可用内存的方式和用于物理和虚拟映射的硬件机制。但是内存管理需要管理4KB以上的缓冲区。Linux提供了4KB缓冲区的抽象比如slab分配器。这种内存管理模式以4KB缓冲区为基数然后从中分配结构并跟踪内存页面的使用情况比如哪些页面已满哪些页面未完全使用哪些页面为空。这允许该模式根据系统需求动态调整内存使用。为了支持多个用户使用内存有时会耗尽可用内存。因此可以将页面移出内存放入磁盘。这个过程称为交换因为页面是从内存交换到硬盘的。内存管理的源代码可以在/linux/mm。
深入理解 glibc malloc内存分配器实现原理深入理解内存映射加速文件访问的神奇原理Linux内核内存检测工具KASAN优化Linux内核性能探索页表缓存的作用与原理解决内存碎片问题优化你的应用程序性能解密内存OOM错误探索处理超出内存限制的策略深入了解页面回收技术提升资源利用率内存映射mmap高效读写数据的利器避免内存泄漏陷阱优化你的动态内存分配深入解析Linux内存管理探索三大分配器深入理解内存映射加速文件访问的神奇原理一文搞懂Linux内核内存常见分配方式深入解析内核数据结构链表和红黑树案例分析Linux内存映射mmap源码解析万字详解C内存池提高内存分配效率的利器面向未来理解ARM处理器的新一代技术深入理解Linux内核内存管理机制与实现Linux内核之旅揭秘关键的数据结构设计深入理解C内存管理指针、引用和内存分配提高代码质量避免内存泄漏深入探索Valgrind工具深入理解内存管理优化你的C代码深入理解Linux内核task_struct结构内存分配不再神秘深入剖析malloc函数实现原理与机制超硬核基于mmap和零拷贝实现高效的内存共享Linux内存性能优化总结让你的系统更加高效打破常规Linux内核新的数据结构上场maple tree最佳实践如何在Linux中优化虚拟内存管理探索Linux内核内存伙伴算法优化系统性能的关键技术高速网络的未来解析零拷贝Zero-Copy架构深度剖析Linux内核同步机制实现高效可靠的并发编程轻松突破文件IO瓶颈内存映射mmap技术解密Linux内核神器内存屏障的秘密功效与应用方法
4进程管理专题
进程管理的重点是流程的实施。在内核中这些进程称为线程代表单个处理器虚拟化(线程代码、数据、堆栈和CPU寄存器)。在用户空间中通常使用术语进程但是Linux实现没有区分这两个概念(进程和线程)。内核SCI提供了一个应用程序编程接口(API)来创建一个新的进程(forkexec或可移植操作系统接口[POSIX]函数)停止进程(killexit)并进行通信和同步(signal或POSIX机制)。
进程管理还包括处理活动进程之间共享CPU的需求。内核实现了新的调度算法无论多少个线程争夺CPU都可以在固定的时间内运行。这种算法被称为O(1) scheduler这意味着它调度多个线程所用的时间与调度一个线程所用的时间相同。O(1)调度器也可以支持多处理器(称为对称多处理器或SMP)。您可以在中找到流程管理的源代码。/linux/kernel以及。/linux/arch。 深入剖析Linux系统调用原理与实现机制
深入理解Linux进程原理及实现机制Linux内核CFS调度器实现高效多任务处理深入理解Linux内核进程CPU负载均衡机制深入理解Linux内核进程的创建、调度和终止高效利用CPU缓存一致性优化技巧与策略分析
5网络协议栈专题
协议栈英语Protocol stack又称协议堆叠是计算机网络协议套件的一个具体的软件实现。协议套件中的一个协议通常是只为一个目的而设计的这样可以使得设计更容易。因为每个协议模块通常都要和其他两个通信它们通常可以想象成是协议栈中的层。最低级的协议总是描述与硬件的物理交互。每个高级的层次增加更多的特性。用户应用程序只是处理最上层的协议。使用最广泛的是英特网协议栈由上到下的协议分别是应用层HTTPTELNETDNSEMAIL等运输层TCPUDP网络层IP链路层WI-FI以太网令牌环FDDI等物理层。
在实际中协议栈通常分为三个主要部分媒体传输和应用。一个特定的操作系统或平台往往有两个定义良好的软件接口一个在媒体层与传输层之间另一个在传输层和应用程序之间。
媒体到传输接口定义了传输协议的软件怎样使用特定的媒体和硬件“驱动程序”。例如此接口定义的TCP/IP传输软件怎么与以太网硬件对话。这些接口的例子包括Windows和DOS环境下的ODI和NDIS。
应用到传输接口定义了应用程序如何利用传输层。例如此接口定义一个网页浏览器程序怎样和TCP/IP传输软件对话。这些接口的例子包括Unix世界中的伯克利套接字和微软的Winsock。
高效网络通信技术揭秘Socket原理与实践解密异步IO使用C进行高效的网络编程剖析Linux网络包接收过程掌握数据如何被捕获和分发的全过程网络通信的核心机制Socket如何实现高效数据传输深入理解epoll高效I/O多路复用的核心技术从零开始学习 Linux 内核套接字掌握网络编程的必备技能
6设备驱动专题
设备驱动程序是一种计算机程序用于操作或控制连接到计算机的特定类型的设备。驱动程序提供了通往硬件设备的软件接口从而使操作系统和其他计算机程序可以访问硬件功能而无需知道有关所使用硬件的确切细节。
驱动程序通过硬件连接到的计算机总线或通信子系统与设备进行通信。当调用程序调用驱动程序中的例程时驱动程序向设备发出命令。设备将数据发送回驱动程序后驱动程序可以调用原始调用程序中的例程。驱动程序依赖于硬件且特定于操作系统。它们通常提供任何必要的异步时间相关的硬件接口所需的中断处理。
深入理解Linux内核I/O机制探索文件系统与设备驱动
7文件系统
虚拟文件系统(VFS)是Linux内核的一个非常有用的方面因为它为文件系统提供了一个通用的接口抽象。VFS在SCI和内核支持的文件系统之间提供了一个交换层。
Linux内核文件系统比万物之神还要强大的存储魔法
8网络堆栈 网络堆栈的设计遵循模拟协议本身的分层架构。回想一下互联网协议(IP)是传输协议(通常称为传输控制协议或TCP)下的核心网络层协议。TCP是上面的套接字层通过SCI调用。套接字层是网络子系统的标准API它为各种网络协议提供了一个用户接口。从原始帧访问到IP协议数据单元(PDU)再到TCP和用户数据报协议(UDP)套接字层提供了一种标准化的方式来管理连接并在各种端点之间移动数据。内核网络源代码可以在。/linux/net。
9设备驱动程序
Linux内核很多代码都在设备驱动里可以运行特定的硬件设备。Linux源码树提供了一个驱动子目录该子目录又进一步划分为各种支持设备如蓝牙、I2C、串口等。设备驱动程序的代码可以在。/Linux/驱动程序。
10依赖体系结构的代码
虽然Linux很大程度上独立于运行的架构但为了正常运行和实现更高的效率一些元素必须考虑架构。的。/linux/arch子目录定义了内核源代码中依赖于架构的部分其中包含了各种特定于架构的子目录(它们共同构成了BSP)。对于典型的桌面系统使用x86目录。每个架构子目录包含许多其他子目录每个子目录专注于内核的特定方面如引导、内核、内存管理等。这些依赖于架构的代码可以在。/linux/arch。
如果Linux内核的可移植性和效率不够好的话Linux还提供了一些其他的特性不能归入以上几类。作为生产操作系统和开源软件Linux是测试新协议及其增强的良好平台。Linux支持大量的网络协议包括典型的TCP/IP以及高速网络的扩展(大于1千兆以太网[GbE]和10 GbE)。Linux还可以支持诸如流控制传输协议(SCTP)之类的协议它提供了比TCP更高级的特性(它是传输层协议的继承者)。Linux也是一个动态内核支持动态添加或删除软件组件。它们被称为可动态加载的内核模块可以由用户根据需要在引导时插入(目前一个特定的设备需要这个模块)也可以在任何时候插入。Linux的最新增强是可以作为其他操作系统使用的操作系统(称为hypervisor)。最近内核被修改并被称为基于内核的虚拟机(KVM)。这一修改为用户空间启用了一个新的接口允许其他操作系统在启用KVM的内核上运行。除了运行Linux的其他实例Microsoft Windows也可以虚拟化。唯一的限制是底层处理器必须支持新的虚拟化指令。
11依赖体系结构的代码
虽然Linux很大程度上独立于运行的架构但为了正常运行和实现更高的效率一些元素必须考虑架构。的。/linux/arch子目录定义了内核源代码中依赖于架构的部分其中包含了各种特定于架构的子目录(它们共同构成了BSP)。对于典型的桌面系统使用x86目录。每个架构子目录包含许多其他子目录每个子目录专注于内核的特定方面如引导、内核、内存管理等。这些依赖于架构的代码可以在。/linux/arch。
如果Linux内核的可移植性和效率不够好的话Linux还提供了一些其他的特性不能归入以上几类。作为生产操作系统和开源软件Linux是测试新协议及其增强的良好平台。Linux支持大量的网络协议包括典型的TCP/IP以及高速网络的扩展(大于1千兆以太网[GbE]和10 GbE)。Linux还可以支持诸如流控制传输协议(SCTP)之类的协议它提供了比TCP更高级的特性(它是传输层协议的继承者)。Linux也是一个动态内核支持动态添加或删除软件组件。它们被称为可动态加载的内核模块可以由用户根据需要在引导时插入(目前一个特定的设备需要这个模块)也可以在任何时候插入。Linux的最新增强是可以作为其他操作系统使用的操作系统(称为hypervisor)。最近内核被修改并被称为基于内核的虚拟机(KVM)。这一修改为用户空间启用了一个新的接口允许其他操作系统在启用KVM的内核上运行。除了运行Linux的其他实例Microsoft Windows也可以虚拟化。唯一的限制是底层处理器必须支持新的虚拟化指令。
12面试题/经验
奇安信C开发面经问的很奇怪CVTE嵌入式技术面一轮面试就凉了大疆嵌入式一面面经太难了答不上来嵌入式系统面试必问65道道道都很经典嵌入式软件面试经验从三个方面入手嵌入式Linux面试必考30题道道都很简单万字攻略社招腾讯天美C后台面经面试题整理社招offer-腾讯T9-70W年薪面试经验分享秋招简历项目这样写offer拿到手软C方向秋招面试题总结1000道常问的后端面试题精选6个C项目推荐新人练手首选
13内核书籍
《深入了解Linux内核》《Linux就该这么学》《Linux内核完全注释V3.0书签版》《Linux命令行大全 - 绍茨 (william E.shotts)》《Linux命令速查手册》《Linux性能优化大师》《Linux环境编程从应用到内核》《Linux集群和自动化运维 余洪春》《Linux驱动程序开发实例(第2版)》《Linux高级程序设计(第3版)》《构建高可用Linux服务器(第4版)》
四、怎么阅读源码
Linux庞大而复杂其核心包括进程管理、内存管理、网络、文件系统和arch-entity2 驱动这些都依赖于内核提供的各种库和接口、各种内核机制以及arch下可能对应的汇编。没有这些基础要流畅的阅读代码就有点困难了。
Linux的代码量很大而且是在gcc的基础上开发的针对各种场景做了大量的优化。所以第二件事就是要熟悉gcc下C的扩展用法要有一个好的代码查看工具。推荐源洞察。
内核运行在特定的硬件平台上所以对于底层涉及的部分有不同的arch实现包括大量的汇编操作所以以arm为例。如果想研究内核相应部分的代码就必须多读熟悉arm的官方文档。
而且代码和资料基本都是英文的一般词汇和专业词汇都有所以英语基础好很重要。这个没有捷径就是多读书当然也有积累的方法后面会讲到。
每个模块都有很多细节。可能你年轻的时候记性好吧。你开发一个模块的时候都读了好几遍了所有的细节都不是很清楚。可能3、5年后再看就很难记住了所以需要想办法形成积累。否则可能会忘记看辛苦又低效。
内核编程有自己的风格和一些公认的规则尤其是命名、排版、代码文件分类等。有些可能不符合规则也可能很好但如果大家都这样用那自然就是所谓的艺术了熟悉这些艺术有助于举一反三的学习其他模块的代码。
内核的代码量与日俱增模块也越来越复杂所以可维护性对于内核来说也是非常重要的。所以在如何更有利于以后的维护上做了很多努力。内核是操作系统的核心部分其稳定性和性能自然非常重要。它用了很多技巧来应对。研究这些积累起来有利于进一步理解其原理。
边看代码边写注释和笔记。看了多少模块就注释多少模块慢慢形成一个积累。这样的方式有什么好处呢
记录你看代码过程中不熟悉或者不清晰的地方或者你看明白了但是怕忘记的地方这样等你下次再来看你能很快回忆起来且不断刺激你的记忆神经能让你记忆的更牢固。
记录内核中用法的好处或者有疑问的地方这样你再次来看的话可能会有新的体会能在之前看代码的基础上形成一个不断积累的过程理解会更加深刻。
当你将内核代码模块看的越来越多时你会越看越轻松当然是不是也会惊讶一下。轻松的是这个模块我看过用法我熟悉惊讶的是这个我虽然看过好多次理解竟然有点不对。反反复复不断进行下去。
查看代码的工具
我这里推荐是source insight, 我一直用的3.5版本的。这里主要提几点技巧。
3.5里面默认只支持一部分文件格式那么比如makefile是不支持的arm汇编是不支持的shell好像也是不支持的所以这一部分的支持要自己添加。
内核里面用了大量的宏以及一些gnu c的扩展关键字这些需要在source insight里面添加 上这样你同步代码就不会有一些不认识的情况当然除了source insight本身的一些bug外。
source insight自建快捷键以及扩展功能这些网上也有很多好的可以参考能提高效率。
Kprobes应用实例分析从源码到调试方法全面解读高效调试与分析利用ftrace进行Linux内核追踪深入了解KUnitLinux内核新一代单元测试工具深入了解Linux内核跟踪ftrace基础教程通过Ftrace实现高效、精确的内核调试与分析看懂GDB调试核心剖析ptrace原理及其应用场景探索eBPFLinux内核的黑科技掌握GDB调试工具轻松排除bug程序员性能之道从使用perf开始
五、Linux内核体系
5.1Linux内核体系结构简析简析 顶部是用户(或应用程序)空间。这是用户应用程序执行的地方。用户空间下面是内核空间Linux内核就位于这里。GNU C库(glibc)也在这里。它为内核提供了一个系统调用接口也为用户空间应用程序和内核之间的转换提供了一个机制。这非常重要因为内核和用户空间应用程序使用不同的受保护地址空间。每个用户空间进程使用自己的虚拟地址空间而内核占用一个单独的地址空间。
Linux内核可以进一步分为3层。最上面是系统调用接口实现一些基本功能比如读写。系统调用接口下面是内核代码可以更准确的定义为独立于架构的内核代码。这些代码对于Linux支持的所有处理器架构都是通用的。在这些代码下面是依赖于架构的代码它构成了通常称为BSP(板支持包)的部分。这些代码用作给定架构的处理器和平台特定代码。
Linux内核实现了许多重要的架构属性。在更高或更低的层次上内核被分成几个子系统。Linux也可以看做一个整体因为它会把这些基础服务都集成到内核中。这与微内核的架构不同微内核提供一些基本的服务比如通信、I/O、内存、进程管理等。更具体的服务被插入到微内核层中。每个内核都有自己的优点但这里不讨论这个。
随着时间的推移Linux内核在内存和CPU使用上的效率很高非常稳定。但对于Linux来说最有意思的是在这个规模和复杂度的前提下它仍然具有良好的可移植性。经过编译后Linux可以在大量具有不同架构约束和要求的处理器和平台上运行。例如Linux可以运行在带有内存管理单元(MMU)的处理器上也可以运行在不提供MMU的处理器上。linux内核的UClinux移植提供了对非MMU的支持。 Linux内核的主要组件有系统调用接口、进程管理、内存管理、虚拟文件系统、网络堆栈、设备驱动程序、硬件架构的相关代码。
5.2内核模块
如果Windows已经安装了所有可用的驱动程序而您只需要打开所需的驱动程序怎么办?这本质上就是内核模块为Linux所做的。内核模块也称为可加载内核模块(LKM)对于保持内核在不消耗所有可用内存的情况下与所有硬件一起工作是必不可少的。
模块通常向基本内核添加诸如设备、文件系统和系统调用等功能。lkm的文件扩展名是。ko它通常存储在/lib/modules目录中。由于模块的特性您可以通过在启动时使用menuconfig命令将模块设置为加载或不加载或者通过编辑/boot/config文件或者使用modprobe命令动态加载和卸载模块来轻松定制内核。第三方和封闭源代码模块在某些发行版中可用如Ubuntu默认情况下可能不会安装因为这些模块的源代码不可用。该软件的开发商(即nVidia、ATI等。)不提供源代码而是自己搭建模块编译所需。用于分发的ko文件。虽然这些模块像啤酒一样是免费的但它们不像语音一样是免费的所以它们没有包含在一些发行版中因为维护者认为它通过提供非自由软件来“污染”内核。内核并不神奇但对于任何一台正常的电脑都是必不可少的。Linux内核不同于OS X和Windows因为它包含内核级驱动程序并使许多东西“开箱即用”。我希望你能更多地了解软件和硬件是如何配合工作的以及启动电脑所需的文件。
六、学习Linux内核
学习linux内核不像学习语言。一个月或者三月就能掌握C或者java。学习linux内核需要循序渐进掌握正确的linux内核学习路线非常重要。本文将分享一些学习linux内核的建议。
很多同学接触Linux不多对Linux平台的开发更是一无所知。而现在的趋势越来越表明作为一 个优秀的软件开发人员或计算机IT行业从业人员掌握Linux是一种很重要的谋生资源与手段。下来我将会结合自己的几年的个人开发经验及对 Linux更是类UNIX系统及开源软件文化谈谈Linux的学习方法与学习中应该注意的一些事。
就如同刚才说的很多同学以前可能连Linux是什么都不知道对UNIX更是一无所知。所以我们从最基础的讲起对于Linux及UNIX的历史我们不做多谈直接进入入门的学习。
Linux入门是很简单的问题是你是否有耐心是否爱折腾是否不排斥重装一类的大修。没折腾可以说是学不好Linux的鸟哥说过要真正了解Linux的分区机制对LVM使用相当熟练没有20次以上的Linux装机经验是积累不起来的所以一定不要怕折腾。
由于大家之前都使用Windows所以我也尽可能照顾这些“菜鸟”。我的推荐如果你第一次接触Linux那么首先在虚拟机中尝试它。虚拟机我推荐Virtual Box我并不主张使用VM原因是VM是闭源的并且是收费的我不希望推动盗版。当然如果你的Money足够多可以尝试VM但我要说的是即使是VM不一定就一定好。付费的软件不一定好。首先Virtual Box很小巧Windows平台下安装包在80MB左右而VM动辄600MB虽然功能强大但资源消耗也多何况你的需求Virtual Box完全能够满足。所以还是自己选。如何使用虚拟机是你的事这个我不教你因为很简单不会的话Google或Baidu都可以英文好的可以直接看官方文档。
现在介绍Linux发行版的知识。正如你所见Linux发行版并非LinuxLinux仅是指操作系统的内核作为科班出生的你不要让我解释我也没时间。
我推荐的发行版如下
UBUNTU适合纯菜鸟追求稳定的官方支持对系统稳定性要求较弱喜欢最新应用相对来说不太喜欢折腾的开发者。
Debian相对UBUNTU难很多的发行版突出特点是稳定与容易使用的包管理系统缺点是企业支持不足为社区开发驱动。
Arch追逐时尚的开发者的首选优点是包更新相当快无缝升级一次安装基本可以一直运作下去没有如UBUNTU那样的版本概念说的专业点叫滚动升级保持你的系统一定是最新的。缺点显然易见不稳定。同时安装配置相对Debian再麻烦点。
Gentoo相对Arch再难点考验使用者的综合水平从系统安装到微调内核编译都亲历亲为是高手及黑客显示自己技术手段按需配置符合自己要求的系统的首选。
Slackware与Gentoo类似
CentOS社区维护的RedHat的复刻版本完全使用RedHat的源码重新编译生成与RedHat的兼容性在理论上来说是最好的。如果你专注于Linux服务器如网络管理架站那么CentOS是你的选择。
LFS终极黑客显摆工具完全从源代码安装编译系统。安装前你得到的只有一份文档你要做的就是照文档你的说明一步步一条条命令一个个软件包的去构建你的Linux完全由你自己控制想要什么就是什么。如果你做出了LFS证明你的Linux功底已经相当不错如果你能拿LFS文档活学活用再将Linux从源代码开始移植到嵌入式系统我敢说中国的企业你可以混的很好。
你得挑一个适合你的系统然后在虚拟机安装它开始使用它。如果你想快速学会Linux我有一个建议就是忘记图形界面不要想图形界面能不能提供你问题的答案而是满世界的去找去问如何用命令行解决你的问题。在这个过程中你最好能将Linux的命令掌握的不错起码常用的命令得知道同时建立了自己的知识库里面是你积累的各项知识。
再下个阶段你需要学习的是Linux平台的C/C开发同时还有Bash脚本编程如果你对Java兴趣很深还有Java。同样建议你抛弃掉图形界面的IDE从VIM开始为什么是VIM而不是Emacs我无意挑起编辑器大战但我觉得VIM适合初学者适合手比较笨脑袋比较慢的开发者。Emacs的键位太多太复杂我很畏惧。然后是GCCMakeEclipseJavaC或者。虽然将C列在了Eclipse中但我并不推荐用IDE开发C因为这不是Linux的文化容易让你忽略一些你应该注意的问题。IDE让你变懒懒得跟猪一样。如果你对程序调试测试工作很感兴趣GDB也得学的很好如果不是GDB也是必修课。这是开发的第一步注意我并没有提过一句Linux系统API的内容这个阶段也不要关心这个。你要做的就是积累经验在Linux平台的开发经验。我推荐的书如下C语言程序设计谭浩强的也可以。C语言白皮书当然更好。C推荐C Primer PlusJava我不喜欢就不推荐了。工具方面推荐VIM的官方手册GCC中文文档GDB中文文档GNU开源软件开发指导电子书汇编语言程序设计让你对库链接内嵌汇编编译器优化选项有初步了解不必深度。
如果你这个阶段过不了就不必往下做了这是底线最基础的基础否则离开不要霍霍Linux开发。不专业的Linux开发者作出的程序是与Linux文化或UNIX文化相背的程序是走不远的不可能像BashVIM这些神品一样。所以做不好干脆离开。
接下来进入Linux系统编程不二选择APUEUNIX环境高级编程一遍一遍的看看10遍都嫌少如果你可以在大学将这本书翻烂里面的内容都实践过有作品你口头表达能力够强你可以在面试时说服所有的考官。可能有点夸张但APUE绝对是圣经一般的读物即使是Windows程序员也从其中汲取养分Google创始人的案头书籍扎尔伯克的床头读物。
这本书看完后你会对Linux系统编程有相当的了解知道Linux与Windows平台间开发的差异在哪它们的优缺点在哪我的总结如下做Windows平台开发很苦微软的系统API总在扩容想使用最新潮最高效的功能最适合当前流行系统的功能你必须时刻学习。Linux不是Linux系统的核心API就100来个记忆力好完全可以背下来。而且经久不变为什么不变因为要同UNIX兼容符合POSIX标准。所以Linux平台的开发大多是专注于底层的或服务器编程。这是其优点当然图形是Linux的软肋但我站在一个开发者的角度我无所谓因为命令行我也可以适应如果有更好的图形界面我就当作恩赐吧。另外Windows闭源系统做了什么你更本不知道永远被微软牵着鼻子跑想想如果微软说Win8不支持QQ那腾讯不得哭死。而Linux完全开源你不喜欢可以自己改只要你技术够。另外Windows虽然使用的人多但使用场合单一专注与桌面。而Linux在各个方面都有发展尤其在云计算服务器软件嵌入式领域企业级应用上有广大前景而且兼容性一流由于支持POSIX可以无缝的运行在UNIX系统之上不管是苹果的Mac还是IBM的AS400系列都是完全支持的。另外Linux的开发环境支持也绝对是一流的不管是C/CJavaBashPythonPHPJavascript。。。。。。就连C#也支持。而微软除Visual Stdio套件以外都不怎么友好不是吗
如果你看完APUE的感触有很多希望验证你的某些想法或经验推荐UNIX程序设计艺术世界顶级黑客将同你分享他的看法。现在是时候做分流了。大体上我分为四个方向网络图形嵌入式设备驱动。
如果选择网络再细分我对其他的不是他熟悉只说服务器软件编写及高性能的并发程序编写吧。相对来说这是网络编程中技术含量最高的也是底层的。需要很多的经验看很多的书做很多的项目。
我的看法是以下面的顺序来看书
APUE再深读 – 尤其是进程线程IPC套接字多核程序设计 - Pthread一定得吃透了你很NBUNIX网络编程 – 卷一卷二TCP/IP网络详解 – 卷一 再看上面两本书时就该看了TCP/IP 网络详解 – 卷二 我觉得看到卷二就差不多了当然卷三看了更好努力争取看了Lighttpd源代码 - 这个服务器也很有名了Nginx源代码 – 相较于ApacheNginx的源码较少如果能看个大致很NB。看源代码主要是要学习里面的套接字编程及并发控制想想都激动。如果你有这些本事可以试着往暴雪投简历为他们写服务器后台想一想全球的魔兽都运行在你的服务器软件上。Linux内核TCP/IP协议栈 – 深入了解TCP/IP的实现
如果你还喜欢驱动程序设计可以看看更底层的协议如链路层的写什么路由器网卡网络设备的驱动及嵌入式系统软件应该也不成问题了。当然一般的网络公司就算百度级别的也该毫不犹豫的雇用你。只是看后面这些书需要时间与经验所以35岁以前办到吧跳槽到给你未来的地方
图形方向我觉得图形方向也是很有前途的以下几个方面
Opengl的工业及游戏开发国外较成熟。影视动画特效如皮克斯也是国外较成熟。GPU计算技术可以应用在浏览器网页渲染上GPU计算资源利用上由于开源的原因有很多的文档程序可以参考。如果能进火狐开发或google做浏览器开发应该会很好 。
嵌入式方向嵌入式方向没说的Linux很重要
掌握多个架构不仅X86的ARM的单片机什么的也必须得懂。硬件不懂我预见你会死在半路上我也想走嵌入式方向但我觉得就学校教授嵌入式的方法我连学电子的那帮学生都竞争不过。奉劝大家一定得懂硬件再去做如果走到嵌入式应用开发只能祝你好运不要碰上像NokiaHp这样的公司否则你会很惨的。
驱动程序设计软件开发周期是很长的硬件不同很快。每个月诞生那么多的新硬件如何让他们在Linux上工作起来这是你的工作。由于Linux的兼容性很好如果不是太低层的驱动基本C语言就可以搞定系统架构的影响不大因为有系统支持你可能做些许更改就可以在ARM上使用PC的硬件了所以做硬件驱动开发不像嵌入式对硬件知识的要求很高。可以从事的方向也很多如家电啊特别是如索尼日立希捷富士康这样的厂子很稀缺的。
内核是IT开发人员的加分项一个计算机系统是一个硬件和软件的共生体它们互相依赖不可分割。计算机的硬件含有外围设备、处理器、内存、硬盘和其他的电子设备组成计算机的发动机。但是没有软件来操作和控制它自身是不能工作的。完成这个控制工作的软件就称为操作系统在Linux的术语中被称为“内核”也可以称为“核心”。Linux内核的主要模块或组件分以下几个部分存储管理、CPU和进程管理、文件系统、设备管理和驱动、网络通信以及系统的初始化引导、系统调用等。
Linux 内核实现了很多重要的体系结构属性。在或高或低的层次上内核被划分为多个子系统。Linux 也可以看作是一个整体因为它会将所有这些基本服务都集成到内核中。这与微内核的体系结构不同后者会提供一些基本的服务例如通信、I/O、内存和进程管理更具体的服务都是插入到微内核层中的。
随着时间的流逝Linux 内核在内存和 CPU 使用方面具有较高的效率并且非常稳定。但是对于 Linux 来说最为有趣的是在这种大小和复杂性的前提下依然具有良好的可移植性。Linux 编译后可在大量处理器和具有不同体系结构约束和需求的平台上运行。一个例子是 Linux 可以在一个具有内存管理单元MMU的处理器上运行也可以在那些不提供MMU的处理器上运行。Linux 内核的uClinux移植提供了对非 MMU 的支持。
在IT行业 如嵌入式开发驱动开发Android开发c开发Java开发如果接触到底层方面 那么 懂得内核会使自己的开发工作产生对应的效益。懂得内核会让自己更加了解底层的原理与开发源码。内核是面试的加分项 内核是走向专家的必经之路 不管你是不是做内核开发内核技术是储备技能开阔视野扩展技术面的不二选择。
转向内核开发嵌入式开发人员需要掌握以下知识
C语言编程C语言是内核开发的主要编程语言需要熟练掌握其语法和编程技巧。操作系统原理需要了解操作系统的基本原理包括进程管理、内存管理、文件系统等。Linux内核需要深入了解Linux内核的架构、模块、驱动程序等。设备驱动开发需要掌握设备驱动的开发流程和技术包括字符设备、块设备、网络设备等。调试技能需要掌握调试技能包括使用调试工具、分析内核崩溃等。硬件知识需要了解硬件的基本原理和操作包括处理器、内存、外设等。开源社区需要了解开源社区的文化和开发流程以便更好地参与内核开发。 本文福利 免费领取C/C 开发学习资料包、技术视频/代码1000道大厂面试题内容包括 C基础网络编程数据库中间件后端开发/音视频开发/Qt开发/游戏开发/Linuxn内核等进阶学习资料和学习路线 ↓↓↓↓↓↓见下面↓↓文章底部点击免费领取↓↓
