使用 GDB + Qemu 调试 Linux 内核

1. 概述 在某些情况下,我们需要对于内核中的流程进行分析,虽然通过 BPF 的技术可以对于函数传入的参数和返回结果进行展示,但是在流程的调试上还是不如直接 GDB 单步调试来的直接。本文采用的编译方式如下,在一台 16 核 CentOS 7.7 的机器上进行内核源码相关的编译(主要是考虑编译效率),调试则是基于 VirtualBox 的 Ubuntu 20.04 系统中……

阅读全文

【BPF入门系列-5】基于 eBPF 实现容器运行时安全

本文作者: 范彬 1 前言 随着容器技术的发展,越来越多业务甚至核心业务开始采用这一轻量级虚拟化方案。作为一项依然处于发展阶段的新技术,容器的安全性在不断提高,也在不断地受到挑战。天翼云云容器引擎于去年11月底上线,目前已经在22个自研资源池部署上线。天翼云云容器引擎使用 ebpf 技术实现了细粒……

阅读全文

【BPF网络篇系列-2】容器网络延时之 ipvs 定时器篇

1. 前言 趣头条的容器化已经开展了一年有余,累计完成了近 1000 个服务的容器化工作,微服务集群的规模也达到了千台以上的规模。随着容器化服务数量和集群规模的不断增大,除了常规的 API Server 参数优化、Scheduler 优化等常规优化外,近期我们还碰到了 kubernetes 底层负载均衡 ipvs 模块导致的网络抖动问题,在此把整个……

阅读全文

kpatch 热修 ipvs estimation_timer 内核延时问题

1. kpatch 是什么? livepatch 实时或动态内核修补允许为正在运行的内核提供功能增强,无需重新启动系统,这对于某些在线系统修复安全漏洞非常有帮助。 Kpatch 是给 Linux 内核 livepatch 的工具,由 Redhat 公司出品。最早出现的打热补丁工具是 Ksplice。但是 Ksplice 被 Oracle 收购后,一些发行版生产商就不得不开发自己的热补丁工具,分别是 Redhat 的 Kpatch 和……

阅读全文

【BPF网络篇系列-1】k8s api-server slb 异常流量定位分析

1. k8s master 的流量整体架构 最近 k8s 集群新增不少服务,使得集群的 Pod 数量激增,某天接受到线上 3 台 Master 前置 SLB 流量丢失的告警(SLB 为阿里 ACK Master 默认的 SLB,默认 4 层 SLB,监听端口 6443),通过 SLB 控制台查看,在 8:00 - 9:00 的时刻,整个集群的出口流量带宽已经超过 5G,而阿里的 SLB 流量带宽最大为 5Gbps,……

阅读全文

【Linux负载系列-2】Linux CPU 使用率低 Load 负载高场景测试

1. Linux Load 负载高 在 Linux 系统上平均负载包括了运行的进程和正在等待运行的进程,也包括了不可中断状态执行磁盘 I/O 的进程( Uninterruptible Sleep))。这意味着在 Linux 上不能单用 CPU 余量或者饱和度,因为不能单从这个值来推断 CPU 或者磁盘负载。 Linux 系统中如果等待 IO 的进程多了,那么也会导致系统的平均负载升高,则是因为平均负……

阅读全文

【Linux负载系列-1】Linux 系统的平均负载(Load Avarage)

1. 平均负载(Load Average)概念 1.1 单核 CPU 系统 单个 CPU 的处理能力和负载情况可以用下图表达,如果为1.0 表明负载已经饱和,CPU 没有更多的处理能力: 图中的卡车等同于 CPU 的时间片概念(一般情况下对应于需要处理的进程),Linux 称之为运行队列长度。 运行队列长度 = 正在运行的 + 等待运行……

阅读全文

【BPF入门系列-4】如何在 BPF 程序中正确地按照 PID 过滤?

1. 前言 在 bpf 的实现中我们经常在内核 helper 函数 bpf_get_current_pid_tgid() 来进行用户空间进程 pid 进行过滤,那么到底如何写呢? 在 BCC 项目中有不少程序直接使用 bpf_get_current_pid_tgid() 直接与用户空间传入的 pid 对比,也有使用 bpf_get_current_pid_tgid() >> 32 进行过滤的,那么使用者或者开发者到底应该使用哪种方式,这篇文章可以帮你彻底解决这类的疑惑。 2. Linux 进程与线程 在 Linux 系统中进程在……

阅读全文

【BPF入门系列-3】BPF 环境搭建

1. 内核版本选择 补丁 Prepatch: Prepatch 或 “RC” 内核是主线内核的预发布版本,主要针对其他内核开发者和 Linux 爱好者。它们必须从源码中编译,并且通常包含新的功能,这些功能必须在稳定发布之前进行测试。Prepatch 内核由 Linus Torvalds 维护和发布。 主线版 Mainline: 主线版本由 Linus Torvalds 维护。它是介绍所有新……

阅读全文

【BPF入门系列-2】BPF 学习路径总结

1. 为什么要学习 BPF 可以先从 ebpf.io 网站获取一个简单的了解,首页内容翻译如下。 Linux 内核一直是实现监控/可观察性、网络和安全性的理想场所。不幸的是,这往往是不切实际的,因为它需要改变内核源代码或加载内核模块,并导致层层抽象叠加。eBPF 是一项革命性的技术,它可以在 Linux 内核中运行沙盒程序,而无需改……

阅读全文