https://www.teqng.com/2021/09/07/%E9%9D%A2%E9%9C%B8%EF%BC%9A%E7%A7%92%E6%9D%80%E7%B3%BB%E7%BB%9F%E5%A6%82%E4%BD%95%E8%AE%BE%E8%AE%A1%EF%BC%9F/

https://bbs.huaweicloud.com/blogs/300953

https://cloud.tencent.com/developer/article/1550274

https://cloud.tencent.com/developer/article/1520361

一、背景

对于21世纪的人类，已经不满足于单核并行的模式；提高效率，增效降本才是我们向往的。程序设计中选择什么样的数据结构体是解决某个问题的关键。如果多线程使用到的数据结构体要满足并发，则涉及到数据的线程安全问题，一种解决办法是选择单独的互斥元或外部锁来使数据结构体在某一时间段独占，且释放后没有残留。另一种就是设计可以多线程同时访问的数据结构体。明显，后者在大部分场景是效率较高的。

1. 工作中遇到的场景

腾讯云云监控团队对于自定义监控的场景没有一个适应现代化的上报组件，历史上例如 monitor、巴拉多、哈勃等监控系统，由于年代比较久远，只支持单维度上报、无法支持多维度的场景或改造困难，以及对于业界比较流行的统计方式(histogram、summary)无法支持，性能相对较差，页面老旧，无法覆盖业务场景，因此迫切需要一个上报组件，在业务和监控中台之间做一个连接。采集业务的指标数据进行处理、聚合后上报到监控中台。

因此我们云监控的自定义指标监控的路径为：TCCM SDK -> TCCM Agent -> 监控中台。TCCM 全称为：tencent cloud - cloud monitor，即腾讯云云监控。在 TCCM SDK 的整体设计中，业务通过调用 SDK 提供的 API 接口，将自己的监控数据写入 SDK 内部的线程安全队列，然后由与 SDK 内部的线程去消费数据并发送给 TCCM Agent。如下图：

如上图是我们第一版本的 tccm 框架，首先进行具体的介绍，业务方会多线程调用我们 Tccm SDK 提供的接口，申请内存，填充数据；然后将数据写入线程安全队列。SDK内部会有 N 个线程读取数据并处理数据，最后批量发送数据。

相信我们很容易可以发现问题，一是内存空间可以是复用的，二是线程安全队列的读取线程可以一次读取所有数据然后批量发送。

一、基于滑动窗口的限流算法

滑动算法弥补了计数器算法的不足。滑动窗口算法把间隔时间划分成更小的粒度，当更小粒度的时间间隔过去后，把过去的间隔请求数减掉，再补充一个空的时间间隔。如图

• 把 1 分钟划分成 10 个更小的时间时间，每 6 秒为一个间隔，如图中的 10 个格子，每个格子代表 6 秒
• 每过 6 秒，滑动窗口向右移动 1 个格子。每个格子都有独立的计数

DMA 和零拷贝技术

一、数据的四次拷贝与四次上下文切换

当数据从磁盘中读出来，然后通过网络发送。中间会调用 File.read(file, buf, len) 和 Socket.send(socket, buf, len) 这两个系统调用。

例如消息队列 kafka 就会从磁盘中读取一批消息后原封不动的写入网卡进行发送。

在没有任何优化技术使用背景下，操作系统会为此进行 4 次数据拷贝，以及 4 次上下文切换

面向对象的六大原则

一、单一职责（Single Responsibility Principle）

一个类应该只负责一个职责，也就是说，一个类中应该是一组相关性很高的函数以及数据的封装

二、开闭原则（Open Close Principle）

由 Bertrand Meyer（勃兰特.梅耶）在1988年出版的《面向对象软件构造》。

一个软件实体应当对扩展开放，对修改关闭。即软件实体应尽量在不修改原有代码的情况下进行扩展。提倡一个类一旦开发完成，后续增加新的功能就不应该通过修改这个类来完成，而是通过继承，增加新的类。

为什么应该对修改关闭呢？因为一旦修改了某个类就有可能破坏系统原来的功能，就需要重新测试。但是也不是一定不能修改，如果在有条件的情况下及时重构，能够避免系统加速腐败

三、里氏替换原则（Liskov Substitution Principle）

所有引用基类（父类）的地方必须能透明的使用其子类的对象。也就是说，一个软件系统中所有用到一个类的地方都替换成其子类，系统应该仍然可以正常工作。这个原则依赖面对对象的继承特性和多态特性。我们要做到面向抽象（接口）编程

一、I/O复用之 select

用途：在一段指定时间内，监听用户感兴趣的文件描述符上的可读、可写、异常等事件

（一）、使用

1

int select(int nfds, fd_set* readfds, fd_set* writefds, fd_set* excetfds, struct timeval* timeout);

• nfds 参数指定被监听的文件描述符的总数。它通常被设置为 select 监听的所有文件描述符中的最大值加1，因为文件描述符是从0开始计数的

fork底层实现

1
2

pid_t fork(void);
# 子进程返回 0，父进程返回子进程 id，出错返回-1

• fork()系统调用通过复制一个现有进程来创建一个全新的进程。进程被存放在一个叫做任务队列的双向循环链表当中，链表当中的每一项都是类型为 task_struct 称为进程描述符的结构，也就是进程PCB
• 内核通过进程 PID 来标识每一个进程，PID 的最大值默认为 32768 （2^15） ，也就是 short int 短整形的最大值。
  查看系统允许同时存在的进程数目：cat /proc/sys/kernel/pid_max

一、malloc 函数

malloc函数是一个我们经常使用的函数，如果不对会造成一些潜在的问题。下面就malloc函数的线程安全性和可重入性做一些分析。

我们知道一个函数要做到线程安全，需要解决多个线程调用函数时访问共享资源的冲突。而一个函数要做到可重入，需要不在函数内部使用静态或全局数据，不返回静态或全局数据，也不调用不可重入函数。

malloc函数线程安全但是不可重入的，因为malloc函数在用户空间要自己管理各进程共享的内存链表，由于有共享资源访问，本身会造成线程不安全。为了做到线程安全，需要加锁进行保护。同时这个锁必须是递归锁，因为如果当程序调用malloc函数时收到信号，在信号处理函数里再调用malloc函数，如果使用一般的锁就会造成死锁（信号处理函数中断了原程序的执行），所以要使用递归锁。

虽然使用递归锁能够保证malloc函数的线程安全性，但是不能保证它的可重入性。按上面的场景，程序调用malloc函数时收到信号，在信号处理函数里再调用malloc函数就可能破坏共享的内存链表等资源，因而是不可重入的。

至于malloc函数访问内核的共享数据结构可以正常的加锁保护，因为一个进程程调用malloc函数进入内核时，必须等到返回用户空间前夕才能执行信号处理函数，这时内核数据结构已经访问完成，内核锁已释放，所以不会有问题。

一、Linux 内存映射 mmap

mmap是一种内存映射文件的方法，将一个文件或者其它对象映射到进程的虚拟地址空间，实现文件磁盘地址和进程虚拟地址空间中一段虚拟地址一一对应的关系。实现这样的映射关系后，进程就可以采用指针的方式读写操作这一段内存，而系统会自动回写脏页面到对应的文件磁盘上，即完成了对文件的操作而不必再调用read,write等系统调用函数。相反，内核空间对这段区域的修改也直接反映用户空间，从而可以实现不同进程间的文件共享

如上，进程的虚拟内存地址空间，由多个虚拟内存区域构成。比如 text数据段（代码段）、堆、栈 等都是一个独立的虚拟内存区域。Linux 内核使用 vm_area_struct 结构来表示一个独立的虚拟内存区域，各个 vm_area_struct 结构体使用链表或者树形结构链接

malloc 底层实现

一、背景

目前大部分服务端程序使用 glibc 提供的 malloc/free 系列函数，而 glibc 使用的 ptmalloc2 在性能上远远落后于 google 的 tcmalloc 和 fackbook 的 jemalloc

以 x86 的 32 位系统为例，进程的虚拟内存布局，栈至顶向下扩展，堆至低向上扩展，mmap 映射区至顶向下扩展。

1. 系统调用

1
2

int brk(const void* addr);
void* sbrk(intptr_t incr);