Node.js child_process与cluster模块详解：多进程、负载均衡与IPC通信

简介

Node.js采用单线程单进程架构，其核心在于JavaScript引擎仅有一个实例并在主线程中运行。这种设计通过事件驱动机制处理I/O等异步操作，避免了多线程环境中频繁的线程切换开销，从而提升了执行效率。

然而，单线程架构也带来限制：若在主线程执行CPU密集型任务，将导致主线程阻塞。为解决此问题，Node.js提供了child_process模块，允许创建独立的子进程。父子进程间通过IPC（进程间通信）交互，子进程可以是外部应用程序或Node脚本，执行完毕后可将结果返回给父进程。

此外，Node.js默认以单进程运行，无法充分利用现代计算机的多核CPU资源。为此，Node.js引入了cluster模块，旨在调度多核CPU资源。该模块通过启动多个Node子进程来分担负载，并在一定程度上实现负载均衡，从而提升系统整体性能。

本文结构安排如下：

Node中的单线程和单进程机制
利用child_process模块实现多进程
cluster模块的应用
总结

原文地址：https://github.com/forthealll...

如果本文对您有帮助，您的Star是对我最大的鼓励～

一、Node中的单线程和单进程机制

理解Node.js的单线程与单进程模式是基础。相较于其他语言的多线程模型，Node的单线程设计减少了线程切换开销，开发者无需处理锁机制或线程池问题。这种架构特别适合I/O密集型操作。但随之而来的经典疑问是：

Node.js真的是单线程的吗？

提到Node.js，人们常联想到单线程、异步I/O和事件驱动。那么，Node是否真的仅由单线程构成？如果是，异步I/O和定时事件（如setTimeout、setInterval）究竟由谁执行？

严格来说，Node并非纯粹的单线程。其内部包含多种线程，例如：

执行JavaScript代码的线程
处理定时器的线程（setTimeout, setInterval）
处理异步HTTP请求的线程（ajax）

....

通常所说的“单线程”是指JavaScript引擎仅在主线程上运行。其他异步I/O和事件驱动相关的操作由libuv库管理的线程池和调度机制处理。libuv中存在一个Event Loop（事件循环），它维护一个执行栈和一个事件队列。当执行栈中发现异步I/O或定时器函数时，相应的回调函数会被放入事件队列。主线程执行栈完成后，Event Loop会按顺序执行队列中的异步回调函数。

上述过程展示了从执行栈到事件队列，再到按序执行回调的简化版Event Loop。值得注意的是，回调函数执行时也会生成新的执行栈，且回调内部可能嵌套异步函数，导致执行栈出现嵌套结构。

因此，Node.js的“单线程”是指JavaScript引擎仅在唯一的主线程上运行，而其他的异步操作由独立线程执行。通过libuv的Event Loop实现了类似多线程的上下文切换和线程池调度。由于线程是进程的最小单位，Node.js也被视为单进程应用。这解释了为何Node.js被称为单线程和单进程。

二、Node中的child_process模块实现多进程

由于Node.js是单进程的，无法充分利用CPU等资源。为此，Node提供了child_process模块来创建子进程，从而实现广义上的多进程模式。通过该模块，可以构建一个主进程（Master）和多个子进程（Worker）的架构。子进程不仅可以调用其他Node程序，还可以执行非Node程序或Shell命令，执行结果以流或回调形式返回。

1、child_process模块提供的API

child_process模块提供了四个用于创建子进程的方法：spawn、execFile、exec和fork。所有方法均为异步操作，它们之间的区别可通过图表展示。

上图展示了四种方法的区别，以下简要介绍它们的差异。

spawn：用于执行非Node程序，提供参数后，结果以流的形式返回。
execFile：用于执行非Node程序，提供参数后，结果以回调形式返回。
exec：用于执行非Node程序，传入Shell命令字符串，结果以回调形式返回。与execFile不同，exec可直接执行Shell命令。
fork：用于执行Node程序，提供参数后，结果以流形式返回。与spawn不同，fork生成的子进程仅能执行Node应用。接下来将具体介绍这些方法。

2、execFile和exec的区别

首先比较execFile和exec的异同。两者的共同点在于：

均用于执行非Node应用，且执行结果通过回调函数返回。

不同点在于：

exec直接执行一段Shell命令，而execFile执行的是一个应用程序。

举例而言，echo是UNIX系统的内置命令，可直接在命令行执行：

echo hello world

结果会在命令行打印出“hello world”。

(1) 通过exec实现

在main.js文件中，若使用exec方法，代码如下：

let cp=require('child_process');
cp.exec('echo hello world',function(err,stdout){
  console.log(stdout);
});

执行该main.js文件，结果将输出“hello world”。可见，exec的第一个参数与Shell命令完全一致。

(2) 通过execFile实现

let cp=require('child_process');
cp.execFile('echo',['hello','world'],function(err,stdout){
   console.log(stdout);
});

execFile类似于执行名为echo的应用并传入参数。execFile会在process.env.PATH路径中依次查找名为'echo'的应用，找到后执行。默认path包含'usr/local/bin'，该目录下存在名为'echo'的程序。传入hello和world两个参数后执行并返回结果。

(3) 安全性分析

像exec那样直接执行Shell命令存在极大安全隐患。例如以下Shell命令：

echo hello world;rm -rf

通过exec可直接执行，rm -rf会删除当前目录下的文件。exec权限极高，执行后可能引发安全问题。而execFile则不同：

execFile('echo',['hello','world',';rm -rf'])

在传入参数时，execFile会检测实参执行的安全性，若存在安全隐患则抛出异常。除execFile外，spawn和fork也不能直接执行Shell，因此安全性较高。

3、spawn方法

spawn同样用于执行非Node应用，且不能直接执行Shell。与execFile相比，spawn执行应用后的结果并非一次性输出，而是以流的形式输出。对于大批量数据输出，使用流形式可以有效降低内存占用。

以下以文件排序和去重为例：

上述示意图中，首先读取input.txt文件（包含未排序的“acba”），通过sort程序实现排序，输出为“aabc”，最后通过uniq程序去重，得到“abc”。我们可以利用spawn的流式输入输出实现上述功能：

let cp=require('child_process');
let cat=cp.spawn('cat',['input.txt']);
let sort=cp.spawn('sort');
let uniq=cp.spawn('uniq');
cat.stdout.pipe(sort.stdin);
sort.stdout.pipe(uniq.stdin);
uniq.stdout.pipe(process.stdout);
console.log(process.stdout);

执行后，最终结果将输出到process.stdout。如果input.txt文件较大，以流形式输入输出可显著减小内存占用，通过设置缓冲区，既能降低内存使用，又能提高I/O效率。

4、fork方法

在JavaScript中，处理大量计算任务时，HTML通过Web Worker使任务脱离主线程。Node.js则采用内置于父进程和子进程之间的通信机制来处理该问题，降低了大数据运行的压力。Node提供了fork方法，通过该方法在独立进程中执行Node程序，并通过父子间通信，子进程接收父进程信息，并将执行结果返回给父进程。

使用fork方法，可在父进程和子进程之间开放一个IPC通道，使不同的Node进程间能够进行消息通信。

在子进程中：

通过process.on('message')和process.send()机制来接收和发送消息。

在父进程中：

通过child.on('message')和process.send()机制来接收和发送消息。

具体示例，在child.js中：

process.on('message',function(msg){
   process.send(msg)
})

在parent.js中：

let cp=require('child_process');
let child=cp.fork('./child');
child.on('message',function(msg){
  console.log('got a message is',msg);
});
child.send('hello world');

执行parent.js会在命令行输出：

got a message is hello world

中断父子间通信的方式，可通过在父进程中调用：

child.disconnect()

来实现断开父子间IPC通信。

5、同步执行的子进程

exec、execFile、spawn和fork执行的子进程默认均为异步，子进程运行不会阻塞主进程。此外，child_process模块还提供了execFileSync、spawnSync和execSync来实现同步方式执行子进程。

三、Node中的cluster模块

cluster意为集成，它集成了两个方面：一是集成了child_process.fork方法创建Node子进程的方式；二是集成了根据多核CPU创建子进程后，自动控制负载均衡的方式。

我们从官网示例来看：

const cluster = require('cluster');
const http = require('http');
const numCPUs = require('os').cpus().length;
if (cluster.isMaster) {
  console.log(`主进程 ${process.pid} 正在运行`);
  // 衍生工作进程。
  for (let i = 0; i < numCPUs; i++) {
    cluster.fork();
  }
  cluster.on('exit', (worker, code, signal) => {
    console.log(`工作进程 ${worker.process.pid} 已退出`);
  });
} else {
  // 工作进程可以共享任何 TCP 连接。
  // 在本例子中，共享的是一个 HTTP 服务器。
  http.createServer((req, res) => {
    res.writeHead(200);
    res.end('你好世界\n');
  }).listen(8000);
  console.log(`工作进程 ${process.pid} 已启动`);
}

最后输出的结果为：

$ node server.js 主进程 3596 正在运行工作进程 4324 已启动工作进程 4520 已启动工作进程 6056 已启动工作进程 5644 已启动

我们将Master称为主进程，Worker进程称为工作进程。利用cluster模块，使用Node封装好的API、IPC通道和调度机制，可以非常简单地创建包括一个Master进程下HTTP代理服务器 + 多个Worker进程多个HTTP应用服务器的架构。

总结

本文首先介绍了Node.js的单线程和单进程模式，接着从单线程的缺陷出发，介绍了Node中实现子进程的方法，对比了child_process模块中几种不同的子进程生成方案，最后简要介绍了内置的、可实现子进程以及CPU进程负载均衡的集成模块cluster。

更多关于Node.js子进程child_process和cluster的资料请关注本站其它相关文章！

Node.js子进程与集群模块深度解析：child_process与cluster应用

简介