本文深入解析Node.js fs模块中文件读写的三种主要方式:readFile/writeFile、read/write以及createReadStream/createWriteStream。重点对比了全量加载与分块处理的内存差异,阐述大文件场景下使用流(Stream)处理的优势,并介绍如何通过监听事件和暂停恢复机制优化文件IO性能。
Node.js文件读写概述
在Node.js开发中,文件操作是基础且高频的需求,所有相关功能均封装在fs模块内。针对读写这一核心场景,fs模块提供了三组不同的API:读操作包含readFile、read和createReadStream;写操作对应writeFile、write和createWriteStream。这三组方法在内存占用、执行方式及适用场景上存在显著差异,下文将逐一剖析。
readFile与writeFile:全量加载模式
一、readFile和writeFile:全量加载模式
1、readFile方法的工作原理是将目标文件的全部内容一次性读取并加载至内存缓冲区,随后从该缓冲区中提取数据。其异步调用方式如下:
fs.readFile('./test.txt', 'utf8', function(err, data){
console.log(data);
});
对应的同步调用方式则为:
var data = fs.readFileSync('./test.txt', 'utf8');
console.log(data);
同步与异步的核心区别在于执行流的阻塞性。同步方法会阻塞当前线程,直至文件读取操作完全结束,期间无法执行后续代码;而异步方法采用回调机制,将结果作为参数传递,调用后即可立即执行后续逻辑,待读取完成后自动触发回调函数。
2、writeFile方法同样采用全量加载策略,先将待写入内容完整载入内存缓冲区,再一次性将缓冲区数据写入文件。其同步与异步的具体实现如下:
//异步方法
fs.writeFile('./message.txt', '这是第一行',function(err){
if(err) console.log('写文件操作失败');
else console.log('写文件操作成功');
});
//同步方法
fs.writeFileSync('./message.txt','这是第一行');
上述读写操作将文件视为一个整体进行内存分配和一次性读写。在此过程中,Node.js会暂停其他处理任务。因此,当处理大文件时,这种模式极易导致内存缓冲区溢出(OOM),造成性能瓶颈。
read与write:分块处理模式
二、read和write:分块处理模式
1、read或readSync方法采用分块读取策略,不断将文件的小部分数据读入缓冲区,最后从缓冲区获取内容。具体操作示例如下:
var fs = require('fs');
fs.open('./message.txt','r',function(err,fd){
var buf = new Buffer(225);
//读取fd文件内容到buf缓存区
fs.read(fd,buf,0,9,3,function(err,bytesRead,buffer){
console.log(buf.slice(0,bytesRead).toString());
});
var buff = new Buffer(225);
//位置设置为null会默认从文件当前位置读取
fs.read(fd,buff,0,3,null,function(err,bytesRead,buffer){
console.log(buff.slice(0,bytesRead).toString());
});
var buffer = new Buffer(225);
//同步方法读取文件
var bytesRead = fs.readFileSync(fd,buffer,0,9,3);
console.log(bytesRead);
console.log(buffer.slice(0,bytesRead).toString());
});
2、write或writeSync方法写入内容时,node.js执行以下过程:1将需要写入的数据写入到一个内存缓存区;2待缓存区写满后再将缓存区中的内容写入到文件中;3重复执行步骤1和步骤2,知道数据全部写入文件为止。具体操作如下:
var fs = require('fs');
var buf = new Buffer('我喜爱编程');
fs.open('./mess.txt','w',function(err,fd){
fs.write(fd,buf,3,9,0,function(err,written,buffer){
fs.write(fd,buf,12,3,null,function(err,written,buffer){
if(err) console.log('写文件操作失败');
console.log('写文件操作成功');
});
});
//同步写入
fs.writeSync(fd,buf,3,9,0);
});
与全量加载不同,Node.js在此模式下将文件分割为多个小块逐步操作。在读写过程中,允许执行其他任务,提高了并发处理能力。
然而,若应用仅关注文件中的特定数据片段或需要在读取过程中实时处理数据,全量或分块加载仍显笨重。此时,引入文件流(Stream)机制是更优的选择。
createReadStream与createWriteStream:流式处理
三、createReadStream和createWriteStream:流式处理模式
1、createReadStream方法用于创建读取文件内容的ReadStream对象,示例如下:
var fs = require('fs');
var readStream = fs.createReadStream('./message.txt',{start:3,end:12});
readStream.on('open',function(fd){
console.log('开始读取文件');
});
readStream.on('data',function(data){
console.log('读取到数据:');
console.log(data);
});
readStream.on('end',function(){
console.log('文件已全部读取完毕');
});
readStream.on('close',function(){
console.log('文件被关闭');
});
readStream.on('error',function(err){
console.log('读取文件失败');
});
2、createWriteStream方法用于创建将流数据写入文件的WriteStream对象,示例如下:
var fs = require('fs');
var file = fs.createReadStream('./message.txt');
var out = fs.createWriteStream('./anotherMessage.txt');
file.on('data',function(data){
out.write(data);
});
out.on('open',function(fd){
console.log('需要被写入的文件已打开');
});
file.on('end',function(){
//将操作系统缓存区中的数据全部写入文件
out.end('再见',function(){
console.log('文件全部写入完毕');
console.log('共写入'+out.bytesWritten+'数据');
});
});
使用流方式处理文件时,可以监听读写过程中的关键事件,并利用pause和resume方法暂停或恢复文件读取。此外,还能监控写入时缓冲区是否已满或数据是否全部输出,具体监听方式如下:
//监听writeStream对象的drain事件
var fs = require('fs');
var out = fs.createWriteStream('./test1.txt');
for(var i=0;i<10000;i++){
//返回true或false true代表缓存区已满
var flag = out.write(i.toString());
console.log(flag);
}
out.on('drain',function(){
console.log('操作系统缓存区中的数据已全部输出');
var out = fs.createWriteStream('./test2.txt');
for(var i=0;i<10;i++){
var flag = out.write(i.toString());
console.log(flag);
}
out.on('drain',function(){
console.log('操作系统缓存区中的数据已全部输出');
});
});
本文全面解析了Node.js中三种文件读写方法的机制与区别,旨在帮助开发者根据文件大小和处理需求选择合适的方法,提升程序性能。感谢阅读,欢迎继续支持本站获取更多技术分享。