在 Nodejs 中使用流的好处

# generator.py# define o tamanho do arquivo em bytes (10gb)file_size = 10000 * 1024 * 1024  # 10 gb# linha que será escrita repetidas vezes no arquivoline = "this is a line of text to be transformed. adding more text to increase the size of each line.\n"# calcula o número de linhas necessárias para preencher o arquivonum_lines = file_size // len(line)# cria e escreve o arquivofile_path = "large-input.txt"with open(file_path, "w") as file:    for _ in range(num_lines):        file.write(line)print(f"file created successfully at {file_path}")

python3 generator.py

// src/index.jsconst fs = require('fs');const { Transform } = require('stream');const { performance } = require('perf_hooks');// Caminho para o arquivo de entrada e saídaconst inputFile = 'large-input.txt';const outputFile = 'large-output.txt';// Cria um Readable Stream a partir do arquivo de entradaconst readableStream = fs.createReadStream(inputFile, { encoding: 'utf8' });// Cria um Writable Stream para o arquivo de saídaconst writableStream = fs.createWriteStream(outputFile);// Variáveis para rastreamento de progressolet totalSize = 0;let processedSize = 0;let lastLoggedProgress = 0;const startTime = performance.now();let processedLines = 0;fs.stat(inputFile, (err, stats) => {  if (err) {    console.error('Erro ao obter informações do arquivo:', err);    return;  }  totalSize = stats.size;  // Pipe o Readable Stream para o Transform Stream e depois para o Writable Stream  readableStream    .pipe(      new Transform({        transform(chunk, encoding, callback) {          processedSize += chunk.length;          processedLines += chunk.toString().split('\n').length - 1;          // Converte o chunk de dados para letras maiúsculas          const upperCaseChunk = chunk.toString().toUpperCase();          // Chama o callback com o chunk transformado          callback(null, upperCaseChunk);          // Log de progresso          const progress = (processedSize / totalSize) * 100;          if (progress >= lastLoggedProgress + 10) {            console.log(              `Progresso: ${Math.floor(progress)}%, Linhas processadas: ${processedLines}`            );            lastLoggedProgress = Math.floor(progress);          }        },      })    )    .pipe(writableStream)    .on('finish', () => {      const endTime = performance.now();      const timeTaken = ((endTime - startTime) / 1000).toFixed(2);      console.log('Transformação completa e arquivo salvo.');      console.log(`Total de linhas processadas: ${processedLines}`);      console.log(`Tempo total: ${timeTaken} segundos`);    })    .on('error', (err) => {      console.error('Erro durante a transformação:', err);    });});