基於Node.js實現壓縮和解壓縮的方法,node.js壓縮解壓縮

來源:互聯網
上載者:User

基於Node.js實現壓縮和解壓縮的方法,node.js壓縮解壓縮

壓縮格式

zip 和 gzip 是兩種我們最常見到的壓縮格式,當然,gzip 在 Windows 下很少有人接觸。

tar 是一種歸檔格式,它預設不會壓縮,需要結合 gzip 來將最終的 tar 檔案以 gzip 格式壓縮成為一個 tar.gz 檔案,通常我們會縮寫為 tgz。

為什麼沒有提到 rar?因為它是專利保護的演算法,你可以免費獲得解壓工具,而壓縮公用程式是需要付費的。所以我們一般應用情境下,很少會提供 rar 壓縮檔。

本文將分別介紹 gzip,tar,tgz 和 zip 的壓縮和解壓縮在 Node.js 下如何?。

未壓縮檔庫

本文所使用的未壓縮檔庫來自於 urllib ,需要先 clone 它下來到指定目錄。

複製代碼 代碼如下:
git clone https://github.com/node-modules/urllib.git nodejs-compressing-demo

gzip

在 Linux 的世界,每個工具的職責會很純粹,非常單一,如 gzip,它只會對檔案進行壓縮,至於檔案夾如何打包壓縮,跟它沒關係,那是 tar 要去負責的事情。

gzip 命令列壓縮一個檔案

例如我們要將 nodejs-compressing-demo/lib/urllib.js 檔案進行 gzip 壓縮,會得到一個 urllib.js.gz 檔案,源檔案會被刪除。

$ ls -l nodejs-compressing-demo/lib/urllib.js-rw-r--r-- 1 a a 31318 Feb 12 11:27 nodejs-compressing-demo/lib/urllib.js$ gzip nodejs-compressing-demo/lib/urllib.js$ ls -l nodejs-compressing-demo/lib/urllib.js.gz-rw-r--r-- 1 a a 8909 Feb 12 11:27 nodejs-compressing-demo/lib/urllib.js.gz# 還原壓縮檔$ gunzip nodejs-compressing-demo/lib/urllib.js.gz

檔案大小從 31318 位元組減少到 8909 位元組,超過 3.5 倍的壓縮效果。

還可以通過 pipe 方式,結合 cat 命令,將檔案壓縮並儲存為任意檔案:

$ ls -l nodejs-compressing-demo/README.md-rw-r--r-- 1 a a 13747 Feb 12 11:27 nodejs-compressing-demo/README.md$ cat nodejs-compressing-demo/README.md | gzip > README.md.gz$ ls -l README.md.gz-rw-r--r-- 1 a a 4903 Feb 12 11:50 README.md.gz

Node.js 實現 gzip

當然,我們不會真的從零開始實現一個 gzip 演算法和工具,在 Node.js 的世界,早已有人為你準備好這些基礎庫,我們只需要開箱即用。

本文將會使用 compressing 模組,實現所有壓縮和解壓縮代碼。

為什麼會選擇 compressing?因為它有足夠充分的代碼品質和單元測試保證,處於活躍的維護狀態,API 非常友好,而且還支援流式介面。

Promise 介面

const compressing = require('compressing');// 選擇 gzip 格式,然後調用 compressFile 方法compressing.gzip.compressFile('nodejs-compressing-demo/lib/urllib.js', 'nodejs-compressing-demo/lib/urllib.js.gz') .then(() => {  console.log('success'); }) .catch(err => {  console.error(err); });// 解壓縮是反響過程,介面都統一為 uncompresscompressing.gzip.uncompress('nodejs-compressing-demo/lib/urllib.js.gz', 'nodejs-compressing-demo/lib/urllib.js2') .then(() => {  console.log('success'); }) .catch(err => {  console.error(err); });

結合 async/await 的編程模型,代碼寫起來就是一個普通的非同步 io 操作。

const compressing = require('compressing');async function main() { try {  await compressing.gzip.compressFile('nodejs-compressing-demo/lib/urllib.js',   'nodejs-compressing-demo/lib/urllib.js.gz');  console.log('success'); } catch (err) {  console.error(err); } // 解壓縮 try {  await compressing.gzip.uncompress('nodejs-compressing-demo/lib/urllib.js.gz',   'nodejs-compressing-demo/lib/urllib.js2');  console.log('success'); } catch (err) {  console.error(err); }}main();

Stream 介面

需要特別注意的是,使用 Stream 模式編程,需要處理每個 stream 的 error 事件,並且要手動銷毀所有 stream 。

fs.createReadStream('nodejs-compressing-demo/lib/urllib.js') .on('error', handleError) .pipe(new compressing.gzip.FileStream()) // It's a transform stream .on('error', handleError) .pipe(fs.createWriteStream('nodejs-compressing-demo/lib/urllib.js.gz2')) .on('error', handleError);// 解壓縮,就是 pipe 的方向倒轉過來fs.createReadStream('nodejs-compressing-demo/lib/urllib.js.gz2') .on('error', handleError) .pipe(new compressing.gzip.UncompressStream()) // It's a transform stream .on('error', handleError) .pipe(fs.createWriteStream('nodejs-compressing-demo/lib/urllib.js3')) .on('error', handleError);

根據官方的Backpressuring in Streams 推薦,我們應該使用 pump 模組來配合 Stream 模式編程,由 pump 來完成這些 Stream 的清理工作。

const pump = require('pump');const source = fs.createReadStream('nodejs-compressing-demo/lib/urllib.js');const target = fs.createWriteStream('nodejs-compressing-demo/lib/urllib.js.gz2');pump(source, new compressing.gzip.FileStream(), target, err => { if (err) {  console.error(err); } else {  console.log('success'); }});// 解壓縮pump(fs.createReadStream('nodejs-compressing-demo/lib/urllib.js.gz2'),  new compressing.gzip.FileStream(),  fs.createWriteStream('nodejs-compressing-demo/lib/urllib.js3'),  err => { if (err) {  console.error(err); } else {  console.log('success'); }});

Stream 介面的優勢

Stream 介面看起來比 Promise 介面複雜多了,為何還會有這種應用情境呢?

其實在 HTTP 服務領域,Stream 模型會有更大的優勢,因為 HTTP 要求本身就是一個 Request Stream,如要將一個上傳檔案以 gzip 壓縮返回,使用 Stream 介面不需要將上傳檔案儲存到本地磁碟,而是直接消費這個檔案流。

使用 egg 檔案上傳的範例程式碼 ,我們稍微改造一下,就能實現 gzip 壓縮然後返回。

const pump = require('pump');class UploadFormController extends Controller { // ... other codes async upload() {  const stream = await this.ctx.getFileStream();  // 直接將壓縮流賦值給 ctx.body,實現邊壓縮邊返回的流式響應  this.ctx.body = pump(stream, new compressing.gzip.FileStream()); }}

tar | gzip > tgz

gzip 章節可以提前知道,tar 是負責對檔案夾進行打包:package:的。

例如要對 nodejs-compressing-dem o 整個檔案夾打包成一個檔案發送給別人,可以通過 tar 命令完成。

$ tar -c -f nodejs-compressing-demo.tar nodejs-compressing-demo/$ ls -l nodejs-compressing-demo.tar-rw-r--r-- 1 a a 206336 Feb 12 14:01 nodejs-compressing-demo.tar

如大家所見,tar 打包出來的檔案一般都比較大,因為它是未壓縮的,大小跟實際檔案夾總大小接近。所以我們都會在打包同時進行壓縮。

$ tar -c -z -f nodejs-compressing-demo.tgz nodejs-compressing-demo/$ ls -l nodejs-compressing-demo.tgz-rw-r--r-- 1 a a 39808 Feb 12 14:07 nodejs-compressing-demo.tgz

tar 和 tgz 超過 5 倍大小的差異,可以大大減少網路傳輸頻寬。

Node.js 實現 tgz

Promise 介面

先使用 compressing.tar.compressDir(sourceDir, targetFile) 將一個檔案夾打包到一個 tar 檔案,然後使用上文的 gzip 壓縮方式,將 tar 檔案壓縮為 tgz 檔案。

const compressing = require('compressing');compressing.tar.compressDir('nodejs-compressing-demo', 'nodejs-compressing-demo.tar') .then(() => {  return compressing.gzip.compressFile('nodejs-compressing-demo.tar',   'nodejs-compressing-demo.tgz'); }); .then(() => {  console.log('success'); }) .catch(err => {  console.error(err); });// 解壓縮compressing.gzip.uncompress('nodejs-compressing-demo.tgz', 'nodejs-compressing-demo.tar') .then(() => {  return compressing.tar.uncompress('nodejs-compressing-demo.tar',   'nodejs-compressing-demo2'); }); .then(() => {  console.log('success'); }) .catch(err => {  console.error(err); });

結合 async/await 的編程模型,代碼寫起來會更加容易閱讀:

const compressing = require('compressing');async function main() { try {  await compressing.tar.compressDir('nodejs-compressing-demo',   'nodejs-compressing-demo.tar');  await compressing.gzip.compressFile('nodejs-compressing-demo.tar',   'nodejs-compressing-demo.tgz');  console.log('success'); } catch (err) {  console.error(err); }  // 解壓縮 try {  await compressing.gzip.uncompress('nodejs-compressing-demo.tgz',   'nodejs-compressing-demo.tar');  await compressing.tar.uncompress('nodejs-compressing-demo.tar',   'nodejs-compressing-demo2');  console.log('success'); } catch (err) {  console.error(err); }}main();

Stream 介面

通過 compressing.tar.Stream 類,可以動態添加任意檔案、檔案夾到一個 tar stream 對象中,非常靈活。

const tarStream = new compressing.tar.Stream();// dirtarStream.addEntry('dir/path/to/compress');// filetarStream.addEntry('file/path/to/compress');// buffertarStream.addEntry(buffer);// streamtarStream.addEntry(stream);const destStream = fs.createWriteStream('path/to/destination.tgz');pump(tarStream, new compressing.gzip.FileStream(), destStream, err => { if (err) {  console.error(err); } else {  console.log('success'); }});

zip

zip 其實可以看作是 tar + gzip 的「商業化」結合,它讓使用者不需要區分是壓縮檔還是壓縮檔夾,反正用我 zip 就對了。

使用 zip 命令列工具壓縮一個檔案夾的例子:

$ zip -r nodejs-compressing-demo.zip nodejs-compressing-demo/ adding: nodejs-compressing-demo/ (stored 0%) adding: nodejs-compressing-demo/test/ (stored 0%) ... adding: nodejs-compressing-demo/.travis.yml (deflated 36%)$ ls -l nodejs-compressing-demo.*-rw-r--r-- 1 a a 206336 Feb 12 14:06 nodejs-compressing-demo.tar-rw-r--r-- 1 a a  39808 Feb 12 14:07 nodejs-compressing-demo.tgz-rw-r--r-- 1 a a  55484 Feb 12 14:34 nodejs-compressing-demo.zip

通過 tgz 和 zip 檔案大小對比,可以看出預設的壓縮參數下,gzip 的效果會比 zip 好。

Node.js 實現 zip

實現代碼跟 tar 類似,只不過預設是壓縮的,不需要再添加 gzip 的過程。

const compressing = require('compressing');compressing.zip.compressDir('nodejs-compressing-demo', 'nodejs-compressing-demo.zip') .then(() => {  console.log('success'); }) .catch(err => {  console.error(err); });// 解壓縮compressing.zip.uncompress('nodejs-compressing-demo.zip', 'nodejs-compressing-demo3') .then(() => {  console.log('success'); }) .catch(err => {  console.error(err); });

總結

基於 Node.js 實現的壓縮和解壓縮是否比想象中簡單?感謝 npm 這個巨人,讓我們編程也能擁有命令列工具那樣簡單的體驗。

無論是 Promise 介面,還是 Stream 介面,都有它最合適的情境,你會選擇了嗎?

到此,你擁有的壓縮和解壓縮能力,你能夠做什麼樣的服務和功能呢?

以上就是本文的全部內容,希望對大家的學習有所協助,也希望大家多多支援幫客之家。

相關文章

聯繫我們

該頁面正文內容均來源於網絡整理,並不代表阿里雲官方的觀點,該頁面所提到的產品和服務也與阿里云無關,如果該頁面內容對您造成了困擾,歡迎寫郵件給我們,收到郵件我們將在5個工作日內處理。

如果您發現本社區中有涉嫌抄襲的內容,歡迎發送郵件至: info-contact@alibabacloud.com 進行舉報並提供相關證據,工作人員會在 5 個工作天內聯絡您,一經查實,本站將立刻刪除涉嫌侵權內容。

A Free Trial That Lets You Build Big!

Start building with 50+ products and up to 12 months usage for Elastic Compute Service

  • Sales Support

    1 on 1 presale consultation

  • After-Sales Support

    24/7 Technical Support 6 Free Tickets per Quarter Faster Response

  • Alibaba Cloud offers highly flexible support services tailored to meet your exact needs.