Skip to content

yutackall/nodejs_web_crawler_sample

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

20 Commits
 
 
 
 
 
 

Repository files navigation

JS + Node.jsによるWebクローラー/ネットエージェント [開発テクニック] サンプルソース

Description

ソシム株式会社から発売された「JS + Node.jsによるWebクローラー/ネットエージェント [開発テクニック]」という書籍をもとに、記載されているサンプルソースを実際に書いて動作させたものです。

記載のコードではうまく動かなかった部分は著者のサポートページや、自分なりに調べた内容を元に一部修正していますので、ソシムのサポートページからダウンロード出来るサンプルとは異なります。

なお、章毎に使用しているモジュールが異なるため、章毎のディレクトリ内に pakage.json を作成して各フォルダに設置しています。

サンプルソースとの相違点

第2章 HTMLの解析(リンクと画像の抽出)

ファイル名 修正内容
第2章02 showimage.js fetch 対象の Wikipedia の URL に日本語が含まれており、404 エラーになるため、URL エンコードの処理を追加
第2章02 dl-image.js fetch 対象の Wikipedia の URL に日本語が含まれており、404 エラーになるため、URL エンコードの処理を追加
第2章02 dl-image.js ダウンドードする画像ファイルの URL に日本語が含まれるのを考慮するため、URL エンコードの処理を追加

About

書籍「JS + Node.jsによるWebクローラー/ネットエージェント [開発テクニック]」のサンプルソース

Resources

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published