Project

General

Profile

機能 #4

Updated by 寛正 鴨川 about 7 years ago

公式ドキュメント: https://docs.scrapy.org/en/1.6/index.html

> https://qiita.com/Chanmoro/items/f4df85eb73b18d902739

* Spider
** リクエスト、レスポンス担当
** 実装的にはSpiderクラスを継承する独自のSpiderを作成する
* Items
** レスポンスを加工したモデルを定義。Pipelineへ渡される
* Pipeline
** Spider より渡された Items に対する処理を記述。DB への保存、ファイル出力など
* Downloader Middleware
** 機能拡張する場合に実装するコンポーネント
** SpiderとDownloaderとの間でリクエストとレスポンスに処理を加える

各クラスを作成、メソッドオーバーライドで動作をカスタマイズする。

Back