機能 #4
Updated by 寛正 鴨川 about 7 years ago
公式ドキュメント: https://docs.scrapy.org/en/1.6/index.html
> https://qiita.com/Chanmoro/items/f4df85eb73b18d902739
* Spider
** リクエスト、レスポンス担当
** 実装的にはSpiderクラスを継承する独自のSpiderを作成する
* Items
** レスポンスを加工したモデルを定義。Pipelineへ渡される
* Pipeline
** Spider より渡された Items に対する処理を記述。DB への保存、ファイル出力など
* Downloader Middleware
** 機能拡張する場合に実装するコンポーネント
** SpiderとDownloaderとの間でリクエストとレスポンスに処理を加える
各クラスを作成、メソッドオーバーライドで動作をカスタマイズする。
> https://qiita.com/Chanmoro/items/f4df85eb73b18d902739
* Spider
** リクエスト、レスポンス担当
** 実装的にはSpiderクラスを継承する独自のSpiderを作成する
* Items
** レスポンスを加工したモデルを定義。Pipelineへ渡される
* Pipeline
** Spider より渡された Items に対する処理を記述。DB への保存、ファイル出力など
* Downloader Middleware
** 機能拡張する場合に実装するコンポーネント
** SpiderとDownloaderとの間でリクエストとレスポンスに処理を加える
各クラスを作成、メソッドオーバーライドで動作をカスタマイズする。