機能 #4
Scrapyの基本的なアーキテクチャ理解
Start date:
04/04/2019
Due date:
04/05/2019
% Done:
100%
Estimated time:
Description
公式ドキュメント: https://docs.scrapy.org/en/1.6/index.html
- Spider ** リクエスト、レスポンス担当 ** 実装的にはSpiderクラスを継承する独自のSpiderを作成する
- Items ** レスポンスを加工したモデルを定義。Pipelineへ渡される
- Pipeline ** Spider より渡された Items に対する処理を記述。DB への保存、ファイル出力など
- Downloader Middleware ** 機能拡張する場合に実装するコンポーネント ** SpiderとDownloaderとの間でリクエストとレスポンスに処理を加える
各クラスを作成、メソッドオーバーライドで動作をカスタマイズする。
History
#1 Updated by 寛正 鴨川 about 7 years ago
- Status changed from 新規 to 進行中
- % Done changed from 0 to 50
#2 Updated by 寛正 鴨川 about 7 years ago
- Assignee set to 寛正 鴨川
#3 Updated by 寛正 鴨川 about 7 years ago
- % Done changed from 50 to 60
#4 Updated by 寛正 鴨川 about 7 years ago
- Description updated (diff)
- Status changed from 進行中 to 終了
- % Done changed from 60 to 100
基本的な理解は完了したためクローズします。
#5 Updated by 寛正 鴨川 about 7 years ago
- Description updated (diff)