Project

General

Profile

機能 #4

Scrapyの基本的なアーキテクチャ理解

Added by 寛正 鴨川 about 7 years ago. Updated about 7 years ago.

Status:
終了
Priority:
通常
Assignee:
Start date:
04/04/2019
Due date:
04/05/2019
% Done:

100%

Estimated time:

Description

公式ドキュメント: https://docs.scrapy.org/en/1.6/index.html

https://qiita.com/Chanmoro/items/f4df85eb73b18d902739

  • Spider ** リクエスト、レスポンス担当 ** 実装的にはSpiderクラスを継承する独自のSpiderを作成する
  • Items ** レスポンスを加工したモデルを定義。Pipelineへ渡される
  • Pipeline ** Spider より渡された Items に対する処理を記述。DB への保存、ファイル出力など
  • Downloader Middleware ** 機能拡張する場合に実装するコンポーネント ** SpiderとDownloaderとの間でリクエストとレスポンスに処理を加える

各クラスを作成、メソッドオーバーライドで動作をカスタマイズする。

History

#1 Updated by 寛正 鴨川 about 7 years ago

  • Status changed from 新規 to 進行中
  • % Done changed from 0 to 50

#2 Updated by 寛正 鴨川 about 7 years ago

  • Assignee set to 寛正 鴨川

#3 Updated by 寛正 鴨川 about 7 years ago

  • % Done changed from 50 to 60

#4 Updated by 寛正 鴨川 about 7 years ago

  • Description updated (diff)
  • Status changed from 進行中 to 終了
  • % Done changed from 60 to 100

基本的な理解は完了したためクローズします。

#5 Updated by 寛正 鴨川 about 7 years ago

  • Description updated (diff)

Also available in: Atom PDF