機能 #14
レポーティング
Start date:
04/18/2019
Due date:
04/23/2019
% Done:
100%
Estimated time:
14.00 h
Description
問題のある記事の内容をメール通知を行う
- URL
- 問題になった箇所
- 成果数
Scrapy自体にメール配信を想定した機能があるようなのでまずはその調査を行う。
調査結果¶
Scrapyのメール送信モジュールの利用で下記エラーが発生した。
以下のURLの通りScrapyの既知のバグと思われる。
https://github.com/scrapy/scrapy/issues/3478
対応内容¶
Scrapyのメール送信モジュールではなく、Python標準のsmtplibライブラリを用いる。
スクレイピング結果をItemオブジェクトに変換し、Pipelineクラスで処理する。
https://docs.scrapy.org/en/1.6/topics/item-pipeline.html
SMTPサーバー、メール送受信アドレスの設定はconfig.iniファイルに記述。
メール本文には発見箇所の数、ページ数とURL、NGワード、NGワードを含む文(HTMLタグ単位)、最新の成果発生日時の一覧を記載。
レポートメールサンプル(インタープリズムのサイトを「採用」をNGワードにクローリングした場合)
This is Precision report mail.
471 concerns found in 56 pages.
####################
URL: https://www.interprism.co.jp/
Word: 採用
Statement: 採用特設サイト
Latest CV Date: 2019-04-11 00:00:00
####################
URL: https://www.interprism.co.jp/
Word: 採用
Statement: 採用特設サイト
Latest CV Date: 2019-04-11 00:00:00
####################
URL: https://www.interprism.co.jp/
Word: 採用
Statement: 新卒採用サイト
Latest CV Date: 2019-04-11 00:00:00
####################
...
History
#1 Updated by 寛正 鴨川 about 7 years ago
- Description updated (diff)
#2 Updated by 寛正 鴨川 about 7 years ago
- Status changed from 新規 to 進行中
- Start date changed from 04/16/2019 to 04/18/2019
- % Done changed from 0 to 10
着手。
#3 Updated by 寛正 鴨川 about 7 years ago
- Description updated (diff)
- % Done changed from 10 to 30
#4 Updated by 寛正 鴨川 about 7 years ago
- Description updated (diff)
- % Done changed from 30 to 40
Scrapyのメール送信モジュールにはバグがあるため、Python標準のsmtplibライブラリを用いてメール送信することにします。
#5 Updated by 寛正 鴨川 about 7 years ago
- Description updated (diff)
- Due date set to 04/23/2019
- Status changed from 進行中 to 終了
- % Done changed from 40 to 100
レポーティングの実装完了しました。
メールのサンプルを本文に記載しています。