特定の検索条件に基づいたTweetをコマンド、スクリプトで取得したかった。取得する為に調査した情報を備忘録として記載する。
Tweetを取得する2つの方法
1.スクレイピング
→公開している情報をWebページや非公式のURLから取得。取得制限がなく、無料。しかし、後述するTwitterの有料APIがあるので、WebスクレイピングしていることがTwitterに見つかるとIPがブロックされる可能性がある。
python製のTwitter専用のスクレイピングできるtwitterscraperやtwitter_scraperが公開されている。
[参考]
あまり教えたくないCLIツール: Twitter Scraper – Qiita https://qiita.com › Python
Twitter Scraper でTweetAPIを使わずにツイートを収集 | エンジニアの眠れ … https://sleepless-se.net › Python › Deep Learning
メリット:無料、制限なし
デメリット:使いすぎるとtwitterにIPアドレスがブロックされる可能性がある。公式ではないので急に使用しているURLも非公開になる可能性もある。開発コストも必要になる。
2.Twitterが提供しているAPIを利用する
Twitterが検索用のAPIを用意している。利用するにはTwitterの開発者アカウントに登録する必要がある。
Twitter search API
種類はStandard、Premium、Enterpriseの3つ。
Standardは無料だが直近7日間のみ、15分のリクエストが180リクエストまでなど制限がかなり厳しく、コンシューマ向けにサービスを提供できるする場合は有料化は必須か。
料金と制限ここを参照