PythonのスクレイピングといえばBeautifulSoupかSeleniumらしいのだが、今回初めて触って特性とか思ったことを残しておこう。
BeautifulSoupは簡単に書けるが、その後が意外と面倒くさい。主にパースというHTMLを解析するツールで文字を正規表現で探す感じ。HTMLで処理したい部分は明白なのに意外と特定させるのが難しかったりした。あと、ブラウザに関係なく裏で動くイメージなので何をやっているのかよく分からない。学習は事前にしていたのだが、習得は簡単で動くものを作るのに3時間も掛からなかった。画面の情報を取り出すだけならばこっちがオススメだろう。HTMLをselectorと呼ばれる粗い形式で指定する。
Seleniumはブラウザを直接コントローするする感じ。画面を切り替えたりしていくのに強い。Driverをインストールするのと、指定する書き方が頻繁に変わるらしくてネットを調べまくったのに古い情報が流布していて物凄く手間取った。EdgeでGoogleを表示するだけのコードを書くのに3時間以上もかかった。結局、最後はあっさりと2行程度で書けたのだが。HTMLをフルX Pathと呼ばれる厳密な指定をするので、ビシッと動く。慣れてくるとSeleniumの方が書きやすそうだ。