Seleniumを使った自動化やスクレイピングを実践していると、さまざまな問題に直面することがあります。ウェブページが遅れて読み込まれたり、要素が見つからなかったり、ページの構造が変わったりすることで、スクリプトが途中でエラーを起こして停止することがあります。こうした問題に対処するためには、エラーハンドリングとリトライの技術を学ぶことが非常に重要です。

今回の章では、Seleniumのさまざまなエラーハンドリング処理を紹介していきます！

講座の全体像

第1章: スクレイピング入門

第2章: 環境構築方法を解説

第3章: Seleniumの基本

第4章: DOMの基礎概念

第5章: Seleniumの機能解説

第6章: 複雑な操作を実装

第7章: 収集したデータの保存

第8章: エラーハンドリングとリトライ

エラーハンドリングの重要性

ウェブサイトの構造変更や、ネットワークの不具合、要素が見つからないなど、様々な理由でエラーが発生する可能性があります。これに対処するために、エラーハンドリングを適切に実装する必要があります。

例外処理の方法

Seleniumでは、特定の例外を捕捉して処理するためにtry/except構文を使います。以下の例では、要素を取得する際にエラーが発生した場合の処理を示します。

try:
  element = driver.find_element(By.ID, 'element_id')
  print(element.text)
except NoSuchElementException:
  print("要素が見つかりません")
except TimeoutException:
  print("ページの読み込みがタイムアウトしました。")

リトライ

特定の処理が失敗した場合に、一定の回数リトライを行う方法です。リトライの際に、待機時間を設けることで、タイミングの問題を回避できます。

for attempt in range(5):
  try:
    element = driver.find_element(By.ID, 'element_id')
    logging.info(f"取得した要素のテキスト: {element.text}")
    break
  except NoSuchElementException:
    logging.warning("要素が見つかりません")
    print(f"リトライ中... 試行回数: {attempt + 1}/5")
    time.sleep(5)

ロギング

ロギングは、アプリケーションの実行状況やエラーを記録する重要な手段です。Seleniumを使用した自動化やスクレイピングのプロジェクトでも、適切なロギングを実装することで、トラブルシューティングやデバッグが容易になります。

1. Pythonのロギングライブラリ

Pythonには標準ライブラリとしてloggingがあり、これを使用して簡単にログを記録できます。ログレベルには以下のようなものがあります：

• DEBUG: 詳細な情報。主にデバッグ目的で使用。
• INFO: 一般的な情報。正常に動作していることを示す。
• WARNING: 警告。問題が発生する可能性があるが、処理は続行される。
• ERROR: エラー。何らかの問題が発生し、処理が失敗した。
• CRITICAL: 致命的なエラー。プログラムが実行できない状態。

import logging

try:
  element = driver.find_element(By.ID, 'element_id')
  print(element.text)
except NoSuchElementException:
  print("要素が見つかりません")
except TimeoutException:
  print("ページの読み込みがタイムアウトしました。")

ログファイルへの出力

ログをファイルに出力することもできます。これにより、実行後にログを確認できるようになります。

logging.basicConfig(filename='app.log', level=logging.INFO, format='%(asctime)s - %(levelname)s - %(message)s')

スクリーンショット

エラーが発生した時にスクリーンショットを撮っておくことで実際の画面の様子を分析することができます。

driver.save_screenshot(filename)

まとめ

エラーハンドリングとリトライ機構を適切に実装することで、Seleniumを使用したスクレイピングや自動化がより安定し、信頼性が向上します。様々なエラーに対処するための構造を整え、必要に応じてリトライ機能を追加することで、ウェブサイトの構造変更や一時的な障害に対しても柔軟に対応できるようになります。

この章では、Seleniumを使用したスクレイピングにおけるエラーハンドリングとリトライの重要性について詳しく学びました。

この章で学んだエラーハンドリングとリトライのテクニックは、スクレイピングスクリプトをより堅牢で信頼性の高いものにするための重要なスキルです。これにより、実際の運用環境においても安定したデータ収集が可能になります。