Pythonでスクレイピング　MLBニュースを自動翻訳してトレンドを追いかけよう

# MLBnews_autotrans_01.py
import time
from bs4 import BeautifulSoup
import requests

def mlbcom_headline(t_list = [], u_list = []):
  """MLB.comの「LATEST NEWS」からタイトルとURLをリスト
  形式で取得する
  入力：なし
  出力：t_list,u_list # タイトルとURLのリスト
  """
    main_url = 'https://www.mlb.com/'
    response = requests.get(main_url)
    soup = BeautifulSoup(response.text, 'html.parser')
    
    # 記事の情報が含まれるclassを取得
    contents = soup.find_all(class_="p-headline-stack__headline")
    count = 0
    for content in contents:
            count += 1
            title = content.get_text()
            urls = content.find("a")
            url = urls.get("href")
            t_list.append(title)
            u_list.append(url)

            print(title)
            print(url)
            print()
            if count == 10:
                break
    return t_list,u_list
 

def mlb_trade_rumors_headline(t_list = [], u_list = []):
  """MLB Trade RumorsからタイトルとURLをリスト
  形式で取得する
  入力：なし
  出力：t_list,u_list # タイトルとURLのリスト
  """
    main_url = 'https://www.mlbtraderumors.com/'
    response = requests.get(main_url)
    soup = BeautifulSoup(response.text, 'html.parser')
    
    contents = soup.find_all(class_="entry-title")
    metas = soup.find_all(class_="entry-meta")
    count = 1
    for content, meta in zip(contents, metas):
        count += 1
        title = content.get_text()
        urls = content.find("a")
        url = urls.get("href")
        t_list.append(title)
        u_list.append(url)

        print(title)
        print(url)
        print()
        if count == 10:
            break
    return t_list,u_list

def foxsports_headline(t_list = [], u_list = [], d_list = []):
  """FoxSportsの「LATEST NEWS」からタイトルとURLをリスト
  形式で取得する
  入力：なし
  出力：t_list,u_list # タイトルとURLのリスト
  """
  # 以下のURLを自分の贔屓のチームのURLを入れてもらえばOK
    main_url = 'https://www.foxsports.com/mlb/st-louis-cardinals-team'
    response = requests.get(main_url)
    soup = BeautifulSoup(response.text, 'html.parser')

    contents = soup.find_all(class_="article-title ff-sb fs-20 lh-1pt25")
    dates = soup.find_all(class_="article-time-source ff-n fs-11 cl-gr-7")
    urls = soup.find_all(class_ = "news")


    count = 0
    for content, date, url in zip(contents, dates, urls[2:]):
        count += 1
        title = content.get_text()
        date = date.get_text()
        url = url.get("href")
        t_list.append(title)
        u_list.append(url)
        d_list.append(date)

        print(title)
        print(date)
        print(url)
        print()
        if count == 3:
            break
    return t_list,u_list, d_list
  
# タイトル取得関数を実行するたびにリセットされるので、自動翻訳の処理は
# タイトル取得関数の直後に入れてください
t_list,u_list = mlbcom_headline()

####################################
# 自動翻訳のコードを入れる
####################################

t_list,u_list = mlb_trade_rumors_headline()

####################################
# 自動翻訳のコードを入れる
####################################

t_list,u_list, d_list = foxsports_headline()

####################################
# 自動翻訳のコードを入れる
####################################
  

# MLBnews_autotrans_02.py
import pyperclip as ppc
from selenium import webdriver
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.common.action_chains import ActionChains
from threading import Thread, Lock

def deepl_trans(url,name = "TradeRumors"):
  """
  取得した記事のURLを入力して、記事内部のテキストを取得
  その後DeepLにコピーアンドペーストして翻訳、
  翻訳後のテキストをリストに保存する
  
  """
    main_url = url
    response = requests.get(main_url)
    soup = BeautifulSoup(response.text, 'html.parser')

    if name == "MLB.com":
        main_texts = []
        contents = soup.find(class_="article-item__body")
        contents = contents.find_all("p")
        for content in contents:
            main_text = content.get_text()
            main_texts.append(main_text)
    elif name == "FoxSports":
        main_texts = []
        contents = soup.find(class_="article-content")
        contents = contents.find_all("p")
        for content in contents:
            main_text = content.get_text()
            main_texts.append(main_text)
    else:
        contents = soup.find(class_="entry-content")
        main_text = contents.get_text()
        main_texts = main_text.split("\n")
    
    # chromedriverを起動
    driver = webdriver.Chrome('chromedriver')
    # ()内のURLに移動(ここではgoogleの初期画面)
    driver.get('https://www.deepl.com/translator')

    stextarea = driver.find_element_by_css_selector(
            '.lmt__textarea.lmt__source_textarea.lmt__textarea_base_style')
    ttextarea = driver.find_element_by_css_selector(
            '.lmt__textarea.lmt__target_textarea.lmt__textarea_base_style')
    
    translated_text_list= []
    for sourse_text in main_texts:
    # 本文を切り分けてdeeplに
        ppc.copy(sourse_text)
        stextarea.send_keys(Keys.CONTROL, "v")

        time.sleep(5)
        # deeplから取り出す
        translated_text = ttextarea.get_property("value")
        stextarea.send_keys(Keys.CONTROL, "a")
        stextarea.send_keys(Keys.BACKSPACE)
        translated_text_list.append(translated_text)
        
    return translated_text_list
  

# MLBnews_autotrans_03.py
import docx
import datetime
# site_name = "MLBcom ,MLBTradeRumors, FoxSports" のいずれかに対応
def text_to_doc(t_list, u_list, site_name):
    
    # 記事ごとに翻訳されるので、本文をリスト形式にまとめる
    te_list = []
    for url in u_list:
        text = deepl_trans(url,name = site_name)
        te_list.append(text)
        print(url)
        print(text)
        print()
    
    
    d_today = datetime.date.today()
    # ファイル名を指定
    word_write_file_name = site_name + "_" + str(d_today) + ".docx"
    # 空のドキュメントを作成
    doc = docx.Document()
    # タイトル、URL、本文をWordファイルに
    for t, u, te in zip(t_list, u_list, te_list):
        doc.add_heading(t, 0)
        doc.add_paragraph(u)
        doc.add_paragraph(te)
        doc.add_page_break()

    doc.save(word_write_file_name)