【プロ野球スクレイピング】年次データを抽出しExcelに出力　全選手、全年のデータを1つのファイルにまとめる

# -------------------------------------投手のデータを一括で取得します------------------------
import numpy
import pandas as pd
#import ssl
#ssl._create_default_https_context = ssl._create_unverified_context
#import matplotlib.pylab as plt

#urlをリスト形式で取得
df_all = []
#各要素に各年のデータが入る(執筆時点では2020年が最新)
# 2022年から2008年まで
years = range(22,8,-1)
urls = []
#URLを入力：最新年度だけ命名規則が違う
for year in years:
    if(year==20):
        urls.append('####サイトのULRを入力してください。######')
    else:
        # http://baseball-data.com/'+ "{0:02d}".format(year)+'/stats/pitcher-all/era-1.html
        urls.append('#####')
year=20
#--------------------------データをURLから取得-------------------------------------------
for url in urls:
    print('取得URL：'+url)
    df = pd.io.html.read_html(url)
    df = df[0]
    df_all.append(df)
    year=year - 1 
    file_path="new_" + str(year)+"_npb_pichar.csv"
    df.to_csv(file_path,encoding="cp932",index=None)

df_all = []
year = 21
### 年度の列を追加 ###
for year in years:
    file_path= "new_" + str(year)+"_npb_pichar.csv"
    df=pd.read_csv(file_path,encoding = "utf-8")
    df = df.drop([0])
    # year には 20 から 8までのデータが入っているので、一けたになるのを防止する
    y = str(year)
    if len(y) == 1:
        y = "0" + y # "8" → "08" にする
    df["year"] = str(20) + y
    df_all.append(df)
    print('読み込んだファイル：'+file_path)
    df.to_csv(file_path,encoding = "utf-8",index=None)

df_result = pd.DataFrame(df_result)
del df_result["順位"]
df_result = df_result.sort_values(["チーム","選手名","year"])
df_result

import glob
import pprint #リストの中身を改行したい

#csvファイルの中身を追加していくリストを用意
data_list = []
csv_files = 0
# infoファイル内のファイルを結合
csv_files = glob.glob('*.csv')
#読み込むファイルのリストを走査
print("統合するファイル一覧")
pprint.pprint(csv_files[:])

#csvファイルの中身を追加していくリストを用意
data_list = []
    
#読み込むファイルのリストを走査
for file in csv_files:
    data_list.append(pd.read_csv(file))
#リストを全て行方向に結合
#axis=0:行方向に結合, sort
df = pd.concat(data_list, axis=0)
df.to_csv("stats_summary.csv",encoding="utf-8")

# チームごとのCSVファイルを作成する
for team , sdf in df.groupby('チーム'):
    file_path = team + "_pichar.csv"
    print(i)
    print(sdf)
    sdf.to_csv(file_path,encoding="cp932",index = False,columns = ind_list)

# 選手名を重複なく抽出し、CSVファイルを作成
df_all = []
name_list = []
dic = {}
for year in range(19,8, -1):
    file_path="new_" + str(year)+"_npb_personaldata.csv"
    df = pd.read_csv(file_path,encoding="cp932")
    df = df.drop([0])
    for i in range(1, len(df)):
        player_name = df['選手名'][i]
        name_list.append(player_name)
# 重複を削除する
name_list = set(name_list)
file_path="npb_personaldata_name.csv"
name_list = pd.DataFrame(name_list,columns=["選手名"])
name_list.to_csv(file_path,encoding="cp932",index = None)

df_name = pd.read_csv("npb_personaldata_name.csv", encoding = "cp932")
df_name
df_result = []
    # 選手名のリストをインポート
    #print(df_name["選手名"][i])
    # 年度ごとのファイルをインポート
    
for year in range(19,8, -1):
    file_path="new_" + str(year)+"_npb_personaldata.csv"
    df = pd.read_csv(file_path,encoding="cp932")
    for i in range(1, len(df_name)):
        player_name = df_name['選手名'][i]
            
   
        for j in range(1, len(df)):
            if player_name == df['選手名'][j]:
                # print(df[player_name])
                df_result.append(df.loc[j])
                break
                    
            else:
                continue
        print(str(year) + player_name + "のデータ抽出が終わりました")