代码 | 使用「新闻数据」构造概念词提及量「面板数据」

- 500元  jjrb&rmrb 
- 600元   jjrb & rmrb & xwlb 

加微信 372335839， 备注「姓名-学校-专业」

import pandas as pd

jjrb_df = pd.read_csv('jjrb.csv.gz', compression='gzip')
rmrb_df = pd.read_csv('rmrb.csv.gz', compression='gzip')

jjrb_df['date'] = pd.to_datetime(jjrb_df['date'])
rmrb_df['date'] = pd.to_datetime(rmrb_df['date'])

#查看前5条
print('【jjrb】')
print('   日期覆盖: ', jjrb_df['date'].min().date(), '~' , jjrb_df['date'].max().date())
print('   记录数: ', len(jjrb_df))
print()
print('【rmrb】')
print('   日期覆盖: ', rmrb_df['date'].min().date(), '~' , rmrb_df['date'].max().date())
print('   记录数: ', len(rmrb_df))

【jjrb】
   日期覆盖:  2008-01-27 ~ 2022-12-31
   记录数:  379221

【rmrb】
   日期覆盖:  1946-05-15 ~ 2023-08-10
   记录数:  2030839

jjrb_df.head()

rmrb_df.head()

#任意日期
rmrb_df[rmrb_df['date']=='2013-06-08']

provs = ['浙江省', '山东省', '新疆维吾尔族自治区', '上海市', '四川省', '重庆市', '海南省', '河北省',
       '广西壮族自治区', '云南省', '黑龙江省', '河南省', '内蒙古自治区', '北京市', '宁夏回族自治区', '甘肃省',
       '安徽省', '吉林省', '陕西省', '湖北省', '青海省', '江西省', '天津市', '山西省', '广东省',
       '贵州省', '福建省', '西藏自治区', '湖南省', '江苏省', '辽宁省']


prov_date_counts = []
for date, weekly_df in rmrb_df.groupby(pd.Grouper(key='date', freq='Y')):
    for prov in provs:
        mention_times = weekly_df['text'].fillna('').str.contains(prov).sum()
        data = {'Date': date, 
                'Object': prov, 
                'MentionTimes': mention_times,
                'MentionRatio': mention_times/len(weekly_df)
               }
        prov_date_counts.append(data)
        
panel_df = pd.DataFrame(prov_date_counts)
panel_df

panel_df[panel_df['Object']=='浙江省']

def generate_panel_data(file, objects, text_field='text', date_field='date', freq='W', encoding='utf-8'):
    """
    - file 数据文件路径， .csv 或 .csv.gzip、xlsx、xls
    - objects 支持list和dict
    - text_field 指定数据文件中「文本」字段名，默认为'text'
    - date_field 指定数据文件中「日期」字段名，默认为'date'
    - freq 生成面板数据日期的周期， 年Y、月M、周W、日D、时H
    - encoding 数据文件编码格式， 默认utf-8编码， 可能有的csv文件需要调整该参数

    返回DataFrame，DataFrame字段含Date、Object、MentionTimes、MentionRatio
    """
    
    #读取数据文件
    if 'csv' in file:
        try:
            df = pd.read_csv(file, compression='gzip', encoding=encoding)
        except:
            df = pd.read_csv(file, encoding=encoding)
    elif '.xlsx' in file:
        df = pd.read_excel(file)
    elif '.xsx' in file:
        df = pd.read_excel(file)
    else:
        raise ValueError("目前只支持csv、xlsx、xlsx三种文件格式") 

        
    #更改日期格式
    df[date_field] = pd.to_datetime(df[date_field])
    prov_date_counts = []
    
    #构造面板数据
    for date, freq_df in df.groupby(pd.Grouper(key=date_field, freq=freq)):
        
        #objects为list的操作
        if isinstance(objects, list):
            for obj in objects:
                #统计出现obj新闻的次数
                mention_times = freq_df[text_field].fillna('').str.contains(obj).sum()
                data = {'Date': date, 
                        'Object': obj, 
                        'MentionTimes': mention_times,
                        'MentionRatio': mention_times/len(freq_df)}
                prov_date_counts.append(data)
                
        #objects为dict的操作
        elif isinstance(objects, dict):
            for key, words in objects.items():
                #统计某概念词words出现的新闻的条数，等同于object出现次数。
                mention_words_times = freq_df[text_field].fillna('').str.contains('|'.join(words)).sum()
                data = {'Date': date, 
                        'Object': key, 
                        'MentionTimes': mention_words_times,
                        'MentionRatio': mention_words_times/len(freq_df)}
                prov_date_counts.append(data)
                
        else:
            print('传入的objects参数有问题， 该参数必须是列表或字典')
            break
    panel_df = pd.DataFrame(prov_date_counts)
    return panel_df

def plot_figure(panel_df, title, object_field='Object', date_field='Date', value_filed='MentionRatio'):
    """
    panel_df:  面板数据
    title:  折线图标题
    date_field: panel_df中的日期字段
    value_filed: panel_df中的要绘图的值的字段名
    """
    import matplotlib.pyplot as plt
    import matplotlib
    import scienceplots
    import platform
    import pandas as pd
    import matplotlib_inline
    matplotlib_inline.backend_inline.set_matplotlib_formats('png', 'svg')
    import jieba
    import warnings
    warnings.filterwarnings('ignore')
    plt.style.use(['science', 'no-latex', 'cjk-sc-font'])
    system = platform.system()  # 获取操作系统类型
    if system == 'Windows':
        font = {'family': 'SimHei'}
    elif system == 'Darwin':
        font = {'family': 'Arial Unicode MS'}
    else:
        font = {'family': 'sans-serif'}
    matplotlib.rc('font', **font)  # 设置全局字体
    panel_df[date_field] = pd.to_datetime(panel_df[date_field])
    
    new_df = pd.pivot_table(panel_df, 
                            index=date_field,
                            columns=object_field,
                            values=value_filed)
    ax = new_df.plot(figsize=(10, 5))
    # 添加图例，并指定位置和偏移
    ax.legend(loc='upper right', bbox_to_anchor=(1.15, 1.05))
    plt.title(title, size=15)
    plt.xticks(size=12)
    plt.xlabel('年份', size=13)
    plt.ylabel('新闻提及次数', size=13)
    plt.show()

provs2 = ['山东省', '河北省', '湖南省', '黑龙江省']
panel_df2 = generate_panel_data(file='rmrb.csv.gzip', 
                                objects=provs2, 
                                #实验数据csv文件的日期字段为text
                                text_field='text',  
                                 #实验数据csv文件的日期字段为date
                                date_field='date', 
                                freq='Y',  #年度
                                encoding='utf-8')
#panel_df2.to_csv('RMRB新闻鲁冀湘黑四省(objects为列表)年度被提及占比.csv', index=False)

panel_df2

plot_figure(panel_df=panel_df2, 
            title='RMRB新闻鲁、冀、湘、黑四省年度被提及占比(1946-2023)', 
            object_field='Object', 
            date_field='Date', 
            value_filed='MentionRatio')

#数据整理比较粗糙，大家能get到我的意思即可
provs3 = {'经济发展': ['经济', '发展', '建设', '经济发展'], 
          '环境保护': ['环境保护', '保护环境', '绿水青山'],
          '司法建设': ['法律', '司法', '司法建设'],
        }


panel_df3 = generate_panel_data(file='rmrb.csv.gzip', 
                                objects=provs3, 
                                #实验数据csv文件的日期字段为text
                                text_field='text',  
                                 #实验数据csv文件的日期字段为date
                                date_field='date', 
                                freq='Y',  #年度
                                encoding='utf-8')
#panel_df3.to_csv('RMRB新闻三概念词(objects为字典)年度被提及占比.csv', index=False)
panel_df3

plot_figure(panel_df=panel_df3, 
            title='RMRB新闻经济、环境、司法三类概念词年度被提及占比(1946-2023)', 
            object_field='Object', 
            date_field='Date', 
            value_filed='MentionRatio')

加微信 372335839， 备注「姓名-学校-专业」