Python–Pandas简单了解

1. Pandas介绍

1.1 Pandas介绍 - 数据处理工具

• panel + data + analysis
• panel面板数据 - 计量经济学 三维数据

  1.2 为什么使用Pandas

• 便捷的数据处理能力
• 读取文件方便
• 封装了Matplotlib、Numpy的画图和计算

  1.3 DataFrame

  • 结构：既有行索引，又有列索引的二维数组
  • 属性：
    • shape # (2,3)
    • index : 行索引,表名不同行，横向索引，叫index
    • columns : 列索引，表名不同列，纵向索引，叫columns
    • values ：直接获取其中array的值
    • T : 转置
  • 方法：
    • head() 默认显示前5行，可指定head(3)
    • tail() 默认显示后5行
  • 3 DataFrame索引的设置
    • 1）修改行列索引值
    • 2）重设索引
    • 3）设置新索引

DataFrame索引的设置

• 以某列值设置为新的索引
  • set_index(keys, drop=True)
    • keys : 列索引名称或者列索引名称的列表
    • drop：boolean, default True. 当作新的索引，删除原来的列

• 2 Panel
  • DataFrame的容器
• 3 Series
  • 带索引的一维数组
  • 属性
    • index
    • values
• 总结：
  • DataFrame是Series的容器
  • Panel是DataFrame的容器

2. 基本数据操作

2.1 索引操作

• 读取文件

  data = pd.read_csv("./stock_day/stock_day.csv")
  

  

• 删除一些列，让数据更简单些，再去做后面的操作

  data = data.drop(["ma5","ma10","ma20","v_ma5","v_ma10","v_ma20"], axis=1)
  

  

  1. 直接索引
  • 先列后行 2. 按名字索引
  • loc 3. 按数字索引 - iloc 4. 组合索引
  • 数字、名字

2.2 赋值

2.3 排序

• 对内容排序
  • dataframe
  • series
• 对索引排序
  • dataframe

  • series

• 使用df.sort_values(key= , ascending=)对内容进行排序
  • 单个键或者多个键进行排序，默认升序
  • ascending=False，降序
  • ascending=True，升序

• 使用series.sort_values(ascending=)对内容进行排序
  • series排序时，只有一列，不需要参数
  • ascending=False，降序
  • ascending=True，升序
• 使用series.sort_index(ascending=)对索引进行排序
  • 与df一致

3. DataFrame运算

算术运算

逻辑运算

• 逻辑运算符
  • 布尔索引 - 逻辑运算函数 - query() 查询 - isin() 是不是在条件中

统计运算

• min max mean median var std 最小值，最大值，均值，中位数，方差，标准差 - np.argmax() - np.argmin() - describe() 能够直接得出很多统计结果,count,mean,std,min,max - 计算平均值，标准差，最大值，最小值

• 对于单个函数去进行统计的时候，坐标轴还是按照这些默认为”columns”(axis=0, default), 如果要对行”index”需要指定(axis=1)

  自定义运算

  • apply(func, axis=0)
    • func:自定义函数
    • axis=0：默认是列，axis=1为行进行运算
  • 定义一个对列，最大值 最小值的函数

4. Pandas画图

pandas.DataFrame.plot

• DataFrame.plot(x-None, y=None, kind='line')
  • x: label or positon, default None
  • y : label, positon or list of label , positions, default None
    • Allows plotting of one colume versus another 允许绘制一列对另一列 - kind : str - 'line' : line plot (default) 折线图 - 'bar' : vertical bar plot
      - 'barh' : horizontal bar plot - 'hist' : hisogram 直方图 - 'pie' : pie plot 饼状图 - 'scatter' : scatter plot 散点图

5 文件读取与存储

5.1 CSV

1. 读取csv文件-read_csv()

• pandas.read_csv(filepath_or_buffer, sep=',' , delimiter = None)
  • filepath_or_buffer: 文件路径
  • usecols: 指定读取的列名, 列表形式

    2. 写入csv文件-to_csv()

• DataFrame.to_csv(path_or_buf=None, sep=',' ,columns=None, header=True, index=True, index_label=None, mode='w', encoding=None)
  • path_or_buf : string or file handle, default None
  • sep :character, default’,’
  • columns: sequence, optional
  • mode: ‘w’:重写, ‘a’:追加
  • index: 是否写进行索引
  • header: boolean or list of string ,default True,是否写进索引值
• Series.to_csv(path=None,index=True,sep=',',na_rep='',float_format=None,header=False,index_label=None,mode='w',encoding=None,compression=None,date_format=None,decimal='.')

data = pd.read_csv("stock_day2.csv", names=["open", "high", "close", "low", "volume", "price_change", "p_change", "ma5", "ma10", "ma20", "v_ma5", "v_ma10", "v_ma20", "turnover"])

5.2 HDF5

hdf5 存储 3维数据的文件
    key1 dataframe1二维数据
    key2 dataframe2二维数据
pd.read_hdf(path, key=)
df.to_hdf(path, key=)

1. 读取HDF5文件-read_hdf()

HDF5文件的读取和存储都需要指定一个键，值为要存储的DataFrame

• pandas.read_hdf(path_or_buf, key=None, **kwargs)
• 从h5文件中读取数据
  • path_or_buf : 文件路径
  • key ：读取的键
  • mode：打开文件的模式
  • return ：Theselected object

需要安装tables模块避免不能读取HDF5文件

pip install tables

2. 写入HDF5文件-to_hdf()

• DataFrame.to_hdf(path_or_buf, key, **kwargs)
  • path_or_buf : 文件路径
  • key ：读取的键
  • mode：打开文件的模式
  • return ：Theselected object

5.3 JSON

1. read_json()

• pandas.read_json(path_or_buf=None, orient=None, typ='frame', lines=False)
  • 将JSON格式准换成默认的Pandas DataFrame格式
  • orient : string, Indication of expected JSON string format.
    • 'split' :dict like {index -> [index], columns -> [columns], data -> [values]}
    • 'records' : list like [{column -> value}, …, {column -> value}]
    • 'index' : dict like {index -> {column -> value}}
    • 'columns' : dict like {column -> {index -> value}},默认该格式
    • 'values' : just the values array
  • lines : boolean , default False
    • 按照每行读取json对象
  • typ ： default ‘frame’, 指定转换成的对象类型series或者dataframe

2. to_json()