代码下载

https://github.com/hidadeng/DaDengAndHisPython/blob/master/数据分析plydata库学习.zip

plydata是一个提供数据处理语法的Python库，借鉴了R语言dplyr，tidyr和forcats等包中的管道操作符。

plydata使用 >>运算符 作为管道符号，或者使用ply（data，* verbs）函数代替 >>， 目前仅支持对pandas.DataFrame数据进行操作。

安装

!pip3 install plydata

快速上手

import pandas as pd
from plydata import define, query, if_else, ply


df = pd.DataFrame({
    'x': [0, 1, 2, 3],
    'y': ['zero', 'one', 'two', 'three']})

df
x y
0 0 zero
1 1 one
2 2 two
3 3 three

define

define函数名很简单，定义变量或者操作变量。

define(data, *args,**kwargs)

  • data 待操作的dataframe数据
  • args、kwargs 操作过程及结果。

比如我们想在df中新建一个z列，z列的值完全复制自x列。可以使用代码 define(df, z=‘x’)

define(df, z='x')
x y z
0 0 zero 0
1 1 one 1
2 2 two 2
3 3 three 3

注意: df中有x列，所以这里的使用的’x',而不是x。

»管道符

刚刚的问题可以使用管道符实现与define(df, z=‘x’)相同的功能。

#等同于df['z']=df['x']
#等同于define(df, z='x')
df >> define(z='x')
x y z
0 0 zero 0
1 1 one 1
2 2 two 2
3 3 three 3

如果有多个环节，可以用括号包裹住，环节与环节用>>和换行前后衔接。

比如我们有多个操作，每一步操作如下

  1. m=2x
  2. n=m*m
  3. q=m+n
(df 
 >> define(m='2*x') 
 >> define(n='m*m') 
 >> define(q='m+n')
)
x y m n q
0 0 zero 0 0 0
1 1 one 2 4 6
2 2 two 4 16 20
3 3 three 6 36 42

上面所有的plydata相关操作不会修改原始数据df

df
x y
0 0 zero
1 1 one
2 2 two
3 3 three

if_else

在df中新建z列，z的值满足

  • 当x大于1，z为1
  • 当x小于等于1， z为0

使用if_else(predicate, true_value, false_value)

  • predicate 逻辑判断条件字符串
  • true_value 满足逻辑条件返回的值
  • false_value 不满足逻辑条件返回的值
#等同于define(df, z=if_else('x>1', 1, 0))
df >> define(z=if_else('x>1', 1, 0))
x y z
0 0 zero 0
1 1 one 0
2 2 two 1
3 3 three 1

query

query(data, expr)

  • data 待查询的dataframe数据
  • expr 查询条件字符串
(df 
 >> define(z=if_else('x>1', 1, 0)) 
 >> query('z==1')
)
x y z
2 2 two 1
3 3 three 1

ply()

ply功能等同于管道符»， 刚刚上面的代码

(df 
 >> define(z=if_else('x>1', 1, 0)) 
 >> query('z==1')
)

可以用ply

ply(df,
    define(z=if_else('x > 1', 1, 0)),
    query('z == 1')
)
x y z
2 2 two 1
3 3 three 1

plydata与plotnine

在R语言中，用ggplot2作图经常会用到管道符。而在Python中，plydata提供管道符，可以与作图库plotnine结合使用。

from plotnine import ggplot, geom_line, aes
from plydata import define, if_else
import numpy as np


df = pd.DataFrame({'x': np.linspace(0, 2*np.pi, 500)})
(df 
 >> define(y='np.sin(x)') 
 >> define(sign=if_else('y>=0', '"pos"', '"neg"')) 
 >> (ggplot(aes(x='x', 
                y='y', 
                color='sign'))+
     geom_line(size=1.5))
)

广而告之