使用计算机语言玩数理统计
专题——使用Python创建可供多重比较的数据框
专题——使用Python创建可供多重比较的数据框

专题——使用Python创建可供多重比较的数据框

更新:感谢凌空的桨一文《R语言数据处理——表格转换》的启发以及FTDdata一文《python–pandas长宽数据转换》的帮助,其实本文思路的专业叫法为“数据框长宽数据转换”,总结下来,对于python来说一个.melt()函数足以解决本文这么多废话要解决的问题。

这个故事告诉我们,基本概念还是要弄懂的,不然容易给自己添很大的麻烦。


以下为原文:

两组样本之间的比较由于数据结构比较简单,自己输入数据或直接从Excel中读取数据为元组或列表就可以了。而多组数据之间的比较则相对复杂,根据实验设计需求,有时候我们的分组会远多于三组,python中用于多组数据的多重比较对数据框(DataFrame)的接受较好。


数据框是一种类似于表格的二维数据结构,其可认为是由一维数据结构数组(Array)所组成。事实上,python严格意义上是没有数组这个概念的,可以用列表和元组实现数组的功能(参考链接)。也可以通过整理好的特定形式的列表和元组,借助numpy和pandas模块来将这些数据分别整理成类似数组和数据框的格式,并实现相应的数据处理。我们通过一个案例来简单理解一下数据框的构建。

(先来段废话)假如班里有三位同学经常迟到,但他们总是不承认班级时钟的准确性,经常调慢自己手表后厚着脸皮说自己没迟到。通常老师对这三个孩纸也是睁一只眼闭一只眼。这一天,国家授时中心来到了这所学校,本着“科技以人为本”的原则,捐给这个班级一台原子钟。这下可好了,这台原子钟不仅走时准确,而且具备记录功能,可以将同学们迟到的时间记录精确到0.01秒。教务处适时展开学风整顿活动,要求每班揪出三位典型,记为一般迟到,中度迟到,严重迟到。若其中两名同学迟到时间并列(即没有统计学差异),那么按高等级记并列迟到。(以上皆为胡说,接下来进入正题)一星期后,根据统计数据,小A这星期迟到时间分别为20.15分钟、12.53分钟、8.12分钟、9.46分钟、14.42分钟,小B这星期迟到时间分别为3.14分钟、2.58分钟、4.01分钟、6.66分钟、2.92分钟,小C这星期迟到时间分别为5.52分钟、7.96分钟、5.19分钟、5.25分钟、6.30分钟。

接下来,我们试着将以上材料提供的数据整理成能够为python进行多组数据比较所接受的数据框的形式。

一、数据采集

根据以上材料,我们可以将三位同学这一周的迟到时间生成3个列表:

A = [20.15, 12.53, 8.12, 9.46, 14.42]
B = [3.14, 2.58, 4.01, 6.66, 2.92]
C = [5.52, 7.96, 5.19, 5.25, 6.30]

也可以将以上数据合并到一个字典中:

late_time = {"A": [20.15, 12.53, 8.12, 9.46, 14.42], "B": [3.14, 2.58, 4.01, 6.66, 2.92], "C": [5.52, 7.96, 5.19, 5.25, 6.30]}

现实中,我们的实验数据多数情况下是整理到Excel表格中,后面会专门写一篇如何获取Excel数据的文章。

二、数据整理

回到概念,本文前面我们提及二维数据框由一维数组所组成。在本案例中,我们可以将每位同学每天迟到的时间记成一个元组,这个元组要包含最起码两个元素:该同学的名字,该同学这一天迟到的时间。不过最好让用于形成数据框的元组多包含一个元素,为该元组编个号,可以方面后续可能存在的检索工作。以上数据我们可以整理成如下15个元组,并将其放入一个列表中,命名为late_tuple_list:

late_tuple_list = [(1, 'A', 20.15), (2, 'A', 12.53), (3, 'A', 8.12), (4, 'A', 9.46), (5, 'A', 14.42), (6, 'B', 3.14), (7, 'B', 2.58), (8, 'B', 4.01), (9, 'B', 6.66), (10, 'B', 2.92), (11, 'C', 5.52), (12, 'C', 7.96), (13, 'C', 5.19), (14, 'C', 5.25), (15, 'C', 6.3)]

15个元组手输确实已经够窒息了,万一要是需要收集115个元组岂不是要累死?能看到今天这篇文章的读者对python的基本语法最起码会略知一二。我们可以通过循环和遍历字典的方式自动生成以上元组列表。实现代码如下:

late_dict = {"A": [20.15, 12.53, 8.12, 9.46, 14.42], "B": [3.14, 2.58, 4.01, 6.66, 2.92], "C": [5.52, 7.96, 5.19, 5.25, 6.30]}
h = 1
late_tuple_list = []
for i in range(len(late_dict)):
    for j in range(len(list(late_dict.values())[i])):
        late_tuple_list.append((h, list(late_dict.keys())[i], list(late_dict.values())[i][j]))
        h += 1

得到一个包含三位学生迟到时间的元组列表late_tuple_list之后,我们就可以调用python的numpy和pandas模块先后生成数组和数据框了:

import numpy as np  # 导入numpy模块
df_pre = np.rec.array(late_tuple_list, dtype=[('idx', '<i4'), ('student', '|S8'), ('late_time', '<f8')])

其中np.rec.arraydtype变量意思为data type,相当于声明每个元组中三个元素的名字和数据类型(其实我对dtype要传入的参数也还没弄太明白)。“idx”意为每个元组的第一个元素为该元组的id,“<i4”表示”idx”的数据类型为小于32位整形数;“student”意为每个元组的第二个元素为该元组的学生代码,“|S8”表示“student”的数据类型为64位字符串;“late_time”意为每个元组的第三个元素为该元组的学生迟到的时间,“<f8”表示“late_time”的数据类型为小于64位浮点数(参考链接)。

由此我们建立好了包含三位学生迟到时间的元组,df_pre输出结果和类型如下:

[( 1, b'A', 20.15) ( 2, b'A', 12.53) ( 3, b'A',  8.12) ( 4, b'A',  9.46)
 ( 5, b'A', 14.42) ( 6, b'B',  3.14) ( 7, b'B',  2.58) ( 8, b'B',  4.01)
 ( 9, b'B',  6.66) (10, b'B',  2.92) (11, b'C',  5.52) (12, b'C',  7.96)
 (13, b'C',  5.19) (14, b'C',  5.25) (15, b'C',  6.3 )]  # df_pre输出结果
<class 'numpy.recarray'>  # df_pre输出类型

三、数据框生成

离最终目标——获取用于数据统计的数据框只剩一步了:有请pandas模块闪亮登场:

import pandas as pd
late_df = pd.DataFrame(df_pre)

终于大功告成,此时late_df的输出结果和类型如下:

    idx student  late_time
0     1    b'A'      20.15
1     2    b'A'      12.53
2     3    b'A'       8.12
3     4    b'A'       9.46
4     5    b'A'      14.42
5     6    b'B'       3.14
6     7    b'B'       2.58
7     8    b'B'       4.01
8     9    b'B'       6.66
9    10    b'B'       2.92
10   11    b'C'       5.52
11   12    b'C'       7.96
12   13    b'C'       5.19
13   14    b'C'       5.25
14   15    b'C'       6.30
<class 'pandas.core.frame.DataFrame'>

得到这样的结果,拿去做统计就完全没问题啦!

四、代码总结

# 数据采集
A = [20.15, 12.53, 8.12, 9.46, 14.42]
B = [3.14, 2.58, 4.01, 6.66, 2.92]
C = [5.52, 7.96, 5.19, 5.25, 6.30]

# 将采集得到的数据编入字典
late_time = {"A": [20.15, 12.53, 8.12, 9.46, 14.42], "B": [3.14, 2.58, 4.01, 6.66, 2.92], "C": [5.52, 7.96, 5.19, 5.25, 6.30]}

# 将数据写为可生成数据框的元组
late_dict = {"A": [20.15, 12.53, 8.12, 9.46, 14.42], "B": [3.14, 2.58, 4.01, 6.66, 2.92], "C": [5.52, 7.96, 5.19, 5.25, 6.30]}
h = 1
late_tuple_list = []
for i in range(len(late_dict)):
    for j in range(len(list(late_dict.values())[i])):
        late_tuple_list.append((h, list(late_dict.keys())[i], list(late_dict.values())[i][j]))
        h += 1

# 生成数据框
import numpy as np  # 导入numpy模块
df_pre = np.rec.array(late_tuple_list, dtype=[('idx', '<i4'), ('student', '|S8'), ('late_time', '<f8')])

import pandas as pd
late_df = pd.DataFrame(df_pre)
# 大功告成

发表评论

您的电子邮箱地址不会被公开。