思路与选择更重要

我看过许多人一看到别人提问"python处理excel"之类的话题，立马就说出一大堆的库，结果很多初学者苦苦地编写Python代码处理数据，最后他们都会感觉太坑爹了。

如果我在这里列出各种处理方法，那么成千上百的字数都不够看。我觉得你更应该了解思路与工具的选择，不然方向错了，你就算拿着再好用的工具也发挥不了作用。

Python 与 Excel 的交互

Python中有许多库可以与Excel交互，比如 xlrd、xlwings等等，但是我要强调的是，这些库仅仅让你方便地与Excel打交道，比如，读写数据、设置格式。

如果你的日常任务仅仅是简单设置格式，不需要对数据做复杂的计算和处理，那么这些库已经可以满足你的需求

数据处理才是核心

很多人已经会一些编程语言(比如 vba)，转到python上处理excel，结果是把vba代码用python代码写一遍。诸如求平均、求和等各种从简单到复杂的处理，都依靠自己编写各种循环遍历，最后只能从入门到放弃。

上述原因主要是他们只关注如何与excel交互，而忽视了数据处理才是整个问题的关键点。而在python中数据处理的最重要的库pandas，就是你唯一的选择。

选择

因此你需要先评估你的日常处理任务，是否有非常多的处理环节是从excel开始的。

• 比如，你的数据是直接从数据库中处理获取，你只需要编写代码把数据输出到excel，那么这显然不需要使用pandas(实际上使用pandas很可能比使用其他库来得简单)
  

• 如果你需要使用python做各种处理，然后输出excel，那么你必须要学习pandas，不然你只是在低效率处理数据

为什么要用pandas？

pandas的一个最大的优势在于，大多时候你只需要告诉他做什么，就可以完成工作，而不需要你亲自编写如何遍历数据的代码。许多非常复杂的处理要求，使用pandas解决是轻而易举，并且有非常好的扩展性。

我不想列出代码去占用篇幅了。如果你有兴趣，可以参考我头条号的文章，你会发现这些文章中的python解决方案，完全没有自己遍历数据的写法。以下是其中的一些文章：

• [Excel数据处理你是选择Vba还是Python？当然选择pandas](https://www.toutiao.com/i6713810410480337419/)

• 4篇"Python替代Excel Vba"系列文章

• 若干篇利用pandas做数据分析的案例文章

最后我还是要提醒你，一定要根据自己的情况选择适当的工具，这些都是辅助你工作的工具，不要被工具限制了你的思路

Python批量处理Excel的话，有许多现成的库可以直接使用，下面我简单介绍一下，感兴趣的朋友可以尝试一下：

01

xlrd、xlwt

这是Python 2个非常基础的Excel读写库，其中xlrd专门用于读取Excel，xlwt专门用于写入Excel，支持常见的行列、单元格操作，安装的话，直接在cmd窗口输入命令“pip intsall xlrd xlwt”即可，官方自带有非常详细的入门教程文档和API接口，非常适合开发者学习：

这里以简单的读取Excel为，测试代码如下，基本思想先打开Excel，获取工作表，然后根据所需直接读取对应行列和单元格内容即可，非常简单：

02

openpyxl

这是一个专门用于读取Excel的Python库，目前仅支持Excel 2010格式（xls不支持），操作单元格、行列，设置样式、插入图片等非常容易，安装的话，直接在cmd窗口输入命令“pip install openpyxl”即可，官方文档含有非常详细的代码示例和截图，非常适合初学者入门和学习：

测试代码如下，非常简单，以写入Excel为例，基本思想先创建一个Excel文件，然后获取工作表，最后再往对应单元格写入内容即可：

03

pandas

这是Python一个非常著名的数据处理库，在业界非常流行和受欢迎，内置了大量函数和数据类型，可以轻松处理Excel文件，并进行复杂的数据处理，代码量更少，功能也更强大，安装的话，直接在cmd窗口输入命令“pip install pandas”即可，官方自带有非常详细的入门教程，源码都可直接运行，非常适合开发者学习和使用：

这里以读写Excel为例，测试代码如下，非常简单，一行代码就可轻松获取或写入数据，功能非常强大，推荐使用：

目前，就介绍这3个非常不错的Python Excel处理库吧，对于日常办公和工作来说，非常不错，只要你有一定Python基础，熟悉一下相关文档和示例，很快就能掌握的，网上也有相关教程和资料，介绍的非常详细，感兴趣的话，可以搜一下，希望以上分享的内容能对你有所帮助吧，也欢迎大家评论、留言进行补充。

1.读入操作

def load_data():

filename = u'投资企业.xls'

data = xlrd.open_workbook(filename)

table = data.sheet_by_name(u'Sheet1')

# 选择第4列（从第2行到最后一行）

name_list = table.col_values(3)[1:]

# 返回list

return name_list

2.写入已存在excel

import xlrd

import xlwt

from xlutils.copy import copy

# 打开想要更改的excel文件

old_excel = xlrd.open_workbook('fileName.xls', formatting_info=True)

# 将操作文件对象拷贝，变成可写的workbook对象

new_excel = copy(old_excel)

# 获得第一个sheet的对象

ws = new_excel.get_sheet(0)

# 写入数据

ws.write(0, 0, '第一行，第一列')

ws.write(0, 1, '第一行，第二列')

ws.write(0, 2, '第一行，第三列')

ws.write(1, 0, '第二行，第一列')

ws.write(1, 1, '第二行，第二列')

ws.write(1, 2, '第二行，第三列')

# 另存为excel文件，并将文件命名

new_excel.save('new_fileName.xls')

结语：我建议试试vba编程？

　　在有关大数据分析Python API的本教程中，我们将学习如何从远程网站检索数据以进行数据科学项目。像baidu，Twitter和Facebook之类的网站都通过其应用程序编程接口(API)向程序员提供某些数据。要使用API，你需要向远程Web服务器发出请求，然后检索所需的数据。

　　但是，为什么要使用API而不是可以下载的静态数据集呢?API在以下情况下很有用：

　　a.数据变化很快。股票价格数据就是一个例子。重新生成数据集并每分钟下载一次并没有实际意义-这会占用大量带宽，而且速度很慢。

　　b.您需要一小部分更大的数据。Reddit评论就是一个例子。如果您只想在Reddit上发表自己的评论该怎么办?下载整个Reddit数据库，然后仅过滤您自己的注释并没有多大意义。

　　c.涉及重复计算。Spotify的API可以告诉您音乐的流派。从理论上讲，您可以创建自己的分类器，并使用它对音乐进行分类，但您将永远不会拥有Spotify所拥有的数据。

　　在上述情况下，API是正确的解决方案。对于本数据科学教程，我们将查询一个简单的API，以检索有关国际空间站(ISS)的数据。使用API可以节省我们自己进行所有计算的时间和精力。

　　大数据分析Python中的API请求

　　API托管在Web服务器上。当您www.google.com在浏览器的地址栏中键入内容时，您的计算机实际上是在向www.google.com服务器询问网页，然后该网页返回到您的浏览器。

　　API的工作方式几乎相同，除了您的程序要求数据而不是您的Web浏览器询问网页之外。这些数据通常以JSON格式返回(有关更多信息，请参阅有关使用JSON数据的教程)。

　　为了获取数据，我们向Web服务器发出请求。然后，服务器将回复我们的数据。在大数据分析Python中，我们将使用请求库来执行此操作。在此大数据分析Python API教程中，我们将为所有示例使用大数据分析Python 3.4。

　　请求类型

　　有许多不同类型的请求。最常用的一个GET请求用于检索数据。

　　我们可以使用一个简单的GET请求从OpenNotify API 检索信息。

　　OpenNotify具有多个API端点。端点是用于从API检索不同数据的服务器路由。例如，/commentsReddit API上的端点可能会检索有关注释的信息，而/users端点可能会检索有关用户的数据。要访问它们，您可以将端点添加到API 的基本URL中。

　　我们将在OpenNotify上看到的第一个端点是iss-now.json端点。该端点获取国际空间站的当前纬度和经度。如您所见，检索此数据不适用于数据集，因为它涉及服务器上的一些计算，并且变化很快。

　　您可以在此处查看OpenNotify上所有端点的列表。

　　OpenNotify API 的基本网址是http://api.open-notify.org，因此我们将其添加到所有端点的开头。

　　状态码

　　我们刚刚发出的请求的状态码为200。向Web服务器发出的每个请求都返回状态代码。状态代码指示有关请求发生的情况的信息。以下是与GET请求相关的一些代码：

　　a)200 -一切正常，结果已返回(如果有)

　　b)301—服务器正在将您重定向到其他端点。当公司切换域名或更改端点名称时，可能会发生这种情况。

　　c)401-服务器认为您未通过身份验证。当您没有发送正确的凭据来访问API时就会发生这种情况(我们将在以后的文章中讨论身份验证)。

　　d)400-服务器认为您提出了错误的请求。当您没有正确发送数据时，可能会发生这种情况。

　　e)403 —您尝试访问的资源被禁止—您没有正确的权限查看它。

　　f)404 -在服务器上找不到您尝试访问的资源。

　　现在http://api.open-notify.org/iss-pass，根据API文档，向不存在的端点发出GET请求。

　　击中正确的终点

　　iss-pass不是有效的端点，因此我们得到了一个404状态码作为相应。.json正如API文档所述，我们忘记在最后添加。

　　现在，我们将向发出GET请求http://api.open-notify.org/iss-pass.json。

　　查询参数

　　您将在上一个示例中看到，我们得到了一个400状态码，表示请求错误。如果您查看OpenNotify API的文档，我们会发现ISS Pass端点需要两个参数。

　　当ISS下次通过地球上的给定位置时，将返回ISS Pass端点。为了对此进行计算，我们需要将位置的坐标传递给API。为此，我们传递了两个参数-纬度和经度。

　　为此，我们可以在params请求中添加可选的关键字参数。在这种情况下，我们需要传递两个参数：

　　1)lat —我们想要的位置的纬度。

　　2)lon —我们想要的位置的经度。

　　我们可以使用这些参数制作字典，然后将它们传递给requests.get函数。

　　我们还可以通过将查询参数添加到url中来直接做同样的事情，如下所示：http://api.open-notify.org/iss-pass.json?lat=40.71&lon=-74。

　　将参数设置为字典几乎总是可取的，因为requests它可以处理一些事情，例如正确设置查询参数的格式。

　　我们将使用纽约市的坐标进行请求，然后查看得到的答复。

　　b'{n "message": "success", n "request": {n "altitude": 100, n "datetime": 1441417753, n "latitude": 40.71, n "longitude": -74.0, n "passes": 5n }, n "response": [n {n "duration": 330, n "risetime": 1441445639n }, n {n "duration": 629, n "risetime": 1441451226n }, n {n "duration": 606, n "risetime": 1441457027n }, n {n "duration": 542, n "risetime": 1441462894n }, n {n "duration": 565, n "risetime": 1441468731n }n ]n}'

　　b'{n "message": "success", n "request": {n "altitude": 100, n "datetime": 1441417753, n "latitude": 40.71, n "longitude": -74.0, n "passes": 5n }, n "response": [n {n "duration": 329, n "risetime": 1441445639n }, n {n "duration": 629, n "risetime": 1441451226n }, n {n "duration": 606, n "risetime": 1441457027n }, n {n "duration": 542, n "risetime": 1441462894n }, n {n "duration": 565, n "risetime": 1441468731n }n ]n}'

　　使用JSON数据

　　您可能已经注意到，响应的内容之前是a string(尽管它显示为bytes对象，但是我们可以使用轻松地将内容转换为字符串response.content.decode("utf-8"))。

　　字符串是我们将信息来回传递给API的方式，但是很难从字符串中获取我们想要的信息。我们如何知道如何解码返回的字符串并在大数据分析Python中使用它?我们如何altitude从字符串响应中找出ISS的含义?

　　幸运的是，有一种名为JavaScript Object Notation(JSON)的格式。JSON是一种将列表和字典之类的数据结构编码为字符串的方法，以确保它们易于被机器读取。JSON是将数据来回传递给API的主要格式，大多数API服务器将以JSON格式发送其响应。

　　json套件随附大数据分析Python强大的JSON支持。该json软件包是标准库的一部分，因此我们无需安装任何程序即可使用它。我们既可以将列表和字典转换为JSON，也可以将字符串转换为列表和字典。就我们的ISS Pass数据而言，它是一个字典，编码为JSON格式的字符串。

　　json库有两种主要方法：

　　1)dumps —接收一个大数据分析Python对象，并将其转换为字符串。

　　2)loads —接收JSON字符串，并将其转换为大数据分析Python对象。

　　从API请求获取JSON

　　通过使用.json()响应上的方法，您可以将响应的内容作为大数据分析Python对象获取。

　　{'response': [{'risetime': 1441456672, 'duration': 369}, {'risetime': 1441462284, 'duration': 626}, {'risetime': 1441468104, 'duration': 581}, {'risetime': 1441474000, 'duration': 482}, {'risetime': 1441479853, 'duration': 509}], 'message': 'success', 'request': {'latitude': 37.78, 'passes': 5, 'longitude': -122.41, 'altitude': 100, 'datetime': 1441417753}}

　　内容类型

　　服务器不仅会在生成响应时发送状态码和数据。它还发送包含有关如何生成数据以及如何对其进行解码的信息的元数据。这存储在响应头中。在大数据分析Python中，我们可以使用headers响应对象的属性来访问它。

　　标头将显示为字典。在标题中，content-type是目前最重要的键。它告诉我们响应的格式以及如何对其进行解码。大数据分析Python API入门教程https://www.aaa-cg.com.cn/data/2308.html对于OpenNotify API，格式为JSON，这就是为什么我们可以json更早地使用包对其进行解码的原因。

　　寻找太空中的人数

　　OpenNotify还有一个API端点astros.json。它告诉你当前有多少人在太空中。相应的格式可以在这里找到。

　　9

　　{'number': 9, 'people': [{'name': 'Gennady Padalka', 'craft': 'ISS'}, {'name': 'Mikhail Kornienko', 'craft': 'ISS'}, {'name': 'Scott Kelly', 'craft': 'ISS'}, {'name': 'Oleg Kononenko', 'craft': 'ISS'}, {'name': 'Kimiya Yui', 'craft': 'ISS'}, {'name': 'Kjell Lindgren', 'craft': 'ISS'}, {'name': 'Sergey Volkov', 'craft': 'ISS'}, {'name': 'Andreas Mogensen', 'craft': 'ISS'}, {'name': 'Aidyn Aimbetov', 'craft': 'ISS'}], 'message': 'success'}

　　大数据分析Python API数据科学教程：后续步骤

　　现在，您已经完成了大数据分析Python API教程，现在应该可以访问简单的API并发出get请求了。requests在我们的dataquest API和抓取课程中，还有其他几种类型，您可以了解更多信息以及与API身份验证一起使用。

　　建议的其他后续步骤是阅读请求文档，并使用Reddit API。有一个名为PRAW 的程序包，它使在大数据分析Python中使用Reddit API更加容易，但是建议requests首先使用它来了解一切的工作原理。

https://www.toutiao.com/i6832146415016215043/