Python自动化如何优雅的操作数据库？

2020-05-20

今天要介绍的这个Python第三方库非常厉害，完美操作各种数据库。名字叫 records, 在网上很少有这个库的相关资料，但是在开源社区可是很火热的哦。如果这还不能打消你的顾虑，再告诉你一件事：如果你用 python 编程，你一定听过 requests, 这两个库是同一个作者写的。

一、快速使用

使用步骤：

1、连接数据库，返回 db 数据库对象

2、db 对象执行 sql 语句

# pip install records 安装
import records

# 获取数据库
db = records.Database('MySQL+pymysql://root:@localhost:3306/dev01_git')
# 查询
rows = db.query('select * from lemon_user')

获取数据库的格式是标准的 URL 格式，如果使用的不是 mysql 数据库，只需要换掉数据库类型就可以了：

二、创建表

# 连接数据库
db = records.Database('mysql+pymysql://root:@localhost:3306/dev01_git')

# 创建表
sql_create_table = """CREATE TABLE IF NOT EXISTS lemon_user (
name varchar(20),
age int
) DEFAULT CHARSET=utf8 ;"""
db.query(sql_create_table)

三、插入单条数据

records 支持使用 :variable 定义变量，通过参数传入完成动态传值，在需要动态加载数据的时候非常有用：

user = {"name": "yuze5", "age": 20}
db.query('INSERT INTO lemon_user(name,age) values (:name, :age)', **user)

四、插入多条数据

sql 语句在执行多条数据操作的时候非常不方便，尤其是当值还是变化的时候。 records 提供的 bulk_query 方法能快捷的插入和更新多条数据：

users = [
    {"name":"yuze", "age": 13},
    {"name":"yuze2", "age": 15},
    {"name":"yuze3", "age": 16}
]
db.bulk_query('INSERT INTO lemon_user(name,age) values (:name, :age)', users)

五、数据查询

查询到数据以后，可以通过 all() 方法获取所有的记录，支持 3 种类型。

默认是自己封装的 RecordCollection 对象，
也可以通过 as_dict=True 参数转成字典形式，
可以通过 as_ordereddict=True 转成排序字典形式

rows = db.query('SELECT * FROM lemon_user;')
# 得到所有数据
print(rows.all())
# 字典形式展示
print(rows.all(as_dict=True))
# 获取第一个
print(rows.first())
# 以字典形式获取第一个
print(rows.first(as_dict=True))
# 排序字典
print(rows.first(as_ordereddict=True))
# 查询唯一的一个
print(rows.one())

六、简洁的数据库事务支持

数据库事务是经常需要使用到的数据库操作，他通常是为了保持数据原子性和一致性。

比如一个转账的数据库操作：

1、从 yuze 账号中读取余额， 2、对 yuze 账号余额减去转账 - 400 3、从 chaoge 账号中把余额读出来 4、对 chaoge 账号做加法操作（+400）。

我们必须保证这 4 步同时执行成功，要么同时都不成功。如果前 2 步已经执行成功，但是到第 3 步发生了错误导致后面都不能执行，就会出现问题：yuze 的账号被扣了钱，但是 chaoge 的账号却没有加钱。

通过数据库事务就能避免这种情况。

with db.transaction() as tx:
    user = {"name": "yuze9", "age": 20}
    tx.query('INSERT INTO lemon_user(name,age) values (:name, :age)', **user)
    # 下面是错误的 sql 语句，有错误，则上面的 sql 语句不会成功执行。
    tx.query('sof')

七、数据导出为 json

数据库数据得到以后还需要进一步的操作，比如保存起来。

rows = db.query('SELECT * FROM lemon_user;')
json_rows = rows.export('yaml')
print(json_rows)

八、数据导出到 Excel 文件

最常用的是如果需要各种各样的报表，需要放到 excel 文件中保存起来。

rows = db.query('SELECT * FROM lemon_user;')
with open('users.xlsx', 'wb') as f:
    f.write(rows.export('xlsx'))

导出的数据效果：

九、总结

records 支持多种不同的数据库；
records 的方法非常简单和统一，不像 pymysql 还需要记住如游标对象这样的底层信息；
自动实现上下文管理器，不需要关注链接状态；
支持 :variable 方言，以安全的形式进行动态参数传递，防止 sql 语句不规范导致的安全问题；
支持数据库事务，保持数据的原子性和一致性；
轻松导出为 json, yaml, xls, xlsx, pandas, html 等多种数据格式。
源码非常简单，你一定看得懂。

Python自动化 如何优雅的操作数据库？