在python下boto3与dynamoDB 的基本交互和如何进行表的备份与恢复

百变鹏仔 2个月前 (02-07) #Python

文章标签备份

参考资料：http://boto3.readthedocs.io/en/latest/reference/services/dynamodb.html

最近因工作需要，研究了一下boto3中dynamoDB部分，略有心得，在此总结一下。

首先是boto3的安装，在装有python和pip的机器上，运行

sudo pip install boto3

官网文档里，boto3提供的与dynamoDB交互的接口有以下几种：

立即学习“Python免费学习笔记（深入）”；

点击下载“嗨格式数据恢复大师”；

batch_get_item()batch_write_item()can_paginate()create_table()delete_item()delete_table()describe_limits()describe_table()describe_time_to_live()generate_presigned_url()get_item()get_paginator()get_waiter()list_tables()list_tags_of_resource()put_item()query()scan()tag_resource()untag_resource()update_item()update_table()update_time_to_live()

说白了，就是对表和记录的增、删、查、改。本文主要描述我最近使用的那几个接口。

要在python中使用boto3，就得先import boto3。当然，这是废话。为了使用方便，我先写了一个json格式的配置文件，如下：

{"region_name":"xxx","aws_access_key_id":"xxx","aws_secret_access_key":"xxx"}

然后封装了一个专门用于操作dynamoDB的类，目前什么都没有

class dynamodb_operation():

它需要一个读取json文件的方法：

    def load_json(self,path):try:            with open(path) as json_file:                data = json.load(json_file)except Exception as e:print 'ERROR: no such file like ' + path            exit(-1)else:return data

由于读进来的文件可能不是json格式，我这里就是想让他报个错，然后退出。如果不想让它退出，在except里改改就好了。

然后，我希望这个类有一个私有成员client，在我实例化对象的时候就建立好连接，于是，有了以下初始化方法：

    def __init__(self,path):        conf = self.load_json(path)        self.client = boto3.client('dynamodb',region_name=conf['region_name'],aws_access_key_id=conf['aws_access_key_id'], aws_secret_access_key=conf['aws_secret_access_key'])

与之前的配置文件是对应的。

有了这个基础，就可以封装自己想要使用的方法了。各方法的在官网上的说明就不照搬过来了。

1、列出dynamoDB中的所有的表

    def list_all_table(self):        page=1LastEvaluationTableName = ""while True:if page == 1:                response = self.client.list_tables()else:                response = self.client.list_tables(                        ExclusiveStartTableName=LastEvaluationTableName                        )            TableNames = response['TableNames']for table in TableNames:print tableif response.has_key('LastEvaluatedTableName'):                LastEvaluationTableName = response["LastEvaluatedTableName"]else:breakpage += 1

list_table()方法一次最多只能获取100张表的表名，并且在每次返回的时候，key为"LastEvaluatedTableName"的值为最后一张表的表名，可以做为下次请求的时候的参数。这样循环调用，即可获取所有的表名。如果后面没有表了，response里将不会有LastEvaluatedTableName。此处我只是想把表名打印到终端，如果想保存起来，也是可以的。

2、获取某张表的信息 describe_table()

    def get_table_desc_only(self,table):try:            response = self.client.describe_table(TableName=table)except Exception as e:print 'ERROR: no such table like ' + table            exit(-1)else:return response["Table"]

此处只是将response["Table"]原原本本地返回，没有做其它处理。

如果我想知道一张表的大小，可以：

    def get_table_size(self,table):        response = self.get_table_desc_only(table)        stastic = {}        stastic['TableSizeBytes'] = response['TableSizeBytes']        stastic['ItemCount'] = response['ItemCount']return stastic

如果想知道其它信息，而且是只想知道那些信息的话，也可以写出对应的方法。

3、创建一张表

    def create_table(self,tablename,keySchema,attributeDefinitions,provisionedThroughput):        table = self.client.create_table(                TableName=tablename,                KeySchema=keySchema,                AttributeDefinitions=attributeDefinitions,                ProvisionedThroughput=provisionedThroughput                )# Wait until the table exists.self.client.get_waiter('table_exists').wait(TableName=tablename)        response = self.client.describe_table(TableName=tablename)print response

这是在创建一张没有索引的表。创表需要时间，所以使用了get_waiter()方法。

4、插入数据

    def put_item(self,tableName,item):try:            self.client.put_item(                    TableName=tableName,                    Item=item                    )except Exception as e:print 'ERROR: put item fail. msg: ' + str(e)            exit(-1)else:return

封装的此方法需要传入的是一个格式正确的json，并且key要与表对应。比如：

{'uid':{'N':'999'},'aid':{'N':'999'},'sid':{'N':'999'},'ksid':{'N':'999'}}

5、删表

    def delete_table(self,table):try:            self.client.delete_table(                    TableName=table                    )   except Exception as e:print 'ERROR: delete table ' + table + ' fail. msg: ' + str(e)else:print 'delete table ' + table + ' succ'

未完待续.....

文章推荐

在python下boto3与dynamoDB 的基本交互和如何进行表的备份与恢复

Python实现字典的key和values的交换

使用Python脚本来获取Cisco设备信息的示例

Python的Django中django-userena组件的简单使用教程

零基础写python爬虫之神器正则表达式

零基础写python爬虫之抓取百度贴吧代码分享