最近学习了一下豆瓣的分布式 Key/Value 存储系统 BeansDB(v0.5.3)。
BeansDB 的作者 Davies 写的关于 BeansDB 的介绍:《beansdb卷土重来》。
BeansDB 的项目主页:http://code.google.com/p/beansdb/。
用户手册:http://code.google.com/p/beansdb/wiki/UserGuide。
下载地址:http://code.google.com/p/beansdb/downloads/list。
下载之后参照用户手册上的说明编译安装即可,非常简单。
启动 BeansDB 也很简单,如:
1
|
beansdb -d -p 7900 -H testdb |
其中 -p 指定端口,-H 指定数据文件存放的目录。
BeansDB 发布版中带有 Python 接口,用法如下(来自官网手册):
1
2
3
4
5
6
7
8
9
10
11
12
13
|
#python from dbclient import Beansdb cfg = { "localhost:7901" : range ( 16 ), "localhost:7902" : range ( 16 ), "localhost:7903" : range ( 16 ), } db = Beansdb(cfg, 16 ) db. set ( 'key' , 'value' ) v = db.get( 'key' ) db.delete( 'key' ) |
BeansDB 非常简单,基本上它只有三个操作:set、get以及delete。它甚至没有直接提供遍历所有 key 的方法,遍历所有 key 的话,需要 get(‘@’),然后继续遍历,不过,在数据量很大的情况下,这个遍历可能会花比较长的时间。
BeansDB 采用了 Bitcask 设计,将所有 key 的信息都保存在内存中。这样的好处是查找会特别快,但一个直接的缺点就是机器的内存限制了能存放的 key 的数目的上限。根据《beansdb卷土重来》中的介绍,一个 key 大约占用 20 字节,这样一台 8G 内存的服务器将可以存储约 4 亿个 key。当然,key 所对应的 value 是存储在硬盘上的。
BeansDB 比较适合存储中等大小的写入后就很少变化的内容,比如图片;不适合存储大量小碎片内容或会频繁更改的内容,比如日志;也不适合存储太大的文件,根据作者 Davies 的说法,BeansDB 默认设置单文件不超过 50M,实际上用它存储超过 10M 的文件感觉都不太合适。
另外,随着硬盘越来越便宜,目前各大 NoSQL 存储系统似乎都不太关心硬盘的占用量,为了追求写入速度,普遍使用追加的方式写新数据,当一个 key 的值发生变化时,系统只是在硬盘上追加一条记录,并不会把原来的值从硬盘上删除。这样一来,如果你存储的内容经常变化,一段时间后,你会发现硬盘占用量只 增不减。
请教了作者 Davies 之后,关于这个问题得到以下解决方案:
目前没有提供相关工具,可以用telnet 来控制:
12telnet localhost 7900
flush_all 0
这样对应的节点就会执行优化操作,tail -f /var/log/beansdb.log 能看到优化的信息,如果运行的时候设置的Log文件的话。
总的来说,BeansDB 安装和使用都非常简单,性能也不错,而且是国人开发的。如果有类似于大量图片存储这样的需求,可以尝试一下。
相关推荐
beansdb是豆瓣开发的分布式存储,本文档描述了beansdb的存储设计与实现。
BeansDB,豆瓣开源数据库存储系统,豆瓣
这是本人花了几天的时间对 目前beansdb的源代码进行的分析,其中核心部分每一行都有详细注释。详细注释的文件有htree.c hstore.c bitcask.c record.c beansdb.c,其它部分注释的比较少。因为其它部分不会影响我们的...
Beanseye 是豆瓣用 Go 语言开发的一个 BeansDB 的代理和监控器。
BeansDB 是一个主要针对大数据量、高可用性的分布式KeyValue存储系统,采用HashTree和简化的版本号来快速同步保证最终一致性(弱),一个简化版的Dynamo
beansdb -p 7901 -d -P/tmp/beansdb1.pid -L/tmp/beansdb1.log -H /home/gfreezy/beans/db/db1 -vv beansdb -p 7902 -d -P/tmp/beansdb2.pid -L/tmp/beansdb2.log -H /home/gfreezy/beans/db/db2 -vv 自定义设置。...
BeansDB 是一个主要针对大数据量、高可用性的分布式KeyValue存储系统,采用HashTree和简化的版本号来快速同步保证最终一致性(弱),一个简化版的 Dynamo。 它采用类似memcached的去中心化结构,在客户端实现数据...
什么是Beansdb? Beansdb是为大型在线系统设计的分布式键值存储系统,旨在实现高可用性和易于管理。 它采用了Amazon Dynamo的想法,然后进行了简化以保留“什么是Beansdb”? Beansdb是为大型在线系统设计的分布式...
4 BeansDB 4 简介 4 更新 4 特性 4 性能 4 Nuclear 4 两个设计上的Tips 4 Voldemort 4 Dynomite 4 Kai 4 未分类 4 Skynet 4 Drizzle 4 比较 4 可扩展性 4 数据和查询模型 4 持久化设计 5 应用篇 5 eBay 架构经验 5 ...
5月30日CTO俱乐部在北京举办的第99期主题活动的主讲嘉宾:洪强宁(豆瓣 首席架构师) 介绍豆瓣的技术架构和豆瓣自行开发的主要组件(如KV存储组件BeansDB,应用开发平台DAE,Python的Spark实现Dpark等)。...
1. 序 2. 思想篇 CAP ...BeansDB 简介 更新 特性 性能 Nuclear 两个设计上的T ips Voldemort Dynomite Kai 未分类 Skynet Drizzle 比较 可扩展性 数据和查询模型 持久化设计 5. 应用篇 eBay 架构经验