必威体育Betway必威体育官网
当前位置：首页 > IT技术

BookKeeper全解（1）-BookKeeper简介和快速上手

时间:2019-06-19 19:40:00来源:IT技术作者:seo实验室小编阅读:81次「手机版」
　

bookkeeper

什么是bookkeeper

BookKeeper是一个提供日志条目流存储持久化的服务框架。特别适合日志流存储，一个比较经典的应用是作为消息队列Pulsar的持久框架。

那么BookKeeper是怎样产生的呢？

这个灵感来源于Hadoop生态系统。我们知道，Haddop生态系统的文件存储是HDFS，HDFS包含一种节点叫做NameNode，用于记录所有的操作，在宕机的时候可以通过这些记录进行恢复。

基于NameNode，BookKeeper拓展了其功能，设计成了一个基于递增存储的存储系统，主要用于：

  • 高效写
  • 基于复制的高容错（消息在ensembles之间复制，这个概念之后会讲）
  • 高吞吐量写

快速部署

我们这里只为了部署一个调试环境，并不是生产环境：

首先，拉下来BookKeeper的代码：

git clone https://github.com/apache/bookkeeper.git

之后，我们在conf目录下可以看到：

conf
└─bk_cli_env.sh
└─bk_server.conf
└─bkenv.sh
└─jaas_example.conf
└─log4j.properties
└─log4j.cli.properties
└─log4j.shell.properties
└─nettyenv.sh
└─standalone.conf
└─zookeeper.conf
└─zookeeper.conf.dynamic

Bookeeper提供了本地启动测试的类org.apache.bookkeeper.util.localBookKeeper，但是这个不太好调试，我们想搞清楚实际BookKeeper的工作模式还有部署，最好做一个相对完整的本地环境出来

编译代码，之后先在本地启用一个ZooKeeper，这个直接下载最新版的，直接默认配置启动即可（默认端口是2181）

之后，我们编写三个不同Bookie（就是一个BookKeeper Server）的配置文件，用于之后启动：

Bookie1：

#############################################################################
## Server parameters
#############################################################################

bookiePort=3181
extraServercomponents=

#############################################################################
##  server settings
#############################################################################

httpServerEnabled=false
httpServerPort=8080
httpServerClass=org.apache.bookkeeper.http.vertx.VertxHttpServer

############################################## Bookie Storage ##############################################


#############################################################################
## Journal settings
#############################################################################

journalDirectories=d:/tmp1/bk-txn

#############################################################################
## Ledger storage settings
#############################################################################

ledgerDirectories=d:/tmp1/bk-data
indexDirectories=d:/tmp1/bk-data

############################################## Metadata Services ##############################################


#############################################################################
## Metadata Service settings
#############################################################################

metadataServiceUri=zk+hierarchical://localhost:2181/ledgers

#############################################################################
## ZooKeeper Metadata Service settings
#############################################################################

zkServers=localhost:2181
zkTimeout=10000
zkEnableSecurity=false

##################################################################
##################################################################
# Settings below are used by stream/table service
##################################################################
##################################################################

### Grpc Server ###
storageserver.grpc.port=4181

### Dlog Settings for table service ###

#### Replication Settings
dlog.bkcEnsembleSize=3
dlog.bkcWriteQuorumSize=2
dlog.bkcAckQuorumSize=2

### Storage ###

# local storage directories for storing table ranges data (e.g. rocksdb sst files)
storage.range.store.dirs=d:/tmp1/bookkeeper/ranges

# whether the storage server capable of serving readonly tables. default is false.
storage.serve.readonly.tables=false

# the cluster controller schedule Interval, in milliseconds. default is 30 seconds.
storage.cluster.controller.schedule.interval.ms=30000

Bookie2：

#############################################################################
## Server parameters
#############################################################################

bookiePort=3182
extraServerComponents=

#############################################################################
##  server settings
#############################################################################

httpServerEnabled=false
httpServerPort=8081
httpServerClass=org.apache.bookkeeper.http.vertx.VertxHttpServer

############################################## Bookie Storage ##############################################


#############################################################################
## Journal settings
#############################################################################

journalDirectories=d:/tmp2/bk-txn

#############################################################################
## Ledger storage settings
#############################################################################

ledgerDirectories=d:/tmp2/bk-data
indexDirectories=d:/tmp2/bk-data

############################################## Metadata Services ##############################################


#############################################################################
## Metadata Service settings
#############################################################################

metadataServiceUri=zk+hierarchical://localhost:2181/ledgers

#############################################################################
## ZooKeeper Metadata Service settings
#############################################################################

zkServers=localhost:2181
zkTimeout=10000
zkEnableSecurity=false

##################################################################
##################################################################
# Settings below are used by stream/table service
##################################################################
##################################################################

### Grpc Server ###
storageserver.grpc.port=4182

### Dlog Settings for table service ###

#### Replication Settings
dlog.bkcEnsembleSize=3
dlog.bkcWriteQuorumSize=2
dlog.bkcAckQuorumSize=2

### Storage ###

# local storage directories for storing table ranges data (e.g. rocksdb sst files)
storage.range.store.dirs=d:/tmp2/bookkeeper/ranges

# whether the storage server capable of serving readonly tables. default is false.
storage.serve.readonly.tables=false

# the cluster controller schedule interval, in milliseconds. default is 30 seconds.
storage.cluster.controller.schedule.interval.ms=30000

Bookie3：

#############################################################################
## Server parameters
#############################################################################

bookiePort=3183
extraServerComponents=

#############################################################################
##  server settings
#############################################################################

httpServerEnabled=false
httpServerPort=8082
httpServerClass=org.apache.bookkeeper.http.vertx.VertxHttpServer

############################################## Bookie Storage ##############################################


#############################################################################
## Journal settings
#############################################################################

journalDirectories=d:/tmp3/bk-txn

#############################################################################
## Ledger storage settings
#############################################################################

ledgerDirectories=d:/tmp3/bk-data
indexDirectories=d:/tmp3/bk-data

############################################## Metadata Services ##############################################


#############################################################################
## Metadata Service settings
#############################################################################

metadataServiceUri=zk+hierarchical://localhost:2181/ledgers

#############################################################################
## ZooKeeper Metadata Service settings
#############################################################################

zkServers=localhost:2181
zkTimeout=10000
zkEnableSecurity=false

##################################################################
##################################################################
# Settings below are used by stream/table service
##################################################################
##################################################################

### Grpc Server ###
storageserver.grpc.port=4182

### Dlog Settings for table service ###

#### Replication Settings
dlog.bkcEnsembleSize=3
dlog.bkcWriteQuorumSize=2
dlog.bkcAckQuorumSize=2

### Storage ###

# local storage directories for storing table ranges data (e.g. rocksdb sst files)
storage.range.store.dirs=d:/tmp3/bookkeeper/ranges

# whether the storage server capable of serving readonly tables. default is false.
storage.serve.readonly.tables=false

# the cluster controller schedule interval, in milliseconds. default is 30 seconds.
storage.cluster.controller.schedule.interval.ms=30000

可以看到，这三个实例用的是同一个ZK，这样他们就形成了集群。

但是ZK中的原始元数据，需要手工初始化，这就用到了一个类：org.apache.bookkeeper.bookie.BookieShell

我们用任意一个配置文件作为参数，即可完成初始化

我用的IDE是IDEA，这里配置BookieShell运行初始化：

  • 主类选择org.apache.bookkeeper.bookie.BookieShell
  • VM options填写：-DentryformatterClass=${ENTRY_FORMATTER_CLASS:-org.apache.bookkeeper.util.StringEntryFormatter}
  • Program aruguments填写：--conf ./conf/bk_server_1.conf metaformat

    image

之后启动，可以看到日志：

2018-10-16 15:43:14,766 - INFO  - [main:MetadataDrivers@107] - BookKeeper metadata driver manager initialized

然后，开始配置三个Bookie的启动：

  • 主类选择org.apache.bookkeeper.server.Main
  • Program aruguments填写：--conf ./conf/bk_server_1.conf, 另外两个分别填写--conf ./conf/bk_server_2.conf和--conf ./conf/bk_server_3.conf

image

编写配置好后，启动三个Bookie（为何启动三个，默认配置情况下，一个ledger至少要写到两个Bokkie中，Bookies需要选举出最合适的，这个选举算法至少需要三个Bookie）：

2018-10-16 16:00:01,923 - INFO  - [main:Main@110] - Using configuration file ./conf/bk_server_1.conf
2018-10-16 16:00:01,935 - INFO  - [main:Main@267] - Hello, I'm your bookie, listening on port 3181. Metadata service uri is zk+hierarchical://localhost:2181/ledgers. Journals are in [d:/tmp1/bk-txn]. Ledgers are stored in d:/tmp1/bk-data.
2018-10-16 16:00:02,045 - INFO  - [main:Main@296] - Load lifecycle component : org.apache.bookkeeper.server.service.StatsProviderService
2018-10-16 16:00:02,304 - INFO  - [main:BookieServer@94] - {
  "storage.cluster.controller.schedule.interval.ms" : "30000",
  "zkEnableSecurity" : "false",
  "dlog.bkcAckQuorumSize" : "2",
  "indexDirectories" : "d:/tmp1/bk-data",
  "zkServers" : "localhost:2181",
  "storage.range.store.dirs" : "d:/tmp1/bookkeeper/ranges",
  "httpServerPort" : "8080",
  "dlog.bkcWriteQuorumSize" : "2",
  "bookiePort" : "3181",
  "storage.serve.readonly.tables" : "false",
  "ledgerDirectories" : "d:/tmp1/bk-data",
  "zkTimeout" : "10000",
  "httpServerClass" : "org.apache.bookkeeper.http.vertx.VertxHttpServer",
  "httpServerEnabled" : "false",
  "metadataServiceUri" : "zk+hierarchical://localhost:2181/ledgers",
  "dlog.bkcEnsembleSize" : "3",
  "journalDirectories" : "d:/tmp1/bk-txn",
  "storageserver.grpc.port" : "4181",
  "extraServerComponents" : ""
}
2018-10-16 16:00:03,032 - INFO  - [main:MetadataDrivers@107] - BookKeeper metadata driver manager initialized
2018-10-16 16:00:03,033 - INFO  - [main:MetadataDrivers@107] - BookKeeper metadata driver manager initialized
2018-10-16 16:00:03,033 - INFO  - [main:MetadataDrivers@107] - BookKeeper metadata driver manager initialized
2018-10-16 16:00:03,167 - INFO  - [main:Bookie@399] - Stamping new cookies on all dirs [d:\tmp1\bk-txn\current] [d:\tmp1\bk-data\current, d:\tmp1\bk-data\current]
2018-10-16 16:00:03,368 - WARN  - [main:Bookie@302] - Dirs: [d:\tmp1\bk-data\current, d:\tmp1\bk-data\current] are in same diskpartition/FileSystem: (d:)
2018-10-16 16:00:03,373 - INFO  - [main:Bookie@644] - instantiate ledger manager org.apache.bookkeeper.meta.HierarchicalLedgerManagerFactory
2018-10-16 16:00:03,415 - ERROR - [main:Journal$LastLogMark@244] - problems reading from d:\tmp1\bk-data\current\lastMark (this is okay if it is the first time starting this bookie
2018-10-16 16:00:03,420 - INFO  - [main:Bookie@700] - Using ledger storage: org.apache.bookkeeper.bookie.SortedLedgerStorage
2018-10-16 16:00:03,500 - INFO  - [main:IndexpersistenceMgr@107] - openFilelimit = 20000
2018-10-16 16:00:03,539 - INFO  - [main:IndexInMemPageMgr@377] - maxDirectMemory = 259522560, pageSize = 8192, pageLimit = 10560
2018-10-16 16:00:03,594 - INFO  - [main:ScanAndCompareGarbageCollector@107] - Over Replicated Ledger Deletion : enabled=true, interval=86400000
2018-10-16 16:00:03,603 - INFO  - [main:GarbageCollectorThread@253] - Minor Compaction : enabled=true, threshold=0.20000000298023224, interval=3600000
2018-10-16 16:00:03,603 - INFO  - [main:GarbageCollectorThread@255] - Major Compaction : enabled=true, threshold=0.800000011920929, interval=86400000
2018-10-16 16:00:03,734 - INFO  - [main:Main@303] - Load lifecycle component : org.apache.bookkeeper.server.service.BookieService
2018-10-16 16:00:03,748 - INFO  - [main:ComponentStarter@79] - Starting component bookie-server.
2018-10-16 16:00:03,753 - INFO  - [main:Bookie@853] - Finished replaying journal in 3 ms.
2018-10-16 16:00:03,756 - INFO  - [SyncThread-7-1:SyncThread@136] - Flush ledger storage at checkpoint CheckpointList{checkpoints=[LogMark: logFileId - 0 , logFileoffset - 0]}.
2018-10-16 16:00:03,786 - INFO  - [main:Bookie@892] - Finished reading journal, starting bookie
2018-10-16 16:00:03,787 - INFO  - [BookieJournal-3181:Journal@932] - Starting journal on d:\tmp1\bk-txn\current
2018-10-16 16:00:03,789 - INFO  - [ForceWriteThread:Journal$ForceWriteThread@471] - ForceWrite Thread started
2018-10-16 16:00:03,828 - INFO  - [BookieJournal-3181:JournalChannel@154] - Opening journal d:\tmp1\bk-txn\current\1667be392ce.txn
2018-10-16 16:00:04,078 - INFO  - [main:ComponentStarter@81] - Started component bookie-server.
2018-10-16 16:00:04,309 - INFO  - [BookieJournal-3181:NativeIO@48] - Unable to link C library. Native methods will be disabled.

之后我们简单编写个测试程序，来看下日志写入读取效果：

public class TestClient {
    public static void main(String[] args) throws InterruptedException, BKException, IOException {
        BookKeeper bkc = new BookKeeper("localhost:2181");
        // A password for the new ledger
        byte[] ledgerPassword = "test".getBytes();

        // Create a new ledger and fetch its identifier
        Ledgerhandle lh = bkc.createLedger(BookKeeper.DigestType.MAC, ledgerPassword);
        long ledgerId = lh.getId();

        // Create a buffer for four-byte entries
        ByteBuffer entry = ByteBuffer.allocate(4);

        int numberOfEntries = 10;

        // Add entries to the ledger, then close it
        for (int i = 0; i < numberOfEntries; i++) {
            entry.putInt(i);
            entry.position(0);
            lh.addEntry(entry.array());
        }
        lh.close();

        // Open the ledger for reading
        lh = bkc.openLedger(ledgerId, BookKeeper.DigestType.MAC, ledgerPassword);

        // Read all available entries
        Enumeration<LedgerEntry> entries = lh.readEntries(0, numberOfEntries - 1);

        while (entries.hasMoreElements()) {
            ByteBuffer result = ByteBuffer.wrap(entries.nextElement().getEntry());
            integer retrEntry = result.getInt();

            // print the integer stored in each entry
            System.out.println(string.format("Result: %s", retrEntry));
        }

        // Close the ledger and the client
        lh.close();
        bkc.close();
    }
}

运行，可以看到输出：

Result: 0
Result: 1
Result: 2
Result: 3
Result: 4
Result: 5
Result: 6
Result: 7
Result: 8
Result: 9

BookKeeper基本概念

在BookKeeper中：

  • 每一块日志是一个entry
  • 日志流被定义为ledgers
  • 每个独立的保存ledges的服务器叫做bookies

Entries

Entries包含真正的数据，其中也包含一些元数据：

每个entry有如下的fields：

Field 类型 描述
Ledger number long 属于的Ledger的ID标识
Entry number long 标识自身的全局唯一ID
Last confirmed (LC) long 上一个entry的全局唯一ID
Data byte[] 日志数据
Authentication code byte[] 校验码

Ledgers

Ledgers是BookKeeper中的基本存储单元

Ledgers是一组Entries，每个Entry有序的并且至多一次写入到Ledgers中。一旦写入Ledgers，将不能再修改。所以，写入保持有序写入是客户端应用应该考虑的事情。

Bookies 和 Ensemble

Bookie是一个独立的BookKeeper服务器,处理Ledgers片段（因为每个Bookie保存的是每个Ledgers的片段，不是完整的Ledgers）。

一个Ensemble是一个Bookies集合，他们共同保存着一个Ledger的所有entries。通常一个Ensemble是整个Bookies集群的子集。

BookKeeper API简介

BookKeeper的客户端主要负责创建删除ledgers，并且从ledgers中读取entries。

BookKeeper提供两种API，Ledger API还有DistributedLog API；顾名思义，Ledger API提供了直接与Ledger交互的接口，DistributedLog API不直接与ledger交互而是与Bookeeper集群交互。

BookKeeper 元数据存储

BookKeeper需要第三方存储用于保存关于ledgers的信息还有可用的Bookies（相当于分布式协调）。

目前BookKeeper利用ZooKeeper实现元数据存储

相关阅读

从游戏角度，看支付宝发1000万红包为何反被吐槽？

去年春节时期，微信推出红包功能，并籍此一度成为热点话题，今年春节临近，各大公司都开始纷纷效仿。支付宝推出了总价为6亿元的抢红包活

APP推广经验：如何做到0推广费获取10万用户，日增1000用户

初做APP，经常从seo实验室吸取运营经验，小有成绩，将我的运营经验拿出来跟大家分享一下！我们的APP在零推广费用的基础上短短几个月获得

优酷起诉自媒体鞭牛士：因其发布不实消息被要求索赔1000

A5创业网（公众号：iadmin5）1月11日报道，优酷对外宣布将起诉网络自媒体&ldquo;BiaNews（鞭牛士）&rdquo;传播不实信息，侵犯优酷商誉，索赔1000

如何不花钱搞定1000个铁杆用户？

小编导读 : 2015年，金错刀频道会启动一个创业公益项目——《创业狠问答》。第一季就是“不花钱”系列。我被很多创业者问的最多的

论-100000乘以-100000

论-100000乘以-100000 #我真是闲的无聊，菜的一批，才会去论-10000乘以-100000，但我不知道为什么会爆？#计算完成之后类型转换#计算完成

赞()
分享到:

猜你喜欢

栏目导航

推荐阅读

热门阅读

seo实验室提供seo优化服务，有网站优化、网站建设、运营推广等需求请联系我们!
Copyright © 2001-2017 .seo实验室 版权所有 网站地图