ActiveMQ学习笔记（8）----ActiveMQ的消息存储持久化

1. 概述

　　ActiveMQ不仅支持persistent和non-persistent两种方式，还支持消息的恢复（recovery）方式。

2. PTP

　　Queue的存储是很简单的，其实就是FIFO的Queue

　　　　

2. PUB/SUB

　　对于持久化订阅主题，每一个消费者都将获得一个消息的复制。

　　　　

3. 有效的消息存储

　　ActiveMQ 提供了一个插件式的消息存储，类似于消息的多点传播，主要实现了如下几种：

　　1. AMQ消息存储-基于文件的存储方式，是以前默认的消息存储。

　　2. KahaDB消息存储-提供了容量的提升和恢复能力，是现在的默认存储方式。

　　3. JDBC 消息存储-消息基于JDBC存储的

　　4. Memory 消息存储-基于内存的消息存储

4. KahaDB Message Store概述

　　KahaDB是目前默认的存储方式，可用于任何场景，提高了性能和恢复能力。消息存储使用一个事务日志和仅仅用一个索引文件来存储它所有的地址。

　　KahaDB是一个专门针对消息持久化的解决方案，它对典型的消息使用模式进行了优化。在KahaDB中，数据被追加到data logs中，当不再需要log文件中的数据的时候，log文件会被丢弃。

5. KahaDB的基本配置例子

　　

<persistenceAdapter>

　　　　<kahaDB directory="${activemq.data}/kahadb"/>

　　</persistenceAdapter>

　　可用的属性有:

　　　　1. directory:KahaDB存放的路径，默认值是activemq-data

　　　　2. indexWriteBatchSize: 批量写入磁盘索引page数量，默认值1000

　　　　3. indexCacheSize: 内存中缓存索引page的数量，默认值10000

　　　　4. enableIndexWriteAsync: 是否支持异步索引，默认false

　　　　5. journalMaxFileLength: 设置每个消息data log的大小，默认是23MB

　　　　6. enableJournalDiskSyncs: 设置是否保证每个没有事务的内容，被同步写入磁盘，JMS持久化的时候需要，默认为true

　　　　7. cleanupInterval: 在检查到不再使用的消息后，在具体删除消息前的时间，默认30000

　　　　8. checkpointInterval: checkpoint的间隔时间，默认5000

　　　　9. ignoreMissingJournalfiles: 是否忽略丢失的消息日志文件，默认false

　　　　10. checkForGorruptJournalFiles:在启动的时候，将会验证消息文件是否损坏，默认false

　　　　11. checksumJournalFiles： 是否为每个消息日志文件提供checksun,默认false

　　　　12. archiveDataLogs: 是否移动文件到特定的路径，而不是删除它们，默认false

　　　　13. directoryArchive: 定义消息已经被消费过后，移动data log到路径，默认null

　　　　14. databaseLockedWaitDelay: 获取数据库锁的等待时间（userd by shared master/slave)，默认10000

　　　　15 maxAsyncJobs: 设置最大的可以存储的异步消息队列，默认值10000，可以和concurrent MessageProducers设置成一样的值。

　　　　16. concurrentStoreAndDispatchTransactions:是否分发消息到客户端，同时事务存储消息，默认为true.

　　　　17. concurrentStoreAndDispatchTopics:是否分发Topic消息到客户端，同时进行存储，默认为true.

　　　　18. concurrentStoreAndDispatchQueues:是否分发Queue消息到客户端，同时进行存储，默认为true.

6. 在Java中内嵌使用Broker，使用KahaDB的例子。

package com.wangx.activemq;

import org.apache.activemq.broker.BrokerService;
import org.apache.activemq.store.kahadb.KahaDBStore;

import java.io.File;

public class MyBroker {
    public static void main(String[] args) throws Exception {
        BrokerService brokerService = new BrokerService();
        File dataFileDir = new File("target/amq-in/kahadb");
        KahaDBStore kahaDBStore = new KahaDBStore();
        kahaDBStore.setDirectory(dataFileDir);
        //use a bigger journal file
        kahaDBStore.setJournalMaxFileLength(1024*100);
        kahaDBStore.setIndexWriteBatchSize(100);
        kahaDBStore.setEnableIndexWriteAsync(true);
        brokerService.setPersistenceAdapter(kahaDBStore);
        brokerService.addConnector("tcp://localhost:61616");
        brokerService.start();
    }
}

7. AMQ Message Store 概述

　　AMQ Message Store是ActiveMQ5.0缺省的持久化存储，它是一个基于文件，事务存储设计为快速消息存储的一个结构，该结构是以流的形式来进行消息交互的。

　　这种方式中，Message被保存到data logs中，同时被reference store进行索引以提高存取速度。Data logs 由一些单独的data log文件组成，缺省的文件大小是32M，如果某个消息的大小超过了data log文件的大小，那么可以修改配置以增加data log文件的大小。如果某个data log文件中的所有消息都被成功消费了，那么这个data log文件将会被标记，以便在下一轮的清理中被删除或者归档。

8. AMQ Message Store 配置示例

　

　<broker brokerName="broker" persistent="true" useShutdownHook="false">

　　　　<persistenceAdapter>
　　　　　　<amqPersistenceAdapter directory="${activemq.base}/data" maxFileLength="32MB/>

　　　　</persistenceAdapter>
　　</broker>

9. 使用JDBC来持久化消息

　　ActiveMQ支持使用JDBC来持久化消息，预定义的表如下：

　　1. 消息表，缺省表名为ACTIVEMQ ESGS queue和topic都存在里面，结构如下：

　　　　

　　2. ACTIVEMQ_ACKS表存储持久化订阅的信息和最后一个持久订阅接收的消息ID，结构如下

　　

　　2. 锁定表，缺省表名为ACTIVE_LOCK，用来确保某一时刻，只能有一个ActiveMQ broker实例来访问数据库，结构如下：

　　

10. 使用JDBC来持久化消息的配置示例

        <broker brokerName="test-broker" persistent="true"
                xmlns="http://activemq.apache.org/schema/core">
            <persistenceAdapter>
                <jdbcPersistenceAdapter dataSource="#mysql-ds"/>
            </persistenceAdapter>
       </broker>
       <!--需要加入对应版本的连接池依赖和数据库驱动jar-->
　    <bean name="mysql_ds" class="org.apache.commons.dbcp2.BasicDataSource" destroy-method="close">
　　    <property name="driverClassName" value="com.mysql.jdbc.Driver"/>
　　    <property name="url" value="jdbc:mysql://localhost:3306/test_mq?relaxAutoCommit=true"/>
　　    <property name="username" value="xing"/>    
　　    <property name="password" value="xing"/>
　　    <property name="maxTotal" value="200"/>
　　    <property name="poolPreparedStatements" value="true"/>
    </bean>

11. JDBC Message Store with ActiveMQ Journal

　　这种方式克服了JDBC Store的不足，使用快速的缓存写入技术，大大的提高了性能，配置如下：

 <beans>
        <broker brokerName="test-broker" persistent="true"
                xmlns="http://activemq.apache.org/schema/core">
            <persistenceFactory>
               <journalPersistenceAdapterFactory
                   journalLogFiles="4"
                   journalLogFileSize="32768"
                   useJournal="true"
                   useQuickJournal="true"
                   dataDirectory="activemq-data"/>
            </persistenceFactory>
        </broker>
    </beans>

12 JDBC Store 和JDBC Message Store with ActiveMQ Journal的区别

　　1. Jdbc with journal 的性能优于jdbc,

　　2. Jdbc 用于master/slave模式的数据库共享

　　3. Jdbc with journal不能用于master/slave模式

　　5. 一般情况下，推荐使用Jdbc with journal

13. Memory Message Store

　　内存消息存储主要是存储所有的持久化消息在内存中，这里没有动态的缓存存在，所以你必须注意设置你的broker所在的JVM和内存限制。

　　配置示例如下：

<beans>
        <broker brokerName="test-broker" persistent="true"
                xmlns="http://activemq.apache.org/schema/core">
            <transportConnectors>
                <transportConnector uri="tcp://localhost:61635"/>
            </transportConnectors>
        </broker>
    </beans>

　　在java中内嵌使用Broker，使用Memory的例子

package com.wangx.activemq;

import org.apache.activemq.broker.BrokerService;


public class MyBroker {
    public static void main(String[] args) throws Exception {
        BrokerService brokerService = new BrokerService();
        brokerService.setPersistent(false);
        brokerService.addConnector("tcp://localhost:61616");
        brokerService.start();
    }
}