• PostgreSQL Replication之第十一章 使用Skytools(4)


    11.4 使用 londiste 复制数据

    pgq是一个叫做londiste的复制工具的核心。londiste 的核心是有一个比如比Slony 更加简单,容易使用的机制。如果您在一个大的安装中使用Slony,在集群方面的一个问题很容易引起其他方面的问题—在许多年前,但Slony还是相当新的时候,这尤其是如此。

    和Slony相比,londiste的主要优势是,在londiste的情况下,每个“程序”复制就会有一个进程。所以,如果您从A复制到B,这个通道将被一个londiste进程管理。如果您从B复制到A或者从A复制到C,将会有这些独立的进程,这些进程相互之间都是彼此独立的。所有的从A到其它地方的通道可能共享一个接收者的队列,但是,传输进程之间不会相互交互。使用这种方法有些好处,因为如果一个组件出现故障,它不太可能导致其它问题—这不是所有进程交互的情况,因为这是Slony 的情况。对我来说这是londiste和Slony相比最关键的优势。

    11.4.1 复制我们的第一个表

    在这个理论的介绍之后,我们就可以向前继续,复制我们的第一个 表。要做到这一点,我们在同一个实例中创建两个数据库(这些数据库是否在同一个实例或者相距甚远并没有什么区别):

    hs@hs-VirtualBox:~$ createdb node1

    hs@hs-VirtualBox:~$ createdb node2

    就像以前一样,我们将创建两个数据库中的表:

    node1=# CREATE TABLE t_test (id int4, name text,

    t timestamp DEFAULT now(),

    PRIMARY KEY (id));

    NOTICE: CREATE TABLE / PRIMARY KEY will create implicit index "t_

    test_pkey" for table "t_test"

    CREATE TABLE

    在Slony的章节中,我们已经看到了,DDL不被复制。该规则同样适用于 londiste,因为在PostgreSQL方面,这两个系统都面临这同样的限制。

    在我们深入细节之前—让我们简单地总结一些复制我们的表的接下来的步骤:

    • 写一个init 文件并初始化master.

    • 在master上启动 londiste

    • 写一个slave配置并初始化slave

    • 在slave上启动londiste

    • 写一个ticker 配置并启动ticker

    • 添加所需要的来复制

    让我们从该国过程的第一部分开始。我们必须创建一个init 文件,它应该控制master;

    [londiste3]

    job_name = first_table

    db = dbname=node1

    queue_name = replication_queue

    logfile = /home/hs/log/londiste.log

    pidfile = /home/hs/pid/londiste.pid

    这里重要的部分是每项工作必须有一名字。这对于我们容易区分这些进程有意义。然后,我们必须定义一个到master的连接字符串,以及所以涉及的复制队列的名称。最后,我们可以配置一个PID和一个日志文件。

    [每一项工作都必须有一个名字。这是要求的,因为Slony在集群上有一个单一的进程(因此,集群名称是足够的),但是londiste 的情况是每个程序有一个进程。]

    要安装重要的东西,以及要初始化master节点,我们可以调用 londiste:

    hs@hs-VirtualBox:~/skytools$ londiste3 londiste3.ini create-root node1

    dbname=node1

    2013-05-15 13:37:24,902 3999 WARNING No host= in public connect

    string, bad idea

    2013-05-15 13:37:25,118 3999 INFO plpgsql is installed

    2013-05-15 13:37:25,119 3999 INFO Installing pgq

    2013-05-15 13:37:25,119 3999 INFO Reading from /usr/local/share/

    skytools3/pgq.sql

    2013-05-15 13:37:25,327 3999 INFO pgq.get_batch_cursor is installed

    2013-05-15 13:37:25,328 3999 INFO Installing pgq_ext

    2013-05-15 13:37:25,328 3999 INFO Reading from /usr/local/share/

    skytools3/pgq_ext.sql

    2013-05-15 13:37:25,400 3999 INFO Installing pgq_node

    2013-05-15 13:37:25,400 3999 INFO Reading from /usr/local/share/

    skytools3/pgq_node.sql

    2013-05-15 13:37:25,471 3999 INFO Installing londiste

    2013-05-15 13:37:25,471 3999 INFO Reading from /usr/local/share/

    skytools3/londiste.sql

    2013-05-15 13:37:25,579 3999 INFO londiste.global_add_table is

    installed

    2013-05-15 13:37:25,670 3999 INFO Initializing node

    2013-05-15 13:37:25,674 3999 INFO Location registered

    2013-05-15 13:37:25,755 3999 INFO Node "node1" initialized for queue

    "replication_queue" with type "root"

    2013-05-15 13:37:25,761 3999 INFO Done

    在Skytools中,这里有一个简单的规则:给脚本传递的第一个脚本总是包含所需配置的INI文件。然后是一些指令以及一些参数。这个调用将安装所有需要的基础设施并返回Done。

    一旦这个操作完成,我们就可以启动一个工作进程:

    hs@hs-VirtualBox:~/skytools$ londiste3 londiste3.ini worker

    2013-05-15 13:41:31,761 4069 INFO {standby: 1}

    2013-05-15 13:41:42,801 4069 INFO {standby: 1}

    在master上启动了工作进程之后,我们可以看看slave的配置:

     

    [londiste3]

    job_name = first_table_slave

    db = dbname=node2

    queue_name = replication_queue

    logfile = /home/hs/log/londiste_slave.log

    pidfile = /home/hs/pid/londiste_slave.pid

    这里主要的区别是,我们使用不同的连接字符串和一个不同的工作的名字。如果master和slave是两个独立的机器,剩下的将是一样。

    一旦我们编译了配置,我们就可以创建叶子节点:

    hs@hs-VirtualBox:~/skytools$ londiste3 slave.ini create-leaf node2

    dbname=node2 --provider=dbname=node1

    2013-05-15 13:51:27,090 4246 WARNING No host= in public connect

    string, bad idea

    2013-05-15 13:51:27,117 4246 INFO plpgsql is installed

    2013-05-15 13:51:27,118 4246 INFO pgq is installed

    2013-05-15 13:51:27,122 4246 INFO pgq.get_batch_cursor is installed

    2013-05-15 13:51:27,122 4246 INFO pgq_ext is installed

    2013-05-15 13:51:27,123 4246 INFO pgq_node is installed

    2013-05-15 13:51:27,124 4246 INFO londiste is installed

    2013-05-15 13:51:27,126 4246 INFO londiste.global_add_table is

    installed

    2013-05-15 13:51:27,205 4246 INFO Initializing node

    2013-05-15 13:51:27,291 4246 INFO Location registered

    2013-05-15 13:51:27,308 4246 INFO Location registered

    2013-05-15 13:51:27,317 4246 INFO Subscriber registered: node2

    2013-05-15 13:51:27,321 4246 INFO Location registered

    2013-05-15 13:51:27,324 4246 INFO Location registered

    2013-05-15 13:51:27,334 4246 INFO Node "node2" initialized for queue

    "replication_queue" with type "leaf"

    2013-05-15 13:51:27,345 4246 INFO Done

    这里的关键是要告诉slave 从哪里找到master(提供者)。一旦系统知道从哪里找到所有的数据,我们就可以启动这里的worker了。

    hs@hs-VirtualBox:~/skytools$ londiste3 slave.ini worker

    2013-05-15 13:55:10,764 4301 INFO Consumer uptodate = 1

    如果之前的命令已经成功运行了,这不会引起任何问题并正常工作。既然我们所有的工作都已就绪,我们可以进行最后的组件的安装—ticker进程:

    [pgqd]

    logfile = /home/hs/log/pgqd.log

    pidfile = /home/hs/pid/pgqd.pid

    ticker 的配置文件相当简单,--它所需要只有三行。这足以启动ticker 进程:

    hs@hs-VirtualBox:~/skytools$ pgqd pgqd.ini

    2013-05-15 14:01:12.181 4683 LOG Starting pgqd 3.1.4

    2013-05-15 14:01:12.188 4683 LOG auto-detecting dbs ...

    2013-05-15 14:01:12.310 4683 LOG test: pgq version ok: 3.1.3

    2013-05-15 14:01:12.531 4683 LOG node1: pgq version ok: 3.1.3

    2013-05-15 14:01:12.596 4683 LOG node2: pgq version ok: 3.1.3

    2013-05-15 14:01:42.189 4683 LOG {ticks: 90, maint: 3, retry: 0}

    2013-05-15 14:02:12.190 4683 LOG {ticks: 90, maint: 0, retry: 0}

    如果ticker 已经成功启动了,我们已经把所有的基础工作完成了。到目前为止,我们配置了复制所需要的所有进程—但是,我们还没有告诉系统复制什么。

    londiste 命令将为我们提供一组定义复制对象的命令。在我们的例子中,我们只是要添加所有的表并复制它们:

    hs@hs-VirtualBox:~/skytools$ londiste3 londiste3.ini add-table --all

    2013-05-15 14:02:39,367 4760 INFO Table added: public.t_test

    就像Slony一样,londiste 将安装一个触发器,它会跟踪所有的变化。这些变化将希尔到pgq队列中,并有我们已经设置的进程来调度:

    node1=# d t_test

    Table "public.t_test"

    Column | Type | Modifiers

    --------+-----------------------------+---------------

    id | integer | not null

    name | text |

    t | timestamp without time zone | default now()

    Indexes:

    "t_test_pkey" PRIMARY KEY, btree (id)

    Triggers:

    _londiste_replication_queue AFTER INSERT OR DELETE OR UPDATE ON t_

    test FOR EACH ROW EXECUTE PROCEDURE pgq.logutriga('replication_queue')

    _londiste_replication_queue_truncate AFTER TRUNCATE ON t_test FOR

    EACH STATEMENT EXECUTE PROCEDURE pgq.sqltriga('replication_queue')

    Skytools 和 londiste 都特别地提供了使您的生活更方便的一组丰富的附加功能。然而,记录所有这些特征恐怕要查出本书的范围。如果您要了解更多的信息,我们建议更深入地去看Skytools 源代码的文档目录。您会发现一些有意思的文档,解释了一步一步地可以做什么。

  • 相关阅读:
    企业应用点点滴滴记入
    jQuery 图片轮播
    javascript setTimeout和setinterval的区别是?
    html5 新增的标签和废除的标签
    H​t​m​l​5​ ​学​习​:​H​T​M​L​5​新​增​结​构​标​签
    WEB前端开发人员须知的常见浏览器兼容问题及解决技巧
    jQuery 简单返回顶部代码
    css 背景色为半透明的例子
    javaScript面试题大全
    Ionic3学习笔记(五)动画之使用 animate.css
  • 原文地址:https://www.cnblogs.com/songyuejie/p/4752112.html
Copyright © 2020-2023  润新知