• 数据库之开源数据库


    常用的开源数据库:H2,Derby,HSQLDB,MySQL,PostgreSQL。其中H2,HSQLDB类似,十分适合作为嵌入式数据库使用,其它的数据库大部分都需要安装独立的客户端和服务器端。
    H2的优势:
    1、h2采用纯Java编写,因此不受平台的限制。
    2、h2只有一个jar文件,十分适合作为嵌入式数据库试用。
    3、性能和功能的优势

    H2比HSQLDB的最大的优势就是h2提供了一个十分方便的web控制台用于操作和管理数据库内容,这点比起HSQLDB的swing和awt控制台实在好用多了。

    BDB (Berkeley DB)数据库简介(转载)

    DB最初开发的目的是以新的HASH访问算法来代替旧的hsearch函数和大量的dbm实现(如AT&T的dbm,Berkeley的ndbm,GNU项目的gdbm),DB的第一个发行版在1991年出现,当时还包含了B+树数据访问算法。在1992年,BSD UNIX第4.4发行版中包含了DB1.85版。基本上认为这是DB的第一个正式版。在1996年中期,Sleepycat软件公司成立,提供对DB的商业支持。在这以后,DB得到了广泛的应用,当前最新版本是4.3.27。
    DB支持几乎所有的现代操作系统,如LINUX、UNIX、WINDOWS等,也提供了丰富的应用程序接口,支持C、C++、JAVA、PERL、TCL、PYTHON、PHP等。DB的应用十分广泛,在很多知名的软件中都能看到其身影。例如参考资料2中作者谈到利用DB在LINUX下实现内核级文件系统;参考资料3中通过实际测试数据说明DB提高了OPENLDAP的效率。LINUX下的软件包管理器RPM也使用DB管理软件包相关数据,可以使用命令file查看RPM数据目录/var/lib/rpm下的文件,则有形式如下的输出:
    Dirnames: Berkeley DB (Btree, version 9, native byte-order)
    Filemd5s: Berkeley DB (Hash, version 8, native byte-order)
    值得注意的是DB是嵌入式数据库系统,而不是常见的关系/对象型数据库,对SQL语言不支持,也不提供数据库常见的高级功能,如存储过程,触发器等。

    dbm,sdbm,ndbm,gdbm,jdbm,bdb

    w3c-dbm和sdbm都是非常简单的kv store的两个实现,不支持事务,也不保证数据的可靠。但是通过分析这两个project,对hash如何结合disk来使用有一定的认识,这和in-memory的hash还是有一定的区别的。下一篇文章会分析jdbm的实现,它通过WAL(write-ahead-log)实现事务。并且对kv的组织和w3c-dbm,sdbm也不一样。

    Berkeley DB并不是一个关系型的数据库。不能应用标准的SQL语句对数据库操作,对它的操作要调用专用的API实现。这些API提供了查询、插入、删除等功能。
    Berkeley DB提供了四种存储数据的模式:Btree,Hash,Queue和Recno。在打开数据库的时候要指定一种存储模式
    Btree 模式是以排序的二叉树的方式存储,
    Hash是以线性哈希表的方式存储。
    Queue用逻辑记录号做为键值,以定长的数据为记录值。
    Recno方式也以逻辑记 录号做为键值,但可以保存定长或变长的记录值。这里提到的逻辑记录号有两种,可变的和固定的。

    SQLite与Berkeley DB相比,在操作语句上更类似关系型数据库的产品。绝大多数标准的SQL92语句SQLite都能支持。

    将于2010年3月底正式发布最新版本Oracle Berkeley DB 11g release 2。除了对原有Oracle Berkeley DB的功能进行了一定的改进和增强(比如提升了数据压缩功能、性能优化、C/C++中系统资源自动管理功能等等),本次发布的版本中最引人瞩目的变化是引入了对SQL92的支持,这一新增的接口称为Oracle Berkeley DB SQL,简称BDBSQL。这是自Berkeley DB诞生20多年来第一次支持SQL接口。这无论是对开源社区,还是对嵌入式数据库行业来说,都将是一件喜事。

    For compatibility with programs using old UNIX dbm function, the package also provides traditional dbm and ndbm interfaces.

    GNU dbm (or GDBM, for short) is a library of database functions that use extensible hashing and work similar to the standard UNIX dbm.

    DB的设计思想是简单、小巧、可靠、高性能。如果说一些主流数据库系统是大而全的话,那么DB就可称为小而精。DB提供了一系列应用程序接口(API), 调用本身很简单,应用程序和DB所提供的库在一起编译成为可执行程序。这种方式从两方面极大提高了DB的效率。第一:DB库和应用程序运行在同一个地址空 间,没有客户端程序和数据库服务器之间昂贵的网络通讯开销,也没有本地主机进程之间的通讯;第二:不需要对SQL代码解码,对数据的访问直截了当。

    berkley db管理工具

    rpm,subversion都使用bdb数据库,包名叫db4
    [root@localhost db]# rpm -qa|grep db
    db4-4.7.25-18.el6_4.x86_64
    gdbm-1.8.0-36.el6.x86_64
    dbus-glib-0.86-6.el6.x86_64
    dbus-libs-1.2.24-7.el6_3.x86_64
    db4-utils-4.7.25-18.el6_4.x86_64

    [root@localhost rpm]# pwd
    /var/lib/rpm
    [root@localhost rpm]# ll
    total 28664
    -rw-r--r--. 1 root root  1548288 Jul 17 15:00 Basenames
    -rw-r--r--. 1 root root    12288 Jul 17 15:00 Conflictname
    -rw-r--r--. 1 root root    24576 Jul 17 17:04 __db.001
    -rw-r--r--. 1 root root   229376 Jul 17 17:04 __db.002
    -rw-r--r--. 1 root root  1318912 Jul 17 17:04 __db.003
    -rw-r--r--. 1 root root   753664 Jul 17 17:04 __db.004
    -rw-r--r--. 1 root root   782336 Jul 17 15:00 Dirnames
    -rw-r--r--. 1 root root  2547712 Jul 17 15:00 Filedigests
    -rw-r--r--. 1 root root    12288 Jul 17 15:00 Group
    -rw-r--r--. 1 root root    12288 Jul 17 15:00 Installtid
    -rw-r--r--. 1 root root    12288 Jul 17 15:00 Name
    -rw-r--r--. 1 root root    12288 Jul 17 15:00 Obsoletename
    -rw-r--r--. 1 root root 21786624 Jul 17 15:00 Packages
    -rw-r--r--. 1 root root  1282048 Jul 17 15:00 Providename
    -rw-r--r--. 1 root root   557056 Jul 17 15:00 Provideversion
    -rw-r--r--. 1 root root    12288 Jun 24 10:56 Pubkeys
    -rw-r--r--. 1 root root   110592 Jul 17 15:00 Requirename
    -rw-r--r--. 1 root root    69632 Jul 17 15:00 Requireversion
    -rw-r--r--. 1 root root    24576 Jul 17 15:00 Sha1header
    -rw-r--r--. 1 root root    12288 Jul 17 15:00 Sigmd5
    -rw-r--r--. 1 root root    12288 Jun 24 10:57 Triggername

    [root@localhost lib]# cd /root/svnrepo/db/
    [root@localhost db]# ll
    total 2216
    -rw-r--r--. 1 root root    8192 Jul 17 16:09 changes
    -rw-r--r--. 1 root root    8192 Jul 17 16:06 checksum-reps
    -rw-r--r--. 1 root root    8192 Jul 17 15:26 copies
    -rw-r--r--. 1 root root   24576 Jul 17 16:15 __db.001
    -rw-r--r--. 1 root root  368640 Jul 17 16:15 __db.002
    -rw-r--r--. 1 root root 1318912 Jul 17 16:15 __db.003
    -rw-r--r--. 1 root root  393216 Jul 17 16:15 __db.004
    -rw-r--r--. 1 root root 1499136 Jul 17 16:15 __db.005
    -rw-r--r--. 1 root root   57344 Jul 17 16:15 __db.006
    -rw-r--r--. 1 root root    2422 Jul 17 15:26 DB_CONFIG
    -rw-r-----. 1 root root      50 Jul 17 16:15 __db.register
    -r--r--r--. 1 root root       2 Jul 17 15:26 format
    -rw-r--r--. 1 root root       4 Jul 17 15:26 fs-type
    -rw-r--r--. 1 root root    8192 Jul 17 15:26 locks
    -rw-r--r--. 1 root root    8192 Jul 17 15:26 lock-tokens
    -rw-r--r--. 1 root root 1048576 Jul 17 16:15 log.0000000001
    -rw-r--r--. 1 root root    8192 Jul 17 15:26 miscellaneous
    -rw-r--r--. 1 root root    8192 Jul 17 16:09 node-origins
    -rw-r--r--. 1 root root    8192 Jul 17 16:09 nodes
    -rw-r--r--. 1 root root    8192 Jul 17 16:09 representations
    -rw-r--r--. 1 root root    8192 Jul 17 16:09 revisions
    -rw-r--r--. 1 root root    8192 Jul 17 16:09 strings
    -rw-r--r--. 1 root root    8192 Jul 17 16:09 transactions
    -rw-r--r--. 1 root root    8192 Jul 17 15:26 uuids

    11:54:52 36 ~:#db_stat -d /var/lib/rpm/Basenames
    Thu Jun 25 12:04:32 2015        Local time
    61561   Hash magic number
    9       Hash version number
    Little-endian   Byte order
            Flags
    367     Number of pages in the database
    4096    Underlying database page size
    0       Specified fill factor
    21451   Number of keys in the database
    21451   Number of data items in the database
    192     Number of hash buckets
    197782  Number of bytes free on bucket pages (74% ff)
    46      Number of overflow pages
    80396   Number of bytes free in overflow pages (57% ff)
    63      Number of bucket overflow pages
    182945  Number of bytes free in bucket overflow pages (29% ff)
    0       Number of duplicate pages
    0       Number of bytes free in duplicate pages (0% ff)
    1       Number of pages on the free list

    oracle berkeley DB programmer reference guide的第一章较为有用,值得一看

    http://docs.oracle.com/cd/E17076_04/html/index.html

    关系数据库,k/v数据库,内存数据库

    大数据时代的 9 大Key-Value存储数据库
    bdb是kv数据库,sqlite是嵌入式关系数据库

    Oracle Berkeley DB    bdb的介绍下面这句话很重要,提纲挈领

    Provides an open source embeddable database library, allowing developers
    the choice of SQL, Key/Value, XML/XQuery or Java Object storage for their data model.

    data model
    在过去的十年中,计算世界已经改变。现在不仅在大公司,甚至一些小公司也积累了TB量级的数据。各种规模的组织开始有了处理大数据的需求,而目前关系型数据库在可缩放方面几乎已经达到极限。
    一个解决方案是使用键值(Key-Value)存储数据库,这是一种NoSQL(非关系型数据库)模型,其数据按照键值对的形式进行组织、索引和存储。KV存储非常适合不涉及过多数据关系业务关系的业务数据,同时能有效减少读写磁盘的次数,比SQL数据库存储拥有更好的读写性能。

    SQL
    sql数据库存储
    关系模型

    Key/Value
    kv存储
    这是一种NoSQL(非关系型数据库)模型
    以MemcacheDB、Tokyo Tyrant为代表的key-value分布式存储,在上万并发连接下,轻松地完成高速查询。而MySQL,在几百个并发连接下,就基本上崩溃了。
    Scalaris 是一个采用Erlang开发的分布式 key-value 存储系统,提供的 API 包括:Java、Python、Ruby和JSON。

    XML/XQuery
    解释XQuery最佳方式是这样讲:XQuery 相对于 XML 的关系,等同于 SQL 相对于数据库表的关系。
    XQuery 被设计用来查询 XML 数据 - 不仅仅限于 XML 文件,还包括任何可以 XML 形态呈现的数据,包括数据库。
    XQuery 是用于 XML 数据查询的语言
    XQuery 被所有主要的数据库引擎支持(IBM、Oracle、Microsoft等等)

    Java Object storage
    Object storage systems allow relatively inexpensive, scalable and self-healing retention of massive amounts of unstructured data.
    Object storage is used for diverse purposes such as storing photos on Facebook, songs on Spotify, or files in online collaboration services, such as Dropbox

    相对便宜的,可扩展的和自修复的
    对像存储被用于多种目的,例如存储图片在facebook,歌曲在spotify,文件放在在线协作服务里如dropbox。 

    Object Storage (also known as object-based storage) is a storage architecture that manages data as objects, as opposed to other storage architectures like file systems which manage data as a file hierarchy and block storage which manages data as blocks within sectors and tracks. Each object typically includes the data itself, a variable amount of metadata, and a globally unique identifier.

    http://www.sqlite.org/docs.html 

    http://www.sqliteexpert.com/  gui工具

    SQL As Understood By SQLite  sqlite所理解的sql

    sqlite的sql语法

    先将sqlite数据库文件复制到一个安全的地方再做实验,系统中已知的两个sqlite数据库文件
    sqlite3 /var/cache/yum/x86_64/6/base/617a880b84a87969e04bfeebb1b96d5f4
    [root@svnserv ~]# sqlite3 /home/svnroot/flt8a-2-server/db/rep-cache.db
    SQLite version 3.3.6
    Enter ".help" for instructions
    sqlite> .show
         echo: off
      explain: off
      headers: off
         mode: list
    nullvalue: ""
       output: stdout
    separator: "|"
        
    
    sqlite> .databases
    seq  name             file
    ---  ---------------  ----------------------------------------------------------
    0    main             /home/svnroot/flt8a-2-server/db/rep-cache.db
    sqlite> .table
    rep_cache
    sqlite> .schema rep_cache
    CREATE TABLE rep_cache (hash text not null primary key,                         revision integer not null,                         offset integer not null,                         size integer not null,                         expanded_size integer not null);
    
    sqlite> .mode column
    sqlite> select * from rep_cache where revision >= 2710;
    e943a0338d96f6488ebddd5f435c05c5f47104d4  2710        0           499         1185
    153deb942c12bbd61b7dce98de4e8c22dc29a835  2711        0           147         215586
    
    sqlite> .mode html
    sqlite> select * from rep_cache where revision >= 2710;
    <TR><TD>e943a0338d96f6488ebddd5f435c05c5f47104d4</TD>
    <TD>2710</TD>
    <TD>0</TD>
    <TD>499</TD>
    <TD>1185</TD>
    </TR>
    <TR><TD>153deb942c12bbd61b7dce98de4e8c22dc29a835</TD>
    <TD>2711</TD>
    <TD>0</TD>
    <TD>147</TD>
    <TD>215586</TD>
    </TR>
    
    sqlite> .mode insert
    sqlite> select * from rep_cache where revision >= 2710;
    INSERT INTO table VALUES('e943a0338d96f6488ebddd5f435c05c5f47104d4',2710,0,499,1185);
    INSERT INTO table VALUES('153deb942c12bbd61b7dce98de4e8c22dc29a835',2711,0,147,215586);
    
    sqlite> .mode line
    sqlite> select * from rep_cache where revision >= 2710;
             hash = e943a0338d96f6488ebddd5f435c05c5f47104d4
         revision = 2710
           offset = 0
             size = 499
    expanded_size = 1185
    
             hash = 153deb942c12bbd61b7dce98de4e8c22dc29a835
         revision = 2711
           offset = 0
             size = 147
    expanded_size = 215586
    
    sqlite> .mode list
    sqlite> select * from rep_cache where revision >= 2710;
    e943a0338d96f6488ebddd5f435c05c5f47104d4|2710|0|499|1185
    153deb942c12bbd61b7dce98de4e8c22dc29a835|2711|0|147|215586
    
    sqlite> .mode tabs
    sqlite> select * from rep_cache where revision >= 2710;
    e943a0338d96f6488ebddd5f435c05c5f47104d4        2710    0       499     1185
    153deb942c12bbd61b7dce98de4e8c22dc29a835        2711    0       147     215586
    
    sqlite> .mode tcl
    sqlite> select * from rep_cache where revision >= 2710;
    "e943a0338d96f6488ebddd5f435c05c5f47104d4"      "2710"  "0"     "499"   "1185"
    "153deb942c12bbd61b7dce98de4e8c22dc29a835"      "2711"  "0"     "147"   "215586"
    
    相关函数 sqlite
    > select date('now'); "2015-06-25" sqlite> select strftime('%s','now'); "1435201574" 返回当前年的第10月的第一个星期二的日期 sqlite> select date('now','start of year','+9 months','weekday 2'); "2015-10-06"
    sqlite> select typeof(1);
    integer
    sqlite> select typeof(1.4);
    real
    sqlite> select typeof("43");
    text
    sqlite> select typeof(null);
    null

    sqlite远程连接示例

    Sqlite 是一个只有几百 k 大小的、 优秀的嵌入式数据库,本身不带有远程连接的功能。由于其身材小,速度快并且为众多的语言支持,所以在单机领域得到了广泛的使用。但由于天然不支持服务 / 客户端的模式,使其在遇到小型规模数据库远程连接的情况时不得不借助于附加的编程。  
      
    单位有三百多人,作为网管每天要接到很多电话,有很多一时无法想起对应的名字,翻查通讯录不仅速度慢而且容易漏过。为了方便起见,在 sqlite 上建立了一个通讯录数据表,然后用 perl 编写了一个查询脚本。效果不错的同时,也有同事希望可以得到一份拷贝。但是这时遇到一个问题,如何保证通讯录在不同人手中保持版本的统一性。最好的办法是建立一个服务 / 客户端的模式,在本机上维护一个数据库,而其它人通过连接数据库得到相关的查询结果。  
      
    具体的解决方法是这样的:在本机上维护一个到 sqlite 数据库的连接并建立一个来自于客户端的 socket 的监听,接受远程查询条件并回复查询结果;客户端志负责发送和接受这些最简单的任务。  

    [root@fgy ~]# rpm -ql sqlite
    /usr/bin/sqlite3
    /usr/lib64/libsqlite3.so.0
    /usr/lib64/libsqlite3.so.0.8.6
    /usr/share/doc/sqlite-3.6.20
    /usr/share/doc/sqlite-3.6.20/README
    /usr/share/man/man1/sqlite3.1.gz

    5 个免费的受欢迎的 SQLite 管理工具

    用yumi制作centos6.5u盘启动盘时repodata目录下也有sqlite库文件。

    14:22:45 12 /var/cache/yum/x86_64/6/base:#ll
    total 20396
    -rw-r--r--. 1 root root 20873216 Mar 11 06:26 9a3a8909e656c27cd85c75a2d53b491040effa3f170b0369172433843e1829d7-primary.sqlite
    -rw-r--r--. 1 root root        0 Apr 15 11:48 cachecookie
    -rw-r--r--. 1 root root      472 Apr 15 11:48 mirrorlist.txt
    drwxr-xr-x. 2 root root     4096 Apr 15 11:49 packages
    -rw-r--r--. 1 root root     3751 Oct 24 21:59 repomd.xml
    14:22:45 13 /var/cache/yum/x86_64/6/base:#pwd
    /var/cache/yum/x86_64/6/base
     

    ===========================

    在jdk中使用,在这个路径下jdk1.8.0_144db

    apache derby 数据库

    http://blog.csdn.net/remote_roamer/article/details/4830723
    sysinfo.bat

    ij.bat进入命令行界面

    发出 'help' 命令,以了解有关 IJ 命令语法的一般信息。
    任何无法识别的命令都将视为可能的 SQL 命令并直接执行。
    有关服务器所支持 SQL 语法的详细信息,请查阅您的 DBMS 服务器参考文档。

    ij> help;
    创建数据库,在当前目录下生成一个firstdb目录,相关目录都在它下面
    connect 'jdbc:derby:firstdb;create=true';

    create table firsttable(id int primary key, name varchar(20));
    insert into firsttable values(1,'Hotpepper');
    select * from firsttable;
    run 'E:/derby/demo/programs/toursdb/ToursDB_schema.sql';
    exit



  • 相关阅读:
    React Native 触摸事件处理详解
    ReactNative iOS源码解析
    windows CMD命令大全及详细解释和语法
    Node.js的全局对象和全局变量
    移动端HTML5<video>视频播放优化实践
    HTML和CSS代码片段快速编写方式(Emmet Documentation)
    animate.css官网
    Gradle在大型Java项目上的应用
    Gradle学习系列
    Gradle -- buildScript块与allprojects块及根级别的repositories区别
  • 原文地址:https://www.cnblogs.com/createyuan/p/3851551.html
Copyright © 2020-2023  润新知