多媒体信息存储特点:
多媒体信息存在和表现有多种形式.多媒体信息量大.
光盘系统特点:
(1)与硬盘相比,具有可拆卸性;容量相当;驱动器较贵,但盘片便宜;读写速度慢.
(2)与磁带相比,具有容量大,随机存取性强的优点.
(3)激光头与介质无接触,不受环境影响而退磁,信息保存时间长,可达30年以上.
光盘按读写功能的分类:
CD-ROM只读光盘
WORM一次写多次读光盘(write once read many)
Rewritable可重写光盘
DVD(digital video disc)
光盘工作原理:
只读光盘读原理,只读光盘上的信息沿着盘面螺旋形状的信息轨道以凹坑和凸区的形式记录的.
凹凸交界的正负跳变沿均代表数字"1",两个边缘之间代表数字"0"
数字信息记录的优点是抗干扰能力强,由于盘片损坏或变脏而造成的读出错误也容易得到纠正.
按照改变性质来实现信息存储的原理来分,光盘记录方式可分为两大类:磁光式和相变式.
磁光式写操作方法:居里点记录和补偿点记录.
相变式写过程是把记录介质的信息点从晶态转变为非晶态.
CD-DA是CD的最基本标准. Red Book,特定的地址标记,其单位为"分","秒","扇区",1分=60秒,1秒=75扇区.光盘总长度为74分.
错误的检测和校正采用的是 CIRC(cross interleave Reed-Solomon code)
CD-ROW ,Yellow Book,采用常线速(const linear velocity,CLV)伺服方式.MTBF(mean time between failures)
可录CD(recordalbe compact disc),Orange Book
CD-I,Green Book
Video CD ,White Book
错误检测码:error detection code ,EDC
错误校正码:error correction code,ECC
信息扇区:message sector
光盘符号由3个记录构成:
文件结构卷描述符(file structure volume descriptor)
引导记录(boot record)
终结记录(terminator record)
视盘有两种信息记录格式:常线速(const linear velocity,CLV)常角速(costant angular velocity,CAV)
DVD光盘:容量最高的双层双面盘可达17GB,单面单层4.7GB.存储133分钟的MPEG-2视频.
音频卡的主要功能:
数字化声音处理
混音器
合成器
variable length coder可变长编码器
block storage unit元块存储
microcode宏码
目前,大多数扫描仪采用的光电转换部件是CCD(电荷耦合器件)
扫描仪分为:平板式,手持式,滚动式.
监视器:monitor适配器:adaptor
触摸屏包括三个部分:传感器,控制部件,驱动程序
触摸屏按工作原理可分为:红外线触摸屏,电阻式触摸屏,电容式触摸屏,表面声波技术和底座式矢量压力触摸屏.
多媒体个人机(multimedia personal computer,MPC)基本的硬件结构:
(1)一个功能强大,速度快的中央处理器CPU
(2)大容量的存储器空间
(3)高分辨率显示接口与设备
(4)可处理音响的接口与设备
(5)可存放大量数据的配置等
CD-I系统是家用交互式多媒体系统.
管理程序主要有:
光盘文件管理模块CDFM(compact disc file manager)
用户通信管理模块UCM(user communication manager)
非易失RAM文件管理模块NRF(nonvolatile RAM file manager)
流式文件管理模块PFM
系统状态描述符CSD(configuration status descriptor)
文件保护模块FPM(file protection mechanism)
VCD有三个核心部分组成:
CD驱动器或称CD加载器
MPEG解码器
微控制器
DVD播放系统的组成:
DVD盘读出机构
DVD-DSP
数字声音/视频解码器
微处理器
多媒体应用软件的开发过程
(1)明确使用对象,了解用户需求
(2)选择开发方法
(3)准备多媒体数据
(4)完成系统集成
常用的识别输入方法是OCR扫描识别.
计算机处理的音频种类包括波形音频(waveform audio)和MIDI音频.
除了人类说话的声音和音乐,我们称其他的音频信号为噪声.
人类听力所接受的频率:20HZ-20KHZ
CD标准的44100HZ采样率(sampling rate)
MIDI也定义音频的形态与存储的方法,MIDI的音频是以消息的方式而非波形的方式组成.
遥控键盘remote keyboard
MIDI音频文件是一串的时序命令(time-stamped commands)它记录下音乐的行为.如按下钢琴键,踩踏板.
目前国际上对视频的处理标准主要有:
NTSC(National Television Standard Committee)美国研制的NTSC制式是目前最久和最广泛使用的电视制式,每秒30帧
PAL(Phase Alternating Line)中国和英国采用的制式,每秒25帧
SECAM(Sequential Color and Memory)法国和俄罗斯采用的.
在多媒体数据中,无法从客观世界直接摄取的可视信息,就可有图形技术来制作,这些数据主要包括文字,图形,动画.
动画是图形对象赋予运动属性后制作的连续画面效果.图形文件的格式通过图形原语和它们的属性来描述.
计算机动画研究内容:
运动控制方法
运动学方法
动力学方法
随机方法
行为规则方法
自动运动控制
中间画面的生成技术:关键帧方法,算法生成,基于物理的生成
多媒体开发和创作环境具有功能:
提供多媒体程序编程的环境
超文本,超媒体和多媒体数据管理的功能
支持多媒体数据的输入和输出
应用连接功能
多媒体数据制作功能
友好的用户界面
多媒体编著工具或称创作工具是一种高级的软件程序或命令集合.
按照节目组织和安排数据的方式分成5类:
以卡或页为基础的编著工具 ToolBook
以图符为基础,基于事件的编著工具 Authorware
以时间为基础的编著工具 action!
以传统程序语言为基础的编著工具 C,Basic
其它专用编著工具
要对多媒体数据进行有效的管理,就需要建立一个多媒体数据管理环境,包括:存储环境,传输环境,软件环境
多媒体数据的存储环境:可更换的硬盘,磁带备份介质,光盘档案人质,磁盘阵列.
MDBMS系统提供的数据类型:text,binary ,image.
MDBMS影响:
(1)数据量大且媒体之间差异也大,从而影响数据库中的组织和存储方法
(2)媒体各类的增多增加了数据处理的难度
(3)多媒体不仅改变了数据库的接口,使其声文图并茂,而且也改变了数据库的操作形式,其中最重要的是查询机制和查询方法.
(4)传统的事务一般都短小精悍,在多媒体数据库管理系统中也应尽可能使用事务.
(5)多媒体数据库管理还有考虑版本控制问题.
MDBMS的组织结构一般分为三种:集成型,主从型,协作型.
模型扩充主要技术策略:
使关系数据库管理技术和操作系统中文件系统功能相结合,实现对非格式化数据的管理.
将关系元组中格式化数据和非格式化数据装在一起形成一个完整的元组,放在数据页面或数据页面组中.
将元组中非格式化数据分成两部分.一部分是格式化数据本身,另一部分是对非格式化数据的引用.
动态注释:dynamic memo
格式注释:formatted memo
图形:graphic
面向对象在支持多媒体应用方面具有自己独特的优点:
面向对象模型支持"聚合"与"概括"的概念,从而更好地处理多媒体数据等复杂对象的结构定义.
面向对象模型支持抽象数据类型和用户定义的方法,便于数据库系统支持定义新的数据类型的操作.
面向对象系统的数据抽象,功能抽象与消息传递的特点使对象在系统中是独立的,具有良好的封闭性,封闭了多媒体数据之间的类型及其他方面的巨大差异,并且容易实现并进行处理,也便于系统模式的扩充和修改.
面向对象系统的对象类,类层次和继承性的特点,因而避免了关系数据库中讨论的各种异常.
面向对象系统的查询语言通常是沿着系统提供内部固有联系进行的,避免了大量的查询优化工作.
总之,面向对象的数据模型允许现实世界的对象以更接近于用户思维的方式来描述,而且具有描述和处理聚集层次,概括层次的能力.能支持抽象数据类型和行为,可扩充性和可共享性好,适宜于表示和处理多媒体信息,也适宜于多媒体数据库中各种媒体数据的存取与不同操作的实现.
基于内容检索技术的特点:
从媒体内容中提取信息线索,直接对媒体进行分析,抽取特征(如基于表达式)
提取特征方法多种多样.
人机交互
基于内容的检索采用一种近似的匹配技术.
实现基于内容的检索系统主要有两种途径:
一是基于传统的数据库检索方法.采用人工方法将多媒体信息内容表达为属性(关键词)集合,再在传统的数据库管理系统框架内处理
二是基于信号处理理论.采用特征抽取和模式识别的方法来克服基于数据库方法的的局限性.
特征匹配是基于内容检索的关键.
MPEG-7:正式标准名称:多媒体内容描述接口(multimedia content description interface)
描述模式:description scheme,DS
描述定义语言:description definition language ,DDL是MPEG-7的核心
MPEG坚持"制定最少的最有用的"原则.
超文本(hypertext)结构采用一种非线的网状结构结构组织块状信息.
超文本是由信息结点和表示信息结点间相关性的链构成的一个具有一定逻辑结构和语义的网络.结点为基本单元.
第二代超文本系统与多媒体技术结合起来,为强调系统处理多媒体信息的能力而称为超媒体(hypermedia)系统,即超媒体=多媒体+超文本.
超文本抽象机(hypertext abstract machine)HAM模型把超文本系统分为三个层次:用户界面层,超文本抽象机层,数据库层.
例示:instantiation
表现规范:presentation specification
锚号:anchor id
锚值:anchor value
超文本主要成分:结点,链,宏结点.
结点(节点)是超文本表达信息的一个基本单位.
宏文本macrotext
微文本microtext
文献模型的基本任务:
能够表示多媒体文献的内容层次性
能够表示多媒体文献的版面布局
能够表示多媒体文献的时间布局
能够将内容与布局对应起来
ODA(the office/open document architecture)
HyTime全称为"Hypermedia/time-based structuring language"时基超媒体结构化语言
Web系统是目前最流行的运行于Internet上的超文本系统.
可扩展标记语言XML:extensible markup language
主要有三个要素:文档定义(DTD/XML Schema),XSL和Xlink.
XML提供了数据定义机制,目前存在两种方式:DTD和Schema
动态网页生成技术:
目前常用的有:ASP(active server pages)JSP(Java server pages)PHP(personal hypertext preprocessor)
HTTP:hypertext transfer protocol超文本传输协议.
缓存系统的体系结构:层次缓存结构.分布式缓存结构,混合的缓存结构
缓存方式:预装preload技术,动态置换,部分缓存.
LRU,least recently used
LFU,least frequently used
FIFO,first in first out
LLF,lowest latency first
所谓数据模型就是在计算机数据世界中建立的计算机所能接受的对现实世界中所要研究对象的抽象描述.
具有两层含义:
提供一种计算机可接受的信息表示和处理方法
能够指出数据的构造,即能够表示数据及其属性特征,同时指出数据间的联系.
对于多媒体系统的数据模型来说,其主要任务是:能够表示不同媒体的数据构造及其属性特征.
所谓形式化描述就是用数学概念或类数学概念来精确地定义和描述信息系统的基本特性(属性和结构等)的一种方法.
用集合论和一阶逻辑来抽象超文本模型.
多媒体信息元:
以自上而下的观点来看,多媒体信息元是具有一定语义的,组成信息系统应用的信息子块.
以自下而上的观点来看,多媒体信息元是一个或多个媒体数据元经过一定的添加与包装而合成的超数据元.
信息元的大小即是各种多媒体应用的公共需求,即信息元必须满足的特性.
MHEG(Multimedia and Hypermedia Information Coding Expert Group)超文本信息元标准.采用面向对象的方法来分析设计模型.
MH对象分成:
输出内容对象 output content
一般输入对象 generic input
投射器对象 projector
基本对象 basic
合成对象composite
条件与动作
按钮button
动作按钮action button
暂停-继续按钮stay-on button
切换按钮switch button
菜单选择menu selection
多项选择multiple selection
字符串character string
位置location
数值numericla value
时间合成的三种同步表示方法:层次化同步,基于时间轴的同步,基于参考点的同步.
多媒体通信的特点:
多媒体数据量大,存储容量大,传输带宽要求高.
多媒体实时性.
多媒体时空约束
多媒体交互性
分布式处理和协同工作
多媒体通信实现途径:
话路+视频
网络+视频
有线电视+交互功能
多媒体通信的关键技术
声音,视频,动画等的传输技术
数据压缩和解压缩技术
解决多媒体实时同步问题
解决协议和标准化问题
在模拟通信网上传输静态图像的电话称为可视电话
一般分为四个组成部分:
语音处理部分
图像输入部分
图像输出部分
图像信号处理部分
专用控制器是电视电话的核心.
电话网是按模拟声音信号而设计的,传送带宽只有300---3400HZ,传输图像有困难,从目前情况来看,只能传送静态图像.
帧中继(frame relay ,FR)是一种HDLC规程的宽带数据业务标准
多媒体信息传输对网络性能的要求:
吞吐量,是指网络传输二进制信息的速率,又称比特率或带宽.实时传输的活动图像是对网络吞吐量要求最高的媒体.
传输延时(transmission delay)定义为从信源发出第一个比特到信宿接收到第一个比特之间的时间差,它包含信号在物理介质中的传播延时和数据在网中的处理延时.另一个常用的参数是端到端的延时.
网络传输延时的变化称为网络的延时抖动(delay jitter):度量延时抖动的方法中常用的一种是用在一段时间内最长和最短的传输延时之差来表示.
错误率:度量方式:误码率BER(bit error rate),包错误率PER(packet error rate),包丢失率FLR(packet loss rate)
QoS:quality of service
分布式多媒体系统的基本特征:
多媒体集成性,资源分散性,运行实时性,操作交互性,系统透明性.
分布式多媒体系统的层次结构:
多媒体接口层:系统与各种媒体通信输入输出的接口,处于最低层.
多媒体传输层
流管理层
多媒体表示层
应用层.
声音点播:audio on demand
视频点播:video on demand
IP电话:IP telephony
分组实时视频会议:group realtime video conferencing
从多媒体信息传输来讲,Internet提供两种类型的服务:
一是可靠的面向连接服务,使用TCP协议,对信息包时延要求不高.
二是不可靠的无连接服务,使用UDP协议,不保证丢失包,也不保证时延满足要求.
目前,多媒体网络应该解决下面问题:提高网络带宽,减少延时,减少抖动.
两个解决方法:扩大链路带宽,改进Internet协议.
网络传输的方法根据传输目标的多少可分为:单播unicast,组播multicast,广播broadcast
在Internet上要传输多媒体信息最常用的是单播技术.
组播或称多播是指网上一点到网上多个指定点(同一个工作组类成员)传输信息.
它是一种较好的节省带宽减少服务器负担的传输方法.
Internet的IP地址分为五类:A,B,C,D,E.为支持组播功能,发送端和接收端及其之间的网络设施都必须具有多播功能.
组播路由选择算法:
泛洪法(flooding),支撑树(spanning tree),反向路径广播(reverse path broadcasting ,RPB),修剪的反向路径广播(truncated reverse path broadcasting ,TRPB),Steiner树.基于核心树的组播(core-based tree,CBT)
组播路由选择协议:
距离矢量组播路由协议(Distance Vector Multicast Routing Protocol,DVMRP)
组播开放最短路径优先路由协议(Multicast Open Shortest Path First Routing,MOSRF)
协议独立的组播路由协议(protocol independent multicast,PIM),采用两种协议,PIM-DM(dense mode)和PIM-SM(sparse mode)
底层传输系统 SDH,synchronous digital hierarchy
多协议标识交换 MPLS,multi-protocol label switching
标识交换路径 LSP,label-switched path
标识交换路由器 LSR,label-switched router
密集波分复用 DWDM,dense wave-division multiplexing
电子布告栏系统 BBS,bulletin board system
群决策支持系统 GDSS,group decision support systems
影片点播 MOD,movies on demand
远程购物 teleshopping
远程学习 distance learning
家庭银行 home banking
远程医疗telemedicine
电视会议video conferencing
内容制作content production
事务服务transaction services