mfs分布式文件系统(大中型文件):
MFS的组成
元数据服务器(Master):在整个体系中负责管理文件系统,维护元数据,目前不支持高可用。
元数据日志服务器(MetaLogger):备份Master服务器的变化日志文件,当master服务器损坏,可以从日志服务器中取得文件恢复。
数据存储服务器(Chunk Server):真正存储数据的服务器,服务器越多,容量就越大,可靠性越高,性能越好。
客户端(Client): 可以像挂载NFS一样 挂载MFS文件系统
fastdfs(开源的轻量级分布式文件系统):
适用于小型文件
activemq squid storm
mycat: 彻底开源的,面向企业应用开发的大数据库集群
elkstack:Elasticsearch、Logstash、Kibana三个开源软件的组合。在实时数据检索和分析场合,三者通常是配合使用
zookeeper
hadoop
网络监控软件:
cacti nagios zabbix
lucene&solr:jave开发,用于搜索引擎
并发处理涉及的技术:
HTML静态化、图片服务器分离、数据库集群、库表散列、缓存、镜像、负载均衡、最新:CDN加速技术、数据库乐观锁,数据库读写分离、使用消息队列、多用存储过程等等。
分布式、集群环境中:
A、缓存如何刷新?
1、定时刷新
2、主动刷新覆盖 ,每个缓存框架都有自带的刷新机制,或者说缓存失效机制,就拿Redis和 Ehcache举例, 他们都有自带的过期机制,另外主动刷新覆盖时,只需获取对应的key进行数据的覆盖即可
B、缓存如何保持同步?
这个redis有自带的集群同步机制,即复制功能,具体参考:基于Redis分布式缓存实现,Ehcache也有分布式缓存同步的配置,只需要配置不同服务器地址即可