Google Bigtable
动态的控制数据分布和格式 PB级
Bigtable:适用性广泛、可扩展、高性能、高可用
数据没有格式,用户自己去定义
稀疏的、分布式的、持久化存储的多维排序Map 。 Map的索引是行关键字、列关键字、时间戳Webtable:URL(关键字) 反转URL中主机名时间戳API:修改群、表、列族用户程序:写入、删除、查找、遍历、读-更新-写操作--->>>服务器地址空间执行脚本程序BigTable构件:(Chubby 副本运行 or 用Paxos算法保持一致)a、给定时间只有一个活动的Master副本b、存储位置
c、查找
d、存储模式信息
e、存储列表
三个组件:链接到客户程序库、一个Master服务器、多个Table服务器Chubby file-->> Root Table(METADATA table)-->>Other METADATA tablets -->>User Table1...UserTableN Major Compaction:合并SSTable-->>新SSTableBloom过滤器:减少访问次数Commit日志: -->>GFS-->>排序-->>Seek操作Minor Compaction
Google File System(GFS)
面向大规模数据密集型应用的、可伸缩的分布式文件系统
大规模的流式读取和小规模的随机读取GFS集群:Master节点+Chunk服务惰性空间分配、 原子性的分离数据流、控制流