한국   대만   중국   일본 
Google?案系統 - ?基百科,自由的百科全? 跳?到?容

Google?案系統

本页使用了标题或全文手工转换
?基百科,自由的百科全?
Google?案系統
操作系? Linux?核
?型 集群文件系?
?可?? ?有?件

Google?案系統 (英語: Google File System ,縮寫? GFS 或GoogleFS),一種?有 分布式文件系? ,由 Google 公司??,運行於 Linux 平台上 [1] 。?管Google在2003年公布了?系?的一些技???,但Google??有??系?的?件部分作??源?件?布 [2]

2013年,Google公布了Colossus專案,作?下一代的Google?案系統 [3]

?? [ ?? ]

GFS???Google的核心?据? ?面搜索 的存??行了?化。 ?据 使用大到若干 G字? 的大文件持?存?,而?些文件?少被?除、覆盖或者?小;通常只是?行添加或?取操作。?也是??Google的?算机集群?行的??和?化,?些?点是由廉价的“常用”?算机?成,?就意味着必?防止???点的高?害率和?之??的?据?失。其???理念包括高?据?吐率,甚至???了 存取反?期 ?差。

?点分???: ?点和 Chunkservers 。Chunkservers存??据文件,?些??的文件象常?的文件系?中的簇或者扇?那?被分成固定大小的?据?(?也是名字的由?)。每??据?有一?唯一的64位??,???文件到?成的?据?的??映射。每??据?在??上?制一?固定?量的次?,缺省次?是3次,?于常用文件如可?行文件的次?要更多。

主服?器通常?不存???的大??据,而是存??大??据相?的元?据,??的?据如映射表格?64位??映射到大??据位置及其?成的文件、大??据副本位置、???程正在??特定的大?据?或者追踪?制大??据的“快照”(通常在主服?器的激?下,?由于?点失?的?候,一?大?据?的副本?目降到了?定的?目下)。所有?些元?据通?主服?器周期性地接收?每??据?服?器?的更新(“心跳消息”)保持最新??。

操作的允?授?是通?限?的、倒??“租期”系???理的,主服?器授?一??程在有限的??段????据?,在?段???主服?器不?授?其?任何?程???据?。被更改的chunkserver???是主要的?据?存?器,然后?更改?制到其?的chunkserver上。?些?化直到所有的chunkserver??才存?起?,??就保?了操作的完整性和 原子性

??大?据?的程序首先??主服?器得到所要?据?的位置,如果大?据??有?行操作(?有重要的租?),主服?器回答大?据?的位置,然后程序就可以直接?chunkserver?行?系接收?据(?似于 Kazaa 和?的超??点)。

批?意? [ ?? ]

只能有一?主服?器??代?不允?存在多?主服?器。?看起?是限制系?可?展性和可?性的一?缺陷,因?系?的最大存?容量和正常工作??受制于主服?器的容量和正常工作??,也因??要?所有的元?据?行?制,?且因??乎所有的?作和?求都???;但是Google的工程???解?事??不是??。元?据是非常??的,??只有?K到?M的大小,?且主服?器通常是??上性能最好的?点之一;至于可?性,通常有一?“影子”主服?器制作主服?器的 ?像 ,一旦主服?器失???接替工作。?外,主服?器?少成???,因?客?端??取得元?据然后??? ?存 起?;?后的交互工作是直接?chunkservers?行。同?,使用??的主服?器可以大幅度地降低?件的??性,如果有多?的主服?器,?件??得??以能?保??据完整性、自?操作、??均衡和安全性。

?考文? [ ?? ]

  1. ^ Google提供的?文 The Google File System ?面存??? ,存于 互???案? )中,多?提到
  2. ^ "Despite having published details on technologies like the Google File System, Google has not released the software as open source and shows little interest in selling it. The only way it is available to another enterprise is in embedded form--if you buy a high-end version of the Google Search Appliance, one that is delivered as a rack of servers, you get Google's technology for managing that cluster as part of the package." "How Google Works" [ 失效連結 ]
  3. ^ Google's Colossus Makes Search Real-Time by Dumping MapReduce, High Scalability ( World Wide Web log), 2010-09-11 [ 2014-09-24 ] , (原始?容 存? 于2020-11-09)   .

外部?接 [ ?? ]

?? [ ?? ]