《海量數據的高效存儲_---_淘寶云梯極限存儲的原理和實踐》由會員分享，可在線閱讀，更多相關《海量數據的高效存儲_---_淘寶云梯極限存儲的原理和實踐（31頁珍藏版）》請在裝配圖網上搜索。
1、單擊此處編輯母版標題樣式,單擊此處編輯母版文本樣式,第二級,第三級,第四級,第五級,*,1,極限存儲設計原理及實踐,淘,寶,-,數據平臺與產品部 圖海,2024年12月10日,2,場景,方案,效果,優化,云梯,1,前端,RDBMS,其他集群,點擊流日志,LogServer,everyday,everytime,云梯的存儲職責,DataX,TimeTunnel,DBSync,怎么辦,?,怎么辦,?,怎么辦,?,刪除歷史數據，立竿見影，省力又省事,怎么辦,?,20080101,20080102,20080103,20110720,商品表,500G,502G,505G,G,1000G,“,21,世紀
2、核心的競爭是數據的競爭,”,“誰擁有更多數據，誰就擁有未來”,前端交易系統、商品中心、用戶中心等出于效率的考慮，不會長期保存大量歷史數據，而數據,平臺,作為企業數據分析及挖掘的基礎設施，天生具有保存歷史數據的職責，非但如此，如何快速、高效的獲取歷史上任意一天的快照數據也成為設計歷史數據存放方式時的重要考量。,數據分類,商品表,:,商品,ID,商品名,商品狀態,創建時間,所屬類目,交易表,:,訂單,ID,支付,ID,物流,ID,支付時間,訂單狀態,典型操作,:,新增商品,/,訂單,(new),商品,/,訂單狀態變更,(update),商品下線,/,訂單撤銷,(delete),典型,的數據庫增刪改
3、操作,數據特點,:,有業務主鍵，確保記錄唯一性,全量快照數據量巨大,(1TB),，數據分析需要全量快照數據,每日變更量占比很少,(,遠低于,5%),數據記錄冗余度非常高,注,:,變更指發生增刪改的記錄,當時存量數據中,7,0%,屬于此類特征的業務數據，且記錄冗余度高,數據分類,評價增量表,:,評價,ID,用戶星級,用戶昵稱,評價記錄,商品名稱,點擊流日志,:,記錄時間,IP,地址,引用鏈接,機器,ID,用戶,ID,數據特點,:,沒有業務主鍵,屬于日志流水，每日新增數據,數據記錄重復程度非常低，每條都基本唯一,數據記錄冗余度基本,為,0,存儲總體占比不高，且數據冗余度較低，優化空間有限,數據特點
4、,:,有業務主鍵，確保記錄唯一,數據只有新增操作，不會變更或刪除,每天只需保留當天新增評價,數據記錄冗余,度,基本為,0,思考,&,討論,20100906,消失記錄,(,包括被刪除及被變更記錄,),，占,2%,左右,20100906,和,20100907,未發生變更部分，占總體的,95%,以上，正是這部分的重復存儲過多的消耗了存儲成本,20100907,新增記錄,(,包括純新增及變更后記錄,),，占,3%,左右,20100906,20100907,問題,:,如,何,設計方案達到以下效果,?,減少,/,去除冗余數據，降低存儲成本,保證快照數據的快速訪問,對業務應用透明或降低應用改造成本,參考方案
5、,增量數據,2010,年,4,月,2,日全量,latest,分區,2010,年,4,月,2,日失效分區,2010,年,4,月,1,日全量,2010,年,4,月,2,日,2010,年,4,月,1,日,2010,年,4,月,3,日全量,latest,分區,2010,年,4,月,3,日失效分區,2010,年,4,月,3,日,2010,年,4,月,30,日全量,latest,分區,2010,年,4,月,30,日失效分區,2010,年,4,月,30,日,增量數據,增量數據,注,:,類似于數據庫系統中常見的增量備份或周期備份策略,優點,:,易于理解，在數據庫備份中廣泛應用,實現較為簡單,缺點,:,訪問快照
6、數據成本太高,無法直接反應刪除,/,被變更數據，需要額外設計,應用改造成本較高,記錄生命周期,數據天生以行進行分割，行數據在數據庫中稱為一條數據記錄,(Record).,一,條記錄對應可能有,Insert/Update/Delete,操作,Insert,通常對應一條全新的記錄，意味著記錄的新生,Delete,通常是原有的記錄被刪除，意味著記錄的死亡,Update,是在原有的記錄上修改某些字段，一條,Update,操作可以拆分為,Delete/Insert,原子對操作，即從記錄的維度來看，相當于前一條記錄死亡，后一條記錄新生,因此，我們可以認為，任何一條記錄,(,行數據,),必定在歷史上某天新生
7、,(start),，并在其后的某一天死亡,(end),，而這個,start-end,對就定義為該記錄的生命周期。,活躍數據和死亡數據,活躍數據,一條記錄，在其產生之后直至當天仍舊存活,(,未被,Delete/Update),，那么我們認為它是一條活躍數據,對于活躍數據，其產生,(start),日期已經明確，但死亡,(end),日期并不確定,數據標簽,:start-INFINITY(,無窮大,),如,20110401-INF,死亡數據,一條記錄，,在當天以前就被更改,(,被,Delete/Update),，那么我們認為它是一,條死亡了的數據,對于死亡數據,，其產生,(start,),和死亡,(e
8、nd),日期都已經明確,數據標簽,:start-end,如,20110401-200110423,INF,目錄存放在某一天新增并且一直未曾被刪除或修改的記錄,(,即活躍數據,),此處省略一萬字,0901-0902,0901-0903,0901-0904,0901-09.,0901-0930,0901-INF,0902-0903,0902-0904,0902-09.,0902-0930,0902-INF,0903-0904,0903-09.,0903-0930,0903-INF,09n-09(n+1),09n-0930,09n-INF,0929-0930,0929-INF,0930-INF,極限
9、存儲,極限存儲原理,三,個,結論,:,任意,一,條記錄，由于其生命周期確定，必定對應唯一的一個數據標簽,一,個數據標簽對應符合該生命周期的記錄集合,(,該記錄集合有為空的可能性,),歷史上出現的所有記錄，必然可以成功的劃分到不,同,的生命周期數據標簽里去,歷史快照,原理,TimeLine,0413,0414 0415,0416 INF,INF,0414 ,INF,0201 0413,0313,0314 INF,0313,0314 0415,0416 INF,0413,0414 0416,0417 INF,0413,0414 0417,0418 INF,0414 INF,0201 0413,03
10、13,0314 0414,0415 INF,0310,0311 0421,0422 INF,所有被藍色線條經過的數據標簽，其數據內容組合起來即為,0414,這天的數據全量快照,同理，歷史上任意一天的數據快照均可以該方式獲得,歷史區間快照,原理,TimeLine,0413,0414 0415,0416 INF,INF,0414 ,INF,0201 0413,0313,0314 INF,0313,0314 0415,0416 INF,0413,0414 0416,0417 INF,0413,0414 0417,0418 INF,0414 INF,0201 0413,0313,0314 0414,0
11、415 INF,0310,0311 0421,0422 INF,所有在兩條藍色線條以內以及穿過任意一條藍色線條的數據標簽，其數據內容組合起來即為,0314-0415,的數據全量快照,方案,主體,邏輯,包含以下主要步驟：,1.通過主鍵關聯對比昨天全量和今天全量的數據差異，并將這些,數據,區,分為,活躍,(Lived),或,過期,(Expired),數據。,2.對于對比的結果數據進行統計，獲得每個生命周期下實際的數據條,數,，統計結果用來產生不同生命周期的記錄到文件目錄的映射。,3.使用mapreduce數據對第1步結果進行分發，相同生命周期的數據會被寫入到對應的唯一的生命周期目錄,下,(,依賴,
12、2,的統計結果,),。,4.使用hive的雙重分區映射生命周期目錄，這樣用戶可以通過靈活的hive分區過濾來獲得期望的數據,。,5.數據驗證，為了保證應用極限存儲后結果的正確性，因此增加了數據條數對比的驗證規則。,方案,主體,邏輯,記錄生命周期標簽云,0401-0402,0401-0403,0401-0404,0402-0403,0402-0404,2010,年,4,月,23,日全量,2010,年,4,月,22,日全量,(,極限存儲,),20100401-20100423,20100402-20100423,2010,0,408-20100423,2010,0,422-20100423,201
13、0,0,423-INF,2010,0,409-20100423,數據分揀,Hive,介紹,全文對比,數據統計,數據分揀,分區映射,數據驗證,遇到的問題,產生的目錄,/,文件數,非常多,產生目錄數及文件數按日呈級數增長,一個月產生,465,個目錄,一年產生,66795,個目錄,文件數,=,目錄數,*reduce,數,(,如,1000),對,NameNode,壓力非常,大,對應分區非常多，,Hive,元數據庫壓力也很大,文件大小不均勻,如何快速訪問任意一天,/,一段時期的快照數據,分揀中運行出錯會導致數據損壞或丟失,不同月份數據并行運行丟失數據問題,單個數據標簽內數據損壞,/,丟失導致一段時期內快
14、照不準,其他的一些保護機制,應用效果,迄今為止已有,30,余種業務數據完成應用，累積節省存儲達,15PB,。,極限,存儲,使用方法,Hive:,取某天快照,:,select,*from,tb_users_exst,where,pt_start20100410,取某天快照,(UDF,方式,):,select,*from,tb_users_exst where,exst_pt,(pt_start,pt_end,20100410),取一段時間快照,:,select,*from,tb_users_exst,where pt_start,20100410,Hadoop:,在調用,setInputDir,
15、之前通過提供的方法獲得生命周期目錄列表，如下,:,List dateLists=DateListGenerator.generateExStoreListDirs(/,group/taobao/taobao/hive/tb_users_exst,20100410);,極限,存儲,應用場景,查看一件商品,2011,年的變更歷史,:,不使用極限存儲,:,select*from tb_auctions where,pt=20110101 and pt=20110731,掃描數據量,:450G*7*30=92TB,使用極限存儲,:,s,elect*from tb_auctions_exst where
16、,pt_start,20110731,掃描數據量,:450G*7*2,膨脹率,=6TB(,當前實現,),450G*2,膨脹率,=900G(,理想情況,),獲取某天增量,(delta),數據,:,select*from,tb_auctions where pt_start=20110105,注,:,月頭不適用，,1,號增量需要額外計算,極限,存儲,方案優化,性能優化,:,支持從極限存儲全量,&,當天增量產生極限存儲數據,計算時間從,2,個小時下降至,1,個小時,計算成本下降了,5,0%,優化調整運行參數,:,set io.sort.spill.percent=0.80;set io.sort.mb=512;set io.sort.factor=32;set io.sort.record.percent=0.04;set mapred.reduce.parallel.copies=8;set mapred.job.shuffle.input.buffer.percent=0.70;,易用性,優化,:,Hive,層增加,hook,，實現,SQL,自動替換，對用戶及上層業務透明。,如,:,se
海量數據的高效存儲_---_淘寶云梯極限存儲的原理和實踐
