導(dǎo)語(yǔ)：一年一度的雙十一又雙叒叕來(lái)了，給技術(shù)人最好的禮物就是大促技術(shù)指南！ 而經(jīng)過(guò)這些年的發(fā)展，大促早已不僅僅局限于電商行業(yè)，現(xiàn)在各行各業(yè)其實(shí)都會(huì)采用類(lèi)似方式做運(yùn)營(yíng)活動(dòng)，汽車(chē)界有 818，電商有 618 、11.11 等等，各種各樣的大促場(chǎng)景，對(duì)包括數(shù)據(jù)庫(kù)在內(nèi)的基礎(chǔ)軟件提出了很多新挑戰(zhàn)，同時(shí)也積累了諸多最佳實(shí)踐。

在雙十一到來(lái)前，PingCAP 與汽車(chē)之家、易車(chē)網(wǎng)、京東、中通等用戶(hù)展開(kāi)一系列深入探討，希望為大家揭秘逐年飆升的銷(xiāo)量背后隱藏著什么樣的技術(shù)難題？用什么技術(shù)架構(gòu)才能平穩(wěn)地扛住流量洪峰？

818 全球汽車(chē)節(jié)

中國(guó)互聯(lián)網(wǎng)有三大購(gòu)物節(jié)，11.11、618 還有 818。

618 與 11.11 都是大家非常熟悉的，818 則比較特殊，它是專(zhuān)為購(gòu)車(chē)用戶(hù)打造的節(jié)日狂歡。汽車(chē)之家 “818 全球汽車(chē)夜” ，就是由汽車(chē)之家與湖南衛(wèi)視聯(lián)手打造的汽車(chē)行業(yè)頂級(jí)盛典，到今年已經(jīng)成功舉辦三屆。

相對(duì)于其它兩個(gè)購(gòu)物節(jié)，818 可以說(shuō)是全世界唯一的，其他任何汽車(chē)最發(fā)達(dá)的國(guó)家也沒(méi)有這類(lèi)活動(dòng)。對(duì)此，汽車(chē)之家資深工程師張帆解釋道：“我個(gè)人感覺(jué)，現(xiàn)在做電商和線(xiàn)上交易的這一塊，地球上應(yīng)該沒(méi)有哪個(gè)國(guó)家能超越中國(guó)。而為什么汽車(chē)之家是最早來(lái)做這個(gè)事情的呢？首先，汽車(chē)之家是全球訪(fǎng)問(wèn)量最大的汽車(chē)類(lèi)型網(wǎng)站。正是有著這樣巨大的凝聚力與用戶(hù)基礎(chǔ)，汽車(chē)之家才能做這個(gè)事情，才能在廣大用戶(hù)中帶來(lái)這樣的影響力。此外，這個(gè)活動(dòng)的初衷就是希望為汽車(chē)用戶(hù)和汽車(chē)愛(ài)好者，提供一個(gè)類(lèi)似于 11.11、618 一樣真正能在買(mǎi)車(chē)的時(shí)候得到優(yōu)惠的機(jī)會(huì)，因此廣受用戶(hù)歡迎。”

從 2019 年開(kāi)始，汽車(chē)之家與湖南衛(wèi)視合作的 “818 全球汽車(chē)夜” 已經(jīng)持續(xù)了三年。與傳統(tǒng)大促不同，818 全球汽車(chē)夜通過(guò)電視直播和與 APP 活動(dòng)同步的方式將汽車(chē)購(gòu)物節(jié)推到高峰，為 8 月的汽車(chē)行業(yè)帶來(lái)一場(chǎng)購(gòu)車(chē)盛宴。

818 直播活動(dòng)帶來(lái)的挑戰(zhàn)

張帆坦言，在汽車(chē)之家的 818 活動(dòng)中，直播環(huán)節(jié)是最難的。與錄播完全不同，直播的過(guò)程中，會(huì)有非常多的變數(shù)，也許會(huì)有節(jié)目時(shí)間的拉長(zhǎng)，也許會(huì)有主持人的即興發(fā)揮，也許后臺(tái)還會(huì)有一些突發(fā)的數(shù)據(jù)處理。而作為整場(chǎng)晚會(huì)的亮點(diǎn)，一元秒殺車(chē)、紅包抽獎(jiǎng)以及超級(jí)大錦鯉等活動(dòng)，是用戶(hù)參與度最高，峰值流量出現(xiàn)的環(huán)節(jié)。這些活動(dòng)開(kāi)始與結(jié)束的時(shí)機(jī)，必須以秒級(jí)的精度來(lái)讓前臺(tái)、后臺(tái)配合。

直播當(dāng)天，汽車(chē)之家通常會(huì)專(zhuān)門(mén)派一支團(tuán)隊(duì)到湖南衛(wèi)視直播現(xiàn)場(chǎng)，通過(guò)手機(jī)、電話(huà)、5G 對(duì)講機(jī)、在線(xiàn)視頻連線(xiàn)等多路通訊與位于北京的“作戰(zhàn)室”之間實(shí)時(shí)溝通。由于直播信號(hào)通常比現(xiàn)場(chǎng)信號(hào)晚一分鐘，當(dāng)前面主持人在說(shuō)三二一秒殺開(kāi)始后，后臺(tái)其實(shí)只有一分鐘的準(zhǔn)備時(shí)間。一分鐘后，就要讓電視機(jī)前的上百萬(wàn)用戶(hù)在手機(jī)上真的能看到三、二、一，秒殺的按紐點(diǎn)亮，可以去按下它參與活動(dòng)。這個(gè)過(guò)程完全不能出錯(cuò)，必須實(shí)現(xiàn)一比一同步。

整個(gè)過(guò)程對(duì)于后方“作戰(zhàn)室”中的張帆他們來(lái)說(shuō)，感受非常直觀。這個(gè)“作戰(zhàn)室”內(nèi)有數(shù)據(jù)大屏、監(jiān)控大屏，以及現(xiàn)場(chǎng)直播的信號(hào)和直播看到的電視信號(hào)。每一次秒殺開(kāi)始或紅包開(kāi)始時(shí)，監(jiān)控大屏中的幾條線(xiàn)就會(huì)隨著參與人數(shù)和互動(dòng)次數(shù)的增加呈現(xiàn)斷崖式的波動(dòng)。這些代表著業(yè)務(wù)指標(biāo)的線(xiàn)被他們稱(chēng)作“心電圖”，而在直播中某些高人氣明星出場(chǎng)時(shí)，這個(gè)波動(dòng)甚至?xí)绕渌麜r(shí)段高 2-4倍多。

與此同時(shí)，現(xiàn)場(chǎng)的數(shù)據(jù)大屏也在以 1-2 秒的速度，實(shí)時(shí)展示大約 20 項(xiàng)數(shù)據(jù)指標(biāo)，包括活動(dòng)參與人數(shù)、用戶(hù)互動(dòng)次數(shù)、獎(jiǎng)品發(fā)放情況，甚至細(xì)化到這一輪一元秒殺車(chē)活動(dòng)參與的用戶(hù)有哪些人，在什么地方，中了什么車(chē)。

這些實(shí)時(shí)的數(shù)據(jù)不僅會(huì)被后臺(tái)工作人員看到，同時(shí)數(shù)據(jù)也會(huì)實(shí)時(shí)展示到直播現(xiàn)場(chǎng)。這對(duì)現(xiàn)場(chǎng)活動(dòng)的氣氛起到了非常重要的烘托作用。舉例來(lái)說(shuō)，當(dāng)用戶(hù)在屏幕前看到這場(chǎng)晚會(huì)人氣火爆，并真的有許多人參與到一元搶車(chē)互動(dòng)中，這對(duì)他而言就相當(dāng)于一個(gè)反向激勵(lì)，繼而也參與其中。

在這個(gè)過(guò)程中，實(shí)時(shí)數(shù)據(jù)大屏不僅要解決實(shí)時(shí)交易問(wèn)題，還要將實(shí)時(shí)分析數(shù)據(jù)反饋給現(xiàn)場(chǎng)的主持人。當(dāng)主持人幾乎實(shí)時(shí)地將中獎(jiǎng)信息公布出來(lái)時(shí)，晚會(huì)氣氛也推到了高位，這對(duì)于吸引更多人參與其中起到了關(guān)鍵作用。而隨著秒殺的車(chē)越來(lái)越貴，越靠后系統(tǒng)所承受的波峰也越高。相對(duì)于汽車(chē)之家平時(shí)的業(yè)務(wù)，晚會(huì)經(jīng)歷的流量翻了十倍都不止，對(duì)整個(gè)系統(tǒng)的壓力不言而喻。

汽車(chē)之家大促解決之道——分布式系統(tǒng)全家桶

大促場(chǎng)景通常要求系統(tǒng)具備快速擴(kuò)展與高可用的能力，而分布式系統(tǒng)天然就具有這種能力。汽車(chē)之家采用了全家桶式的分布式系統(tǒng)，包括數(shù)據(jù)庫(kù)、隊(duì)列、緩存等。

其中，分布式數(shù)據(jù)庫(kù)主要表現(xiàn)出三種能力，分別是水平高擴(kuò)展性、容災(zāi)能力、云端能力。基于分布式架構(gòu)的 TiDB 從一開(kāi)始就支持這些特性，并在汽車(chē)之家的場(chǎng)景中得到了很好的驗(yàn)證。

汽車(chē)之家數(shù)據(jù)庫(kù)負(fù)責(zé)人陶會(huì)祥表示，傳統(tǒng)關(guān)系型數(shù)據(jù)庫(kù)，如 MySQL 、SQL Server 等，在數(shù)據(jù)量特別大時(shí)，常常會(huì)碰到一些數(shù)據(jù)庫(kù)單機(jī)承載能力上限的問(wèn)題。 TiDB 從 TiDB Server，到 TiKV 、PD 都可以進(jìn)行水平擴(kuò)展，性能隨著水平擴(kuò)展可以得到線(xiàn)性提升，很好地滿(mǎn)足了汽車(chē)之家對(duì)于性能和擴(kuò)展性的要求。

818 對(duì)于汽車(chē)之家而言是一年中最重要的活動(dòng)，系統(tǒng)必須保障絕對(duì)的可靠穩(wěn)定。所以這次 818 活動(dòng)，汽車(chē)之家在公有云上采用了同城三中心部署 TiDB 集群，避免萬(wàn)一某一個(gè)機(jī)房出了問(wèn)題，影響整體活動(dòng)的服務(wù)質(zhì)量。

同城三數(shù)據(jù)中心方案，即同城有三個(gè)機(jī)房部署 TiDB 集群，同城三數(shù)據(jù)中心間的數(shù)據(jù)同步通過(guò)集群自身內(nèi)部( Raft 協(xié)議)完成。同城三數(shù)據(jù)中心可同時(shí)對(duì)外進(jìn)行讀寫(xiě)服務(wù)，任意一個(gè)數(shù)據(jù)中心故障時(shí)，集群能自動(dòng)恢復(fù)服務(wù)，不需要人工介入，并能保證數(shù)據(jù)一致性。TiDB 同城三中心架構(gòu)在 818 晚會(huì)期間順利地支撐了業(yè)務(wù)，運(yùn)行表現(xiàn)十分穩(wěn)定。

汽車(chē)之家 818 TiDB 集群整體架構(gòu)圖

本次 818 項(xiàng)目中，汽車(chē)之家使用了 TiDB 最新的版本 5.1.1，MySQL 的版本是 Percona 5.7.25；TiFlash 是 TiDB HTAP 形態(tài)的關(guān)鍵組件，它是 TiKV 的列存擴(kuò)展，主要用于 OLAP 業(yè)務(wù)。TiFlash 跨區(qū)部署提高容災(zāi)能力，汽車(chē)之家利用 TiFlash 解決統(tǒng)計(jì)分析類(lèi)的 SQL，實(shí)時(shí)展示在大屏；TiCDC 是一款通過(guò)拉取 TiKV 變更日志實(shí)現(xiàn)的 TiDB 增量數(shù)據(jù)同步工具，具有將數(shù)據(jù)還原到與上游任意 TSO 一致?tīng)顟B(tài)的能力，支持其他系統(tǒng)訂閱數(shù)據(jù)變更。 TiCDC 跨區(qū)部署， 將 TiDB 集群數(shù)據(jù)實(shí)時(shí)同步至下游的 MySQL 數(shù)據(jù)庫(kù)，作為故障應(yīng)急的備份，實(shí)現(xiàn)業(yè)務(wù)容災(zāi)能力的提升；MySQL 跨區(qū)部署主從，作為 TiDB 集群的應(yīng)急、降級(jí)之用，實(shí)現(xiàn)業(yè)務(wù)容災(zāi)能力的提升。數(shù)據(jù)庫(kù)壓測(cè)

在 818 活動(dòng)前，數(shù)據(jù)庫(kù)團(tuán)隊(duì)聯(lián)合業(yè)務(wù)方一起做了一輪一輪嚴(yán)格的故障演練壓測(cè)，確保后端的高可用。

陶會(huì)祥透露，汽車(chē)之家的故障演練分為多種，光數(shù)據(jù)庫(kù)就會(huì)演練主庫(kù)故障和機(jī)房故障，一共做了三輪。每一輪測(cè)試中 TiDB 的表現(xiàn)都非常優(yōu)秀，KV 故障基本在幾十秒，只需 20 秒即可恢復(fù)，即使機(jī)房故障也能在一分鐘之內(nèi)進(jìn)行自動(dòng)切換。

為了保障活動(dòng)平穩(wěn)支撐，PingCAP 社區(qū)技術(shù)專(zhuān)家連續(xù)三年為汽車(chē)之家提供了社區(qū)技術(shù)支持。在今年的壓測(cè)環(huán)節(jié)中，社區(qū)技術(shù)專(zhuān)家與汽車(chē)之家 DBA 一起完成了調(diào)優(yōu)，良好地解決了寫(xiě)入熱點(diǎn)問(wèn)題，將性能翻了好幾倍。最終在 818 高峰時(shí)期，TiDB 順利支撐了晚會(huì)期間 APP 用戶(hù) 9048 萬(wàn)次互動(dòng)，并抗住了最大每秒 40 萬(wàn)行的寫(xiě)入，SQL 99 穩(wěn)定在 30ms 以下。TiCDC 性能表現(xiàn)也十分強(qiáng)勁，向下游 MySQL 同步速度高達(dá) 13 萬(wàn)行每秒 。跨中心的 TiFlash MPP 架構(gòu)，為大屏近實(shí)時(shí)展示助力總次數(shù)、秒殺和搖獎(jiǎng)的每輪參與用戶(hù)等信息提供了強(qiáng)有力的支撐。

陶會(huì)祥都對(duì)大促中 TiDB 的表現(xiàn)給予十分高的評(píng)價(jià)：TiDB 在這種十億以上的數(shù)據(jù)量級(jí)場(chǎng)景下是非常適合的，一是 TiDB 的分析能力是實(shí)時(shí)的，二是 TiDB 的數(shù)據(jù)存儲(chǔ)能力比傳統(tǒng)數(shù)據(jù)庫(kù)，如 SQL Server 之類(lèi)強(qiáng)太多。 TiDB 結(jié)合了傳統(tǒng)數(shù)倉(cāng)和傳統(tǒng)關(guān)系型數(shù)據(jù)庫(kù)的優(yōu)點(diǎn)，非常適合應(yīng)用在大促這種量級(jí)的業(yè)務(wù)環(huán)境。

未來(lái)規(guī)劃

汽車(chē)之家的數(shù)據(jù)庫(kù)團(tuán)隊(duì)在本次 818 大促中，也總結(jié)出了非常多的最佳實(shí)踐：

如同城三中心五副本架構(gòu)，機(jī)房之間延遲應(yīng)當(dāng)盡量小，最好控制在 2ms 以?xún)?nèi)；OLTP 的業(yè)務(wù)，通常壓測(cè)瓶頸在于 TiKV 的磁盤(pán) IO 上，對(duì)于普通 SSD ，可以做成 RAID0 來(lái)提升 IOPS；一旦某個(gè)可用區(qū)整體故障，正常不需要手動(dòng)干預(yù)，但是為了避免性能下降嚴(yán)重，建議手動(dòng)將五副本調(diào)整為三副本；合理設(shè)計(jì)表結(jié)構(gòu)和索引，盡量避免熱點(diǎn)問(wèn)題，和業(yè)務(wù)一起做好充分壓測(cè)，壓測(cè)期間盡早發(fā)現(xiàn)問(wèn)題并優(yōu)化。

基于本次活動(dòng)中的良好表現(xiàn)，陶會(huì)祥表示，汽車(chē)之家接下來(lái)還會(huì)在更多業(yè)務(wù)中推進(jìn) TiDB 上線(xiàn)。比如以前汽車(chē)之家的很多數(shù)據(jù)會(huì)跑在 Hive 里，需要到第二天才能知道昨天發(fā)生了什么事。如果應(yīng)用 TiDB ，可以針對(duì)運(yùn)營(yíng)需要的用戶(hù)數(shù)據(jù)、業(yè)務(wù)指標(biāo)的分析，去做秒級(jí)的準(zhǔn)實(shí)時(shí)推送，預(yù)計(jì)能夠?qū)⑦@一時(shí)間壓縮到 5-10秒。業(yè)務(wù)方可以立即知道上一刻用戶(hù)有什么變化，數(shù)據(jù)有什么更新。