人工智能平臺(tái)公司啟元世界正在借助亞馬遜云科技的“智能湖倉”進(jìn)行云上創(chuàng)新，實(shí)現(xiàn)數(shù)據(jù)的融合和統(tǒng)一治理，加快其全生命周期產(chǎn)品矩陣?yán)砟畹穆涞睾鸵?guī)模發(fā)展。同時(shí)，在流數(shù)據(jù)處理、批數(shù)據(jù)處理和即席查詢等不同數(shù)據(jù)場景下，利用“智能湖倉”架構(gòu)專門構(gòu)建的理念，對(duì)流數(shù)據(jù)處理系統(tǒng)實(shí)現(xiàn)了分鐘級(jí)部署，并能夠輕松承載百萬QPS（每秒查詢率）流數(shù)據(jù)；還將批處理運(yùn)行時(shí)間減少80%，運(yùn)營總成本下降50%。

啟元世界成立于2017年8月，是一家領(lǐng)先的人工智能平臺(tái)公司，將先進(jìn)的人工智能技術(shù)應(yīng)用于智能決策和數(shù)字娛樂領(lǐng)域。公司擁有深度學(xué)習(xí)、強(qiáng)化學(xué)習(xí)、云計(jì)算等領(lǐng)域自主研發(fā)的核心技術(shù)、產(chǎn)品，積累了豐富的行業(yè)應(yīng)用經(jīng)驗(yàn)，為公共科技、數(shù)字娛樂、電力能源、交通物流等行業(yè)提供基于平臺(tái)產(chǎn)品的人工智能解決方案。目前，啟元世界已與數(shù)十家行業(yè)知名客戶和機(jī)構(gòu)建立合作關(guān)系。

啟元世界的目標(biāo)是打造游戲全生命周期的產(chǎn)品矩陣，用領(lǐng)先的AI和數(shù)據(jù)分析能力，幫助游戲快速上線，改善游戲體驗(yàn)，提升客戶留存，獲得更大成功。作為服務(wù)全球客戶的人工智能平臺(tái)公司，啟元世界的技術(shù)架構(gòu)必須做到全球部署，并且需要有極高的可靠性和可擴(kuò)展性。為了突出和強(qiáng)化在人工智能領(lǐng)域的優(yōu)勢，啟元世界還希望把更多精力聚焦在算法迭代與產(chǎn)品打磨上，這就需要一個(gè)成熟、穩(wěn)定、免運(yùn)維的大數(shù)據(jù)托管服務(wù)。此外，服務(wù)上線后，伴隨業(yè)務(wù)規(guī)模的快速增長，游戲運(yùn)營過程中的波峰、波谷也會(huì)愈發(fā)明顯，這就需要一個(gè)靈活敏捷且具有彈性伸縮能力的技術(shù)架構(gòu)。

亞馬遜云科技的“智能湖倉”架構(gòu)將全面而深入地?cái)?shù)據(jù)服務(wù)無縫集成，打通了數(shù)據(jù)湖和數(shù)據(jù)倉庫之間的數(shù)據(jù)移動(dòng)及訪問。并且進(jìn)一步實(shí)現(xiàn)了數(shù)據(jù)在數(shù)據(jù)湖、數(shù)據(jù)倉庫，以及在數(shù)據(jù)查詢、數(shù)據(jù)分析、機(jī)器學(xué)習(xí)等各類專門構(gòu)建的服務(wù)之間按需移動(dòng)，從而形成統(tǒng)一且連續(xù)的整體，滿足客戶各種實(shí)際業(yè)務(wù)場景下的不同需求。

亞馬遜云科技的“智能湖倉”架構(gòu)涵蓋數(shù)據(jù)源、數(shù)據(jù)攝取層、存儲(chǔ)層、目錄層、數(shù)據(jù)處理層和消費(fèi)層六層架構(gòu)，可幫助客戶輕松應(yīng)對(duì)海量業(yè)務(wù)數(shù)據(jù)，充分挖掘數(shù)據(jù)價(jià)值。

在流處理方面，Amazon Kinesis云原生流數(shù)據(jù)全棧解決方案可以一站式解決游戲數(shù)據(jù)收集、分析、歸檔問題，從運(yùn)維敏捷性和性能上都為啟元世界提供了非常優(yōu)秀的體驗(yàn)。Amazon Kinesis自身就具有面向公網(wǎng)收集流數(shù)據(jù)的能力，并且高可用，易于擴(kuò)展，有完善的鑒權(quán)機(jī)制，也不需要管理底層硬件。另外，鑒權(quán)機(jī)制還可以一鍵把數(shù)據(jù)歸檔到Amazon Simple Storage Service (Amazon S3)，或者使用Flink框架直接對(duì)流數(shù)據(jù)進(jìn)行業(yè)務(wù)分析。使用Amazon Kinesis之后，啟元世界流數(shù)據(jù)處理系統(tǒng)實(shí)現(xiàn)了分鐘級(jí)部署，并能夠輕松承載百萬QPS（每秒查詢率）流數(shù)據(jù)。

在批處理方面，原先啟元世界習(xí)慣于使用Spark進(jìn)行大數(shù)據(jù)分析，但管理Spark集群耗費(fèi)團(tuán)隊(duì)太多精力，且每天等待數(shù)據(jù)處理時(shí)間過于漫長，導(dǎo)致無法高效地把主要精力投入到業(yè)務(wù)創(chuàng)新。得益于亞馬遜云科技擁抱開源的產(chǎn)品理念，Amazon EMR能夠在云上輕松部署彈性可擴(kuò)展的Spark集群環(huán)境，進(jìn)行SQL開發(fā)工作，完全不用擔(dān)心集群維護(hù)和計(jì)算能力受限。此外，亞馬遜云科技托管的 Apache Airflow，也能夠幫助啟元世界實(shí)現(xiàn)批處理過程的自動(dòng)化。通過使用Amazon EMR 和亞馬遜云科技托管的 Apache Airflow，批處理運(yùn)行時(shí)間減少80%，在不改變采用開源組件開發(fā)體驗(yàn)的前提下，啟元世界運(yùn)營總成本下降50%，能夠承載的查詢數(shù)量與復(fù)雜度上升數(shù)倍。

在即席查詢方面，啟元世界業(yè)務(wù)的快速增長需要越來越多的報(bào)表，業(yè)務(wù)管理和決策也會(huì)頻繁提出臨時(shí)的查詢需求，這些都給大數(shù)據(jù)團(tuán)隊(duì)帶來挑戰(zhàn)。因此公司需要真正的交互式大數(shù)據(jù)查詢及報(bào)表分析功能，讓業(yè)務(wù)人員和管理人員能夠時(shí)刻受益于大數(shù)據(jù)的潛在價(jià)值。通過采用Amazon Glue和Amazon Athena，啟元世界可以在控制臺(tái)上快速使用SQL查詢數(shù)據(jù)；Amazon QuickSight可以幫助啟元世界快速構(gòu)建數(shù)據(jù)報(bào)表，或根據(jù)自己的需求完成數(shù)據(jù)查詢。秒級(jí)響應(yīng)各種數(shù)據(jù)查詢及分析請(qǐng)求，數(shù)據(jù)報(bào)表生成加快一倍。

fqj