加快数字化转型进程既是运营商寻求生存发展的应对之举,也是拥抱数字经济商业机会与信息变革的主动选择。近年来,随着5G的正式到来,网络日益复杂,新老设备并存,业务场景复杂度和业务洞察需求不断增加,运营商亟须通过数字化、智能化升级提高业务能力,应对数字化挑战。
四川移动随着5G的到来,数据量激增,由此引发一系列难题:新的业务需求不断增加,当前查询集群性能亟需改善;硬件服务器采购响应时间及周期无法满足数据量增加的需求;现有HIVE集群支撑SEQ应用单据多并发查询时间无法满足实际应用需求等。为解决上述难题,四川移动决定引入新的数据库产品,实现O域大数据平台提质增速。
在确定新引入的数据库产品前,四川移动将雪球数据库Snowball与友商数据库进行了两轮测试对比:
在首轮测试中,测试场景抽取了6个SEQ应用业务场景,就数据加载、压缩比和数据查询响应时间三项进行测试对比。测试结果显示,雪球数据库Snowball与友商数据库的加载效率相当,而数据平均压缩比约为友商数据库的1.3倍。在数据响应时间方面,雪球数据库Snowball的并发查询时间均比友商数据库短,多并发平均查询耗时约是友商数据库的四十分之一。
为进一步验证雪球数据库Snowball在实际应用中的能力,四川移动进行了第二轮测试,并在第二轮测试中考虑实际业务场景,在数据加载的同时进行查询性能测试。测试结果再次验证了雪球数据库Snowball查询速度优势突出,在1并发时比原有的Hive快34倍,比友商数据库快24倍,随着并发数的提高,雪球数据库Snowball查询优势提升到百倍以上。
凭借高效、多样化的查询能力和优异的压缩性能,雪球数据库Snowball成为本次四川移动O域大数据平台升级改造的选择数据库产品。
在引入雪球数据库Snowball后,四川移动利用其可扩展架构、高数据压缩比以及高效的数据存储结构和索引技术等特性,实现以尽可能少的硬件资源,满足5G业务时代更大数据量、更复杂业务场景、更快查询需求的需求,达到降本增效的目标:
随着5G业务的推广,四川移动数据量迅速增长为4G时的5倍,但硬件资源扩容缓慢,数据存储面临巨大挑战。雪球数据库Snowball通过高数据压缩比,实现以相同的硬件配置保存更长时间的数据,并通过列压缩、全表压缩等多种数据压缩策略和Zstd、Lz4、Delta等多种压缩算法支持四川移动灵活压缩不同数据,始终将压缩比控制在3:1~10:1,有效解决数据量激增下的数据存储难题。
雪球数据库Snowball采用MergeTree数据存储结构,提升数据导入速度;通过配置二级索引,提升多样化查询条件下的查询速度;通过冷热数据可配置到不同的存储介质上,提升访问速度,满足了四川移动大并发查询用户级详单、多样化查询和多厂家建设上层应用的场景需求。
四川移动不断增长的业务需求要求集群可平滑扩展,并要求充分利用服务器资源,节省硬件开销。雪球数据库Snowball采用对称的多主集群架构,有效避免master/slave架构中单点性能瓶颈,实现集群可线性扩展。同时,通过向量化执行引擎,高效利用CPU、节点和整个集群的资源,有效提升用户查询速度。
除了满足四川移动上述需求,雪球数据库Snowball在应用开发难度、维护难度和维护力度上也优于原有的Hive和友商数据库,有效降低四川移动运维成本。
在这次成功的数字化升级实践中,睿帆科技和四川移动均看到了更广阔的合作空间。未来,睿帆科技将继续与运营商用户同行,共同探索雪球数据库Snowball在运营商大数据的更多应用场景,助力通信行业持续创新和高质量发展。
