MSP客户FlexTV大数据分析系统项目

2025-06-15 14:30

关于FlexTV乐看科技

广州乐看科技有限公司(FlexTV)是Mega Matrix Inc.(NYSE American: MPU)旗下品牌,通过其间接全资子公司Yuder Pte. Ltd.运营。FlexTV在创新流媒体视频服务领域处于领先地位,专注于短剧内容形态,致力于成为竖屏娱乐时代全球视频流媒体巨头。随着业务快速增长和全球化战略推进,FlexTV决定在AWS构建更稳定、更合规的全球化云基础设施。

核心业务能力

🎬 短剧内容制作 📱 竖屏流媒体平台 ✍️ 剧本开发体系 📊 数字营销服务 🌍 全球内容分发

面临的挑战与解决方案

⚠️ 挑战一

阿里云稳定性与全球化合规担忧

阿里云曾发生业务故障,技术支持响应缓慢。同时FlexTV正在开拓欧美市场,担心阿里云在国际合规认证、数据主权等方面存在限制


✓ 解决方案

迁移至AWS,配合Iplayable MSP托管服务,提供7×24小时企业级支持。AWS拥有全球最全面的合规认证(SOC、ISO、GDPR等),为全球化业务提供保障

⚠️ 挑战二

数据分析查询性能瓶颈

业务MySQL库存储海量短剧播放、用户行为数据,复杂分析查询耗时长达分钟级。业务人员和技术团队直接在生产库执行查询,导致数据库负载过高,影响线上业务稳定性


✓ 解决方案

将MySQL数据实时同步到ClickHouse集群,利用列式存储和向量化执行引擎,复杂查询从分钟级降至秒级。实现读写分离,分析查询不再影响生产库

⚠️ 挑战三

历史数据存储与查询困难

MySQL只保留近期数据,历史数据归档后查询不便。业务人员无法进行长周期数据分析和趋势对比,数据价值无法充分挖掘


✓ 解决方案

采用ByteHouse云原生数仓存储全量历史数据,支持跨年度数据分析。存储计算分离架构,查询性能不随数据量增长而下降,成本降低70%

架构设计方案

架构设计概述

基于AWS云基础设施,构建MySQL到ClickHouse/ByteHouse的数据同步分析架构。业务数据存储在RDS MySQL中,通过实时同步工具将数据同步到ClickHouse集群(用于实时分析和高频查询)和ByteHouse云数仓(用于历史数据存储和深度分析)。实现业务库与分析库的读写分离,既保障了生产环境稳定性,又为业务人员和技术团队提供了高性能的数据分析能力。

核心技术架构

💾 业务数据源

服务:Amazon RDS MySQL

功能:业务数据存储

数据:用户、短剧、播放记录等

🔄 数据同步工具

技术:MaterializeMySQL + DataX

功能:MySQL实时/批量同步

能力:秒级延迟数据同步

⚡ 实时分析引擎

技术:ClickHouse集群

用途:业务人员日常分析

能力:亿级数据秒级响应

🔧 云原生数据仓库

技术:ByteHouse

用途:历史数据深度分析

能力:PB级数据存储查询

📊 业务分析工具

工具:Apache Superset

用户:运营、产品、市场团队

功能:自助式数据分析

📈 技术监控看板

工具:Grafana

用户:技术团队

功能:系统指标实时监控

使用的核心技术与服务

ClickHouse ByteHouse Amazon RDS MySQL MaterializeMySQL DataX Amazon EC2 Amazon S3 Amazon CloudWatch Grafana Apache Superset Nginx

架构设计图

FlexTV大数据架构图

✓ 实时+离线混合架构    ✓ 弹性扩展能力    ✓ 智能推荐引擎    ✓ 成本优化策略

架构核心组件说明

业务数据层

RDS MySQL主库
业务应用数据存储
用户、短剧、播放数据

数据同步层

MaterializeMySQL实时同步
DataX批量同步
增量+全量数据同步

分析引擎层

ClickHouse实时分析
ByteHouse历史分析
列式存储+向量化执行

应用服务层

Superset业务分析
Grafana技术监控
SQL查询接口

Iplayable提供的托管服务

从阿里云迁移规划到AWS架构设计,从数据分析平台搭建到持续运维优化,提供云迁移与数据平台全生命周期专业服务

📋 迁移规划阶段

2025年5月

  • 阿里云现有架构评估
  • AWS目标架构设计
  • 迁移方案与风险评估
  • 数据分析平台规划
  • 成本对比与优化建议
  • 迁移时间表制定

🚀 迁移实施阶段

2025年5月-6月

  • AWS云环境搭建
  • 业务系统迁移与测试
  • MySQL数据库迁移
  • ClickHouse集群部署
  • ByteHouse数仓配置
  • 数据同步管道搭建
  • 灰度切换与验证

🛡️ 持续托管服务

2025年6月至今

  • 7×24小时平台监控
  • 数据同步稳定性保障
  • ClickHouse性能优化
  • 成本持续优化
  • 故障快速响应处理
  • 月度运营报告
  • 架构演进咨询服务

项目时间线

2025.05.01

迁移启动
方案规划

2025.05.20

环境搭建
数据迁移

2025.06.10

分析平台
搭建测试

2025.06.25

正式上线
持续优化

迁移周期: 55天完成阿里云到AWS迁移 | 持续托管: 已超过5个月

成果与业务价值

55天
完成云迁移
99.95%
系统可用性
100倍
查询性能提升
35%
云成本降低

核心成功指标

客户反馈

"从阿里云迁移到AWS是我们公司的重要战略决策。Iplayable团队展现了卓越的专业能力,不仅帮助我们平滑完成了整体迁移,还借此机会升级了数据分析架构。之前在阿里云遇到故障时,技术支持响应很慢,让我们很担心。现在在AWS上,配合Iplayable的7×24小时托管服务,我们有了更强的信心。ClickHouse和ByteHouse的引入彻底解决了数据分析的性能瓶颈,查询速度提升了100倍,MySQL生产库压力降低了60%。更重要的是,AWS的全球合规认证为我们拓展欧美市场扫清了障碍,这对上市公司来说至关重要。"

— FlexTV 技术副总裁