鸿蒙开发者社区

公众号矩阵

移动端

视频课免费课排行榜短视频直播课软考学堂

全部课程 AI课堂软考信创认证华为认证厂商认证 IT技术 PMP项目管理免费题库

文章资源问答课堂专栏直播

51CTO

51CTO运维帮

51CTO技术栈

51CTO官微

51CTO学堂

51CTO博客

51CTO运维帮视频号

鸿蒙开发者社区订阅号

51CTO软考

51CTO学堂APP

51CTO学堂企业版APP

鸿蒙开发者社区视频号

51CTO软考题库

账号设置退出

数据仓库

315内容

关注

涵盖数据仓库相关研究热点、技术难点与应用场景，帮助用户更好的学习数据仓库技术，最终支撑企业分析决策。

共 315 条

湖仓结果全面对齐 Doris：这套电商数仓项目完成了一次关键收口

这套 data-warehouse-learning，本质上是一套以电商业务为场景的数据仓库学习与实战项目。

2026-04-20 09:13:46

数据仓库大数据数据湖

如何接手一个数据团队？原创

又快到年底了，一个好友换了一份新的工作，负责数据团队。和他聊了很多，收获满满。经他同意，将我们讨论的内容整理成文，希望对更多的朋友有所帮助。当许多数据工程师、分析师和科学家被推到数据团队负责人或主管的岗位时，并没有得到太多的指导或建议。因此，这里想整理一份清单，列出要成为数据团队的领导者，你需要知道和做的事情。

2025-12-10 08:54:37

数据 ODS 数据仓库

什么是维度建模？为什么数据仓库离不开它？

维度建模是大师Kimball的观点，和关系型建模相反，维度建模通过增加冗余来增加查询速度，以分析决策的需求出发构建模型，将业务主题对应的多个实体冗余记录，将共有维度，变化缓慢维的属性抽出形成维度表。

2025-07-09 09:18:29

维度建模数据仓库可追溯性

增量计算+实时湖仓是怎么回事？

Lamda架构的痛点之一，实时链路（Flink+Redis+ClickHouse）与离线链路（Spark+Hive）逻辑割裂，维表更新、指标计算一致性难以保障。

2025-06-11 04:00:00

增量计算 Lamda 架构

数仓指标体系搭建实战

建模流程主要是从业务视角指导工程师对需求场景涉及的指标进行主题抽象，归类，统一业务术语，减少沟通成本，同时避免后续的指标重复建设。

2025-06-11 02:45:00

数仓指标体系

数据产品开发三大秘笈，一篇讲明白！

火车头是数据产品开发的核心，包括价值牵引、场景驱动、合规支撑三个组成部分，其底层逻辑建立在于我国对数据要素基础制度体系的探索和实践之上。

2025-05-13 01:10:00

数据产品开发

Excel百万数据高性能导出方案！

很多小伙伴门在开发数据导出功能时，习惯性使用Apache POI的HSSF/XSSF组件。这类方案在数据量超过5万行时，会出现明显的性能断崖式下跌。根本原因在于内存对象模型的设计缺陷：每个Cell对象占用约1KB内存，百万级数据直接导致JVM堆内存爆炸。

2025-05-12 00:00:00

Excel 数据高性能

老板又让我负责数仓 DWS 层建设了...

DWS（Data Warehouse Service）层是数据仓库的服务数据层，位于DWD层之上，ADS层之下。它主要承担了将明细数据进行主题聚合的职责，是数据仓库中承上启下的关键环节。

2025-04-09 10:24:36

DWS 服务数据层数据仓库

写给小白的“数据仓库”科普

数据仓库，是一个面向主题的（Subject Oriented）、集成的（Integrated）、相对稳定的（Non-Volatile）、反映历史变化（Time Variant）的数据集合，用于支持管理决策（Decision Making Support）。

2025-03-12 03:00:00

数据仓库集成管理决策

货拉拉Flink CDC实践：稳定性建设与数据入湖新探索

本文将分享货拉拉基于 Flink CDC 的建设实践，以及对 CDC 数据入湖的新思考。我们正在建设的数据入湖，也做了一些面向未来的设计，包括 CDC 数据入湖分析。

2025-02-11 10:13:05

Flink 数据湖湖仓一体

抖音集团离线数仓血缘基础能力的构建与应用

本文将从底层视角来描述血缘在离线数仓场景的具体应用。我们提出了一套依托 SQL 血缘能力的数据发现与数据保护解决方案。

2025-01-09 08:22:05

离线数仓数据建设 SQL 血缘

用通用语义层解决数据不一致问题译文精选

不同的BI、分析和数据科学工具导致用户组之间在数据解释、业务逻辑和定义方面存在差异，通用语义层可以解决这些差异。

2024-11-18 08:00:00

数据仓库通用语义层商业智能

数据管理的四大支柱：揭秘数据中台、数据仓库、数据治理和主数据

数据中台作为数据的“中央厨房”，负责数据的整合和加工；数据仓库作为数据的“图书馆”，负责数据的存储和查询分析；数据治理作为数据的“交警”，确保数据的规范和安全；而主数据作为数据的“身份证”，确保数据的权威性和一致性。这些概念在企业中相互协作，共同构成完整的数据管理体系。

2024-11-07 09:56:47

数据管理数据中台数据仓库

滴滴指标标准化实践

指标是对客观世界业务过程以及结果的度量，是企业数仓的核心产物，通常需要配合维度及聚合方式进行衡量。完善的指标体系不仅可以辅助业务进行精细化运营，而且可以指导战略层进行经营分析以及业务决策。

2024-09-29 08:54:36

数仓交付指标管理企业数仓

字节跳动开源云原生数仓引擎 ByConity 技术详解与应用

本文介绍字节跳动开源的云原生数仓引擎，ByConity。ByConity 是基于 ClickHouse 产生。ClickHouse 社区已经发展了很多年。字节从 2017 年开始大规模使用 ClickHouse。在验证了多款产品之后，最终发现 ClickHouse 是唯一能够支撑字节当时的体量以及保证查询体验的产品。

2024-09-23 08:15:11

云原生 ByConity 数仓引擎

数据仓库平台Snowflake的全面管理指南译文精选

Snowflake的管理涉及到各种任务，从用户和角色管理到数据加载和安全性等方面。

2024-09-13 12:25:43

数据仓库 Snowflake

Apache Paimon 实时湖仓存储底座

本次分享包括四个部分。首先是关于实时湖仓的介绍，什么是实时湖仓、为什么需要实时湖仓？第二部分介绍与 Apache Paimon 相关的技术。第三部分介绍 Paimon 在各个公司的主流应用场景。最后一部分将介绍 Paimon 目前正在发展的一些前沿技术。

2024-08-27 09:12:36

实时湖仓 Paimon 数据架构

天穹数仓自治能力在大模型时代的新实践

随着大数据技术的不断发展，数据治理和自治能力的提升变得尤为重要。本次分享题目为“天穹数仓自治能力新实践”。

2024-08-20 08:39:41

大数据天穹数仓数据治理

小米数据中台建设实践赋能业务增长！

本文将介绍小米数据中台部门在销售数仓建设方面的实践。文章将从小米销售数仓的发展历程开始，介绍其定位、内容、作用、规模等，并分享数仓建设常用的维度建模和分层理论，以及小米销售数仓的架构演进和能力沉淀。

2024-08-13 08:14:55

数据中台销售数仓数仓建设

新一代实时数仓：阿里云数据库 SelectDB 版--100% 兼容 Apache Doris 的全托管云原生实时数仓

本文将介绍 SelectDB 产品能力及其所支持的场景，为数仓选型提供参考和借鉴。SelectDB 是基于 Apache Doris 提供的一个商业化的云原生产品。Apache Doris 是一款国产的开源数据库，专注于实时数仓领域。

2024-07-25 08:12:11

数仓选型开源数据库 SelectDB

火山引擎基于 DataLeap 的电商指标管理实践

本文将分享火山引擎基于 DataLeap 的电商指标管理实践。指标管理的关键在于三个要素：指标的有效拆解、统一基础数据的建设，以及指标管理角色的明确划分。

2024-07-18 08:40:28

指标管理数仓建设大数据

金融场景中的指标体系建设与应用

本文将分享金融场景中的指标体系建设思路，希望能够为大家带来新的启发。金融行业的建设长期以来依赖于成熟技术，并投入了大量数据科技人才，通过自下而上或烟囱式的方式构建其基础架构。

2024-07-16 08:38:17

数据仓库指标体系大数据

阿里云 ClickHouse 企业版：新一代云原生 Serverless 实时数仓

ClickHouse 企业版通过存算分离、秒级扩容、Serverless 弹性等技术手段，降低了资源成本，提高了查询性能和效率。同时，该产品支持跨 AZ 高可用和低成本存储，保证了数据的可靠性和经济性。

2024-07-11 08:13:32

ClickHouse 云原生数据分析

在电商场景中，如何建设全链路数据血缘？

本文将分享在电商场景中如何建设数据血缘。在数据一致性方面，通过全链路血缘等手段，我们实现了指标从定义到生产消费的完整自动化流程，提升了指标的管理效率，减少了人为失误。

2024-07-09 10:53:35

数据血缘数据一致性数仓体系

数据仓库中的七种建模方法及示例

试象一下，你是一家繁忙餐厅的分析工程师。每天，顾客都会预订、下订单并完成付款。所有这些数据都会流入餐厅的交易数据库，记录每次互动的详细信息。

2024-06-12 13:46:41

数据仓库大数据

第三代指标平台如何摆脱 ETL 宽表开发做“轻”数仓

第三代指标平台给我们 IT 部门带来的体验改变，表现在大幅减少指标重复开发的工作量和运维变更的工作量。对业务部门来说，它提供了真正处理“最后一公里”自主分析问题的体验，让业务人员能够自助完成分析工作，而不需要为增加字段或维度而频繁联系 IT 部门。

2024-05-22 09:48:04

自动化指标平台数仓

大数据存储压缩算法调研：snappy、gzip还是lz4？

压缩比是衡量压缩算法效率的重要指标之一，它表示压缩后的数据大小与原始数据大小之间的比率。一般来说，压缩比越高，表示压缩算法越有效，可以更好地减小数据存储空间或网络传输带宽的占用。

2024-04-29 08:53:10

大数据存储数据

Hudi 1.0 新功能预览

本文将详细阐述 Hudi 1.0 在设计上的重新思考和设计思路，并深入探讨 1.0 版本中发布的一些新功能。Hudi 是一个高效的事务型数据湖仓平台，其核心特色是一个开放性的表格式定义和一套全面的事务数据库核心层。

2024-04-26 07:36:42

Hudi 1.0 数据湖仓数据查询

物化视图在 MaxCompute 中的探索与实践

物化视图（Materialized View，以下简称 MV）是将查询结果预先计算并存储的一种特殊的物理表，当执行相关查询时，可以自动复用预计算结果，提高查询性能。物化视图作为一种查询加速器，在云计算和大数据时代有着广泛的用途。今天和大家分享物化视图在 MaxCompute 的实践。

2024-04-17 07:21:52

物化视图查询加速器数据仓库

Data Fabric 在数据集成场景的实践

本文将介绍 Data Fabric 的基本概念及其在数据集成场景的实践案例。Data Fabric 到底是什么？Data Fabric 中文翻译成数据网格。而数据的虚拟化是实现数据网格化很关键的一项技术。

2024-03-04 07:34:32

数据网格数仓数据虚拟化

蚂蚁指标系统的设计与实践

从统计学角度看，指标是综合体现总体数量特征的概念和数值。在数据仓库体系中，指标是其核心产物，它是信息层面的一种载体。从 DIKW 模型的角度分析，指标必须满足一些基本要求，包括准确性、完整性、及时性和一致性。

2024-02-19 08:12:15

DIKW 模型指标系统数据仓库

数据湖与数据仓库之间的五大差异

根据Google的说法，对“大数据”的兴趣已经持续了好几年，而且在过去几年里真正的兴起。这篇文章的目的是为了帮助突出数据湖泊和数据仓库之间的差异，帮助您就如何管理数据做出明智的决定。

2023-11-27 16:35:28

数据湖数据仓库

大话数仓，数据仓库，维度建模方法（二）

前文已经简单介绍了什么是数据仓库，数据仓库事实表、维表等相关概念。在了解这些概念之后，我们要建设符合企业要求，能支持业务使用、运营分析的数据仓库。

2023-11-23 16:59:37

数据仓库建模

大话数仓，数据仓库（一）

数据仓库，是越来越流行的数据解决方案。传统烟囱式的数据开发模式，显然不能满足日益增长的数据需求，而作为大数据量化方案、解决大数据问题、发掘数据价值的大数据仓库被很多公司采纳使用。

2023-11-23 16:53:56

数据仓库大数据

从Clickhouse迁移到Doris，数据仓库性能大提升

本文分享如何从ClickHouse迁移到Doris的过程，包括为什么需要更改，需要注意什么以及如何比较两个数据库在各自环境中的性能。

2023-11-17 18:02:19

数据仓库性能 Doris

从数据池或大数据仓库到数据湖

这篇博文讨论了从数据池/大数据仓库到数据湖的演变。它探讨了传统数据仓库的局限性以及数据湖在可扩展性、敏捷性和自助服务方面的优势

2023-11-09 15:56:26

数据仓库数据湖

2023 年数据仓库终极指南：概念、技术和新兴趋势

在当今数据驱动的世界中，管理和分析大量数据是业务成功的关键方面。数据仓库是一种强大的解决方案，可帮助组织有效地存储、管理和分析数据，从而推动明智的决策。

2023-11-09 15:02:45

数据仓库数据湖架构师

深算院重磅发布原创数据库YashanDB 助力国产数据库高质量发展原创

11月8日，YashanDB 2023年度产品发布会成功召开

2023-11-08 14:18:49

一文读懂数据标准中的属性定义与元数据的区别

最近在做项目过程中发现一个问题：有些同事经常把指标数据标准中的业务属性、技术属性、管理属性当做业务元数据、技术元数据、管理元数据或者在数据指标标准定义的时候直接分为业务元数据、技术元数据和管理元数据。

2023-10-30 15:28:51

阿里巴巴数据模型设计与构建实践

阿里云大数据开发治理工具 DataWorks从2009 年发展至今，已经有14年的发展历程。2021年云栖大会上，DataWorks 全新推出数据建模工具 DataWorks 智能数据建模。同 DataWorks 数据开发等产品模块相同，智能数据建模的产品建设离不开阿里巴巴内部各业务线的数据仓库团队，如菜鸟、淘宝、天猫等数据仓库团队的贡献。

2023-10-26 06:55:46

大数据数据仓库

B站数据质量保障体系建设与实践

本文将分享 B 站数据质量保障体系的建设和实践。文章将关注数仓和建模的相关方法论，讲解 B 站数仓平台团队在数仓建设和建模过程中所做的工作，并分享质量保障方面取得的成果。

2023-10-26 06:43:25

谈谈数据仓库中的数据建模优秀实践

开发和生成数据库中使用的数据概念表示的过程称为数据建模。数据仓库上下文中的数据建模是创建将存储在数据仓库中的数据的逻辑表示的过程。

2023-10-08 16:26:23

民主化A/B实验

A/B实验是一种通过实验来做效果评估的方法，主要流程是将评估对象随机抽样成对照组和实验组，对实验组施加策略干预，然后通过两组之间的效果对比，得出上线策略会产生的影响。本文分享的内容不涉及具体的算法。

2023-10-07 07:42:12

A/B实验数据仓库

Apache Doris入门，下一代实时数据仓库

层级存储的主要目的是节省成本。层级存储将热数据和冷数据分开存储，热数据是经常访问的数据，而冷数据则不是。它允许用户将热数据放入快速但昂贵的磁盘（如 SSD 和 HDD），将冷数据放入对象存储中。

2023-10-05 18:25:40

存储分开存储 SSD

大语言模型在数仓数据治理上的落地实践

大语言模型是一种基于Transformer模型的自然语言处理技术。它通过大规模的预训练来学习语言模型，然后可以在各种任务上进行微调，以实现更具体的应用。

2023-09-28 08:19:57

语言模型数仓数据

G行数据仓库数字化运维探索实践

IT业对金融系统生命周期和投入一般表述为“三分建设、七分运维”，由此可见运维在整个生产系统的建设、运行、维护、管理中充当重要的一环。

2023-09-26 07:18:43

数据仓库数字化 IT

ElasticSearch+Kibana on K8s 讲解与实战操作（版本7.17.3）

Elasticsearch 7 引入了集群维护模式（cluster maintenance mode），允许您更方便地执行维护操作而不影响数据平衡。您可以将集群设置为维护模式，然后执行维护操作，最后再将集群恢复到正常状态。

2023-09-11 00:09:18

Kibana K8s 数据

技术的未来：亚太地区数据仓库即服务及其对电信的影响

DWaaS是一种基于云的数据管理形式，允许用户从任何位置访问和分析数据。这对于每天处理大量数据的电信企业来说尤其有利。以其技术实力而闻名的亚太地区一直处于这一发展的前沿，许多企业采用DWaaS来简化运营并提高效率。

2023-09-07 15:54:26

数据仓库 DWaaS

数据仓库与数据分析架构：驱动数据驱动决策

在当今信息爆炸的时代，数据已经成为了企业决策的核心资产。数据仓库与数据分析架构的崛起，为企业提供了有效地管理和分析海量数据的解决方案，实现了数据驱动决策的愿景。这个强大的架构不仅能够帮助企业更好地理解市场、客户和业务，还能够发掘潜在的机会，提高决策的准确性和效率。

2023-09-05 16:30:53

数据仓库数据分析

字节基于 Hudi 的批流一体存储实践

通过采用Hudi作为底层存储引擎，结合分布式文件系统进行数据存储和管理，实现批流一体业务高效的数据存储和查询。该方案已在金融风控、零售电商和物流运输等多个场景中得到成功应用，解决了业务痛点。未来，将进一步优化和完善批流一体存储实践方案。

2023-09-05 07:22:17

Hudi 数据存储

1 2 3 4 5 6 7 下一页

51CTO技术栈公众号

业务
速览

媒体

51CTO CIOAge HC3i

社区

51CTO博客鸿蒙开发者社区 AI.x社区

教育

51CTO学堂精培企业培训 CTO训练营