51CTO首页
博客
学堂
精品班
软考社区
免费课
企业培训
鸿蒙开发者社区
AI课堂Image
公众号矩阵
移动端
视频课免费课排行榜短视频直播课软考学堂
全部课程AI课堂软考信创认证华为认证厂商认证IT技术PMP项目管理免费题库
在线学习
文章资源问答课堂专栏直播
Image
51CTO
Image
51CTO运维帮
Image
51CTO技术栈
Image
51CTO官微
Image
51CTO学堂
Image
51CTO博客
Image
51CTO运维帮视频号
Image
鸿蒙开发者社区订阅号
Image
51CTO软考
Image
51CTO学堂APP
Image
51CTO学堂企业版APP
Image
鸿蒙开发者社区视频号
Image
51CTO软考题库
账号设置 退出

大数据

9524内容  
大数据话题包括大数据相关的最新资讯、前沿技术、使用技巧、应用案例等内容，涉及数据分析、数据可视化、商业智能、Hadoop、Spark、数据湖、数据仓库、等领域。
文章 博文帖子课程
共 9524 条
Image
企业数据如何从资源转变为核心资产 原创 精选
本文立足价值辩证视角，厘清数据边界、剖析发展困局、拆解转型路径、回归价值，探析企业数据资源化向资产化的蜕变逻辑。

2026-07-13 09:48:50

数据数字化转型
Image
你以为在做AI，其实只是在堆垃圾
AI 从来不是遥不可及的玄学，也不是只有技术人才能玩转的工具。用 AI 解决文案、数据整理等高频痛点，就能轻松解锁生产力提升。

2026-07-03 09:02:39

AI数据治理人工智能
Image
AI正在重写数据治理的规则，而你还在用十年前的方法
2026 年的 AI 赛道，早已告别了大模型 “卷参数” 的粗放竞争，核心焦点转向了 AI 智能体的落地能力。解决实际问题的 AI，才是真正能创造长期商业价值的核心方向。

2026-07-03 00:30:00

数据治理AI 智能体AI
Image
使用 LLM 嵌入与 HDBSCAN 对非结构化文本进行聚类​ 译文 精选
本文介绍如何构建一套文本聚类流水线，将大语言模型嵌入与基于密度的聚类算法 HDBSCAN 相结合，在无标注文本数据中自动发现主题。

2026-06-29 10:58:29

机器学习文本聚类LLM
Image
供应链数据分析只差一步！预测之外，规范分析才是降本减排的关键
当下多数企业坐拥海量供应链数据，仅实现风险预判的预测分析，却缺失可落地的规范分析能力，陷入“能预判、不会做”的决策困境。

2026-06-26 06:58:59

供应链数据分析大数据
Image
数据管理组织结构模式如何决定数据和人工智能的成功
大多数数据和人工智能领域的失败并非技术问题，而是结构的问题——而且这些问题原本是可以预见的。在本文中，我将详细介绍三种最常见的结构，以及它们各自实际优化的目标。

2026-06-22 08:31:54

数据管理人工智能大数据
Image
平均任期只有两三年？首席数据官如何打破这个魔咒
为什么大多数首席数据官（CDO）平均只能干3年，而有人却能坚守10年？答案并不在技术，而在思维方式。这位从零搭建数据管理体系的CDO发现：真正的问题往往不是数据差，而是流程与业务场景错配，数据治理也不是项目，而是企业运营方式的一部分。

2026-06-11 06:21:13

数首席数据官CDO数据管理
Image
告别“肉身管理”：曼森集团如何以SAP ERP为底座打造“人机物互联”？ 原创
“AI可不可以帮你回答问题？可以，但如果基础数据不准确，它无法给你做高质量的决策。”

2026-06-08 14:08:02

SAP数字化人工智能
Image
传统数据团队要失业？自主式AI正逼出新一轮技术变革
当企业纷纷押注AI智能体时，很多人仍认为数据是决定成败的关键，但现实正在证明：数据只是起点，真正决定AI能否可靠落地的，是贯穿业务流程、运营规则、治理机制和组织知识的“语义上下文”。

2026-06-05 07:15:44

AI智能体RPA
Image
AI驱动的智能数据治理：从物理表结构向语义本体的范式跃迁 原创 精选
AI驱动的智能数据治理，不是换工具，是换“思维方式”——从“管好数据资产”变成“让机器懂业务”。以前咱们盯着“数据存在哪儿、叫啥名”，现在得盯着“数据代表啥业务意义、能给AI啥指令”。那些先把“语义蓝图”搭起来的企业，才能在AI竞争里占住坑——毕竟，地基稳了，楼才能盖得高。

2026-06-04 09:00:00

AI驱动数据治理AI
Image
底层数据太烂？盲目上马AI智能体只会更高效地犯错
不少企业坐拥海量数据，却因数据碎片化、平台不互通，导致自主式AI无法落地赋能客户体验，难以发挥智能价值。

2026-06-02 00:03:54

AI智能体大数据
Image
别被数据治理评分骗了，它可能正耽误你的AI落地
AI正在重塑企业数据治理——真正关键的，已不再是“治理看起来多成熟”，而是企业能否以可信、可控、可问责的方式快速部署AI。

2026-06-01 07:05:00

AI数据治理CDO
Image
DataFrame 核心操作：筛选、排序、变形
今天咱们继续，学 Polars 里最最核心的操作：筛选、排序、变形。这三个是数据分析的根基，不管你做什么分析，90%的时间都在跟这三个操作打交道。

2026-05-22 05:05:00

Polars数据分析DataFrame
Image
腾讯Buddy家族上新，大数据智能体工作台DataBuddy正式发布
5月19日，腾讯云正式发布大数据智能体工作台DataBuddy。这是一款基于WorkBuddy同源Agent底层能力打造的大数据原生智能体工作台，用户通过自然语言对话，即可完成「接入→开发→治理→分析」全链路数据任务。

2026-05-19 17:22:17

腾讯云DataBuddy
Image
数据管理组织结构模式如何决定数据和人工智能的成功
大多数数据和人工智能领域的失败并非技术问题，而是结构的问题——而且这些问题原本是可以预见的。

2026-05-19 09:51:20

大数据人工智能数据治理
Image
在智能体人工智能时代重新思考数据分析团队
智能体人工智能使数据分析民主化，让组织内的广大用户都能轻松获取数据——业务用户可以提出复杂的问题，并获得简洁明了、对话式的答案，而无需了解 SQL 或任何技术语言。

2026-05-18 06:57:08

智能体人工智能数据分析
Image
告别数据孤岛：如何让杂乱数据变身核心生产力
美国陆军西半球司令部首席数据官Deepak Shah指出，绝大多数数字化与AI项目，其成败在启动前就已注定。真正决定转型成败的，不是工具和模型，而是清晰的愿景、可执行的使命、可量化的目标，以及贯穿全流程的数据治理与执行纪律。

2026-05-15 07:30:00

数据孤岛大数据数据治理
Image
未来已来：AI驱动的数据湖仓
Cloudera致力于将 AI 技术应用于复杂环境中的企业数据。Cloudera 凭借成熟的开源基础架构，提供融合公有云、数据中心和边缘计算的一致云体验。

2026-05-12 14:56:44

Cloudera
Image
主动元数据：一场悄然改变数据目录的革命
未来的数据平台将不再把元数据视为目录功能，而是将其视为运行时基础设施：策略执行层、AI 上下文层、信任机制、自动化触发器、产品接口和治理控制平面。

2026-05-12 02:00:00

主动元数据数据目录数据治理
Image
Pandas 高级操作：数据分析师都在用的七个技巧
用了两年 Pandas 还是只会 merge 和 groupby？来看看真正提升效率的高级操作。

2026-05-09 08:34:51

Pandas数据分析开发
Image
数据目录终于派上用场了，因为 AI Agent 会读取它
数据目录的采用率徘徊在目标用户群的 10% 到 25% 之间。大多数搜索操作都由同一小群高级用户执行——通常是需要数据沿袭信息的数据工程师，而不是目录原本旨在服务的业务分析师。

2026-05-06 08:42:28

数据目录AI Agent数据架构
Image
智能时代，数据治理的八要八不要 原创 精选
数据治理不再是可有可无的辅助工作，而是决定组织生存与发展的战略基石。它不仅仅是技术层面的堆砌，更是一套涵盖组织、流程、制度、技术和文化的综合性管理体系。在这里深入剖析智能时代数据治理的“八要八不要”，为企业的数据治理提供有益的思考和实践指导。

2026-04-28 10:00:00

数据治理数字化转型数据质量
Image
数据治理应该先于人工智能治理吗？它们是一回事吗？它们是互补的吗？
数据治理能够建立人们对信息资产的信任。人工智能治理能够建立人们对系统运行方式的信任。

2026-04-23 14:45:26

数据治理人工智能AI
Image
湖仓结果全面对齐 Doris：这套电商数仓项目完成了一次关键收口
这套 data-warehouse-learning，本质上是一套以电商业务为场景的数据仓库学习与实战项目。

2026-04-20 09:13:46

数据仓库大数据数据湖
Image
人工智能时代的数据治理：重塑数据、机构和实践的十大转变
本文探讨了数据治理正在重塑的 10 个关键领域或转变——这些转变既是为了适应人工智能，也是人工智能的直接结果。

2026-04-08 09:13:55

人工智能数据治理大数据
Image
数据治理的未来是“隐形治理”
数据治理的未来并非加强治理，而是通过智能嵌入平台默认设置、代码、访问控制以及数据使用环节，实现无形的治理。随着人工智能将数据使用规模和速度扩展到人工监管无法企及的程度，这种转变已不再是可选项，而是架构上的必然选择。

2026-04-08 09:02:12

数据治理大数据人工智能
Image
别在沙堆上建AI塔!决定企业转型成败的七大“数据治理”大招
数字化转型的失败往往并非源于技术，而是悄然发生在治理与决策层面。真正的挑战，是企业是否具备清晰、可追溯、可问责的决策能力。成功的转型，本质是构建“决策就绪”的数据体系，而非简单的平台升级。

2026-04-02 07:05:00

数字化转型数据治理AI
Image
世界数据组织在北京成立：开启全球数字治理新纪元 原创 精选
世界数据组织在2026年3月30日于北京正式宣告成立。这不仅是中国积极参与并引领全球数字治理体系变革的里程碑，更是国际社会为构建一个开放、公平、安全、普惠的全球数据空间所迈出的关键一步。

2026-03-31 10:53:04

世界数据组织数字治理大数据
Image
Kafka 太重？试试 NSQ：一个优雅到极致的消息队列
通过本文，我们不仅深入了解了 NSQ 的架构、核心概念、优缺点，还与其他主流消息队列做了对比，并通过 Docker 快速搭建了一套可用的开发环境，最后给出了完整的 Go 代码示例。

2026-03-31 08:48:57

NSQ消息队列开源
Image
访问者模式：可以在不改变类的前提下给它加功能？访问者模式太神奇了！
访问者模式让你把“数据结构”（商品）和“操作”（生成报表）分离开。 你不需要修改商品类，只需要写一个新的“访问者”，然后让商品“接受”这个访问者即可。

2026-03-23 10:00:00

访问者模式数据结构开发
Image
迭代器模式：处理大数据集合的利器，如何用迭代器避免内存溢出？
迭代器模式 (Iterator Pattern) 提供一种方法顺序访问一个聚合对象中各个元素，而又不暴露该对象的内部表示。

2026-03-16 09:36:59

迭代器模式大数据迭代器
Image
Pandas 性能优化的 20 个实战技巧
本文整理了 20 个经过实测的 Pandas 性能优化技巧，从内存压缩到向量化运算，帮你把数据处理速度提升 10～100 倍。

2026-03-10 09:47:27

Pandas数据处理内存
Image
Python 时间序列分析与预测：从统计模型到深度学习
本文从时序数据的基础分析到 ARIMA、Prophet、LSTM 等主流预测方法，带你系统掌握时间序列全链路。

2026-03-09 09:11:59

时间序列预测数据分析Python
Image
数据治理工程化与运营化：从单一工具向可持续、可度量体系转变 原创 精选
强化业务赋能，构建可信、自动、增值的数据未来

2026-03-09 09:00:00

数据治理数据治理工程化大数据
Image
Python 处理 Excel 的正确姿势，会这四个操作就够了
用Python处理Excel，3小时的工作量3秒就能搞定。今天小甲鱼就手把手教你，用Python实现Excel自动化处理，让你准时下班！

2026-03-09 06:25:00

PythonExcel数据分析
Image
Fluss 0.9 正式发布， 核心亮点都在这里了
作为面向实时分析、AI 及重状态流处理的流式存储系统，Fluss 0.9 在数据模型、存储层处理、生产运维及生态集成等方面带来了显著增强，为构建统一的流处理与湖仓架构提供了更强大的基础能力。

2026-03-05 05:25:00

大数据AI湖仓架构
Image
NumPy 常用的 25 个经典操作
本文整理了 25 个最常用的 NumPy 操作，配合代码示例，基本覆盖了数据分析和科学计算中的日常需求，适合收藏查阅。

2026-03-05 05:00:00

NumPyPython数据分析
Image
别再推销模型了！数据科学换个“生意经”，才能从成本中心变身利润中心
2020年的疫情暴发暴露出企业“决策可见性”危机，本文作者在三周内交付高管级实时仪表板，证明数据科学的价值不在技术复杂度，而在能否支撑关键决策。

2026-03-02 07:06:00

数据科学企业大数据
Image
告别加班！五分钟 Python 脚本，解决数据分析 90% 的重复劳动
今天我将分享五个实战脚本,每个都是我在工作中反复打磨的"效率神器"。学会这些,你每天至少能省出2小时,准点下班不再是梦!

2026-02-28 05:05:00

脚本Python数据分析
Image
阿里一面：讲讲 Paimon 中快照隔离级别与并发控制的原理，有没有实际案例？
快照隔离级别与并发控制是 Apache Paimon 保证数据一致性的核心机制。通过快照隔离实现了读写分离和多版本并发控制，通过快照 ID 预占和冲突检测机制处理并发写入。

2026-02-27 05:15:00

大数据Paimon快照隔离级别
Image
划重点！人货场模型的三大场景+12种应用思路
设想一个最简单的场景：顾客站在柜台前，说“我想要个电风扇”。此时顾客成交意愿非常高，且已经占到我们面前。作为导购要确认的，就是：到底他要啥样的电风扇。这就是：导购型匹配。

2026-02-27 00:22:00

人货场模型场景导购型匹配
Image
企业如何将基础数据转化为高质量数据集：从数据沼泽到价值金矿的实践路径 原创 精选
将这些基础数据转化为可信、可用、可分析的高质量数据集，是企业实现数据驱动决策、智能化运营和业务创新的基石。本文将深度剖析企业完成这一转化的系统性方法、核心步骤与关键挑战。

2026-02-13 09:00:00

数据沼泽数据集大数据
Image
BSave - 数据切面工程在字节的大规模实践
数据切面工程，是我们团队在字节跳动内规模化落地 BSave 后总结出的理念，其核心思想是在数据存储的边界引入对业务透明的操作层，将原本需要业务关注的通用数据操作，转移到一系列透明操作层中。这篇文章的目的，在于为其它团队的研发提效、数据治理、合规建设提供新的思路，分享我们在数据切面工程的经验以及技术细节。

2026-02-11 10:44:55

BSave数据切面工程数据治理
Image
Seata 的 TCC 模式才是强一致性的最优解！！架构师必知
本文来对比Seata的AT模式和TCC模式，结合以上流程，看看是否存在非业务预期的中间状态的数据。

2026-02-10 10:00:00

数据一致性SeataTCC模式
Image
架构必知：大数据架构精讲（附架构图）
本文基于 5W2H 拆解大数据架构，让你轻松理解并掌握大数据架构的核心。

2026-02-10 06:20:00

大数据架构大数据数据湖
Image
从数据成功到人工智能成功：极简人工智能治理
人工智能治理是指组织用来确保人工智能实例安全、公平且使用正确的一系列规则和检查措施。就数据成功而言，它确保人工智能使用优质、干净的数据，遵守法律法规和政策，并由人工对重要决策进行复核，也就是所谓的“人机协同设计”。

2026-02-05 09:20:50

数据治理大数据人工智能
Image
谈谈用第一性原理思考数据治理问题
数据治理的核心在于关注真正对数据可信度和实用性至关重要的因素。第一性原理思维是找到这一核心的有效途径。通过质疑长期存在的假设，并将问题简化到最基本的层面，我们可以重新设计出更简洁高效的治理方法。我们不再盲目遵循传统或流行的框架，而是深入探究每个要素存在的意义，并剔除那些不再发挥作用的要素。

2026-02-04 10:55:58

数据治理大数据数据产品
Image
SQL + 大数据双 buff！DuckDB 入门：Pandas 用户无缝切换，千万行数据直查
今天给大家推荐一款「Pandas 平替+SQL 神器」——DuckDB！它既能像 Pandas 一样灵活操作数据，又支持原生 SQL 查询，处理千万行数据秒级响应，关键是 Pandas 用户能无缝切换，不用重新学新语法。

2026-02-04 08:50:51

Pandas大数据Python
Image
谈谈如何构建端到端的数据共享流程
数据共享已成为现代组织中最关键也最具风险的能力之一。几乎所有有意义的分析、人工智能或运营用例都依赖于跨团队、系统以及日益增多的组织边界的数据流动。

2026-02-04 08:08:28

数据共享数据治理大数据
Image
实战：用 Polars+DuckDB 处理 1000 万行数据：从读取到分析，全程不卡顿教程
今天给大家带来一套“大数据处理组合拳”——Polars+DuckDB，一个擅长高速数据清洗转换，一个精通SQL式高效查询，搭配起来处理 1000 万行数据全程丝滑，新手也能轻松上手！

2026-02-04 05:20:00

数据清洗大数据Polars
1 23456 ··· 191
点赞 Image

51CTO技术栈公众号

Image
业务
速览
在线客服