Databend 开源周报第 129 期

news/2024/7/10 21:39:29 标签: 开源

Databend 是一款现代云数仓。专为弹性和高效设计,为您的大规模分析需求保驾护航。自由且开源。即刻体验云服务:https://app.databend.cn 。

What's On In Databend

探索 Databend 本周新进展,遇到更贴近你心意的 Databend 。

支持标准流

标准流 能够捕获所有类型的数据变更,包括更新和删除。相较于仅追加流,标准流的功能更加完备,并且适用于更加复杂的数据变更场景。

CREATE STREAM 的语法也支持了选项用于控制流的类型。

CREATE STREAM [IF NOT EXISTS] [<database_name>.]<stream_name>
  ON TABLE [<database_name>.]<table_name>
    [AT (STREAM => <stream_name>)]
    [append_only = true|false]
    [COMMENT = '<comment>']
  • 如果 append_only=true,创建仅追加流(append_only stream),仅用于追加数据,不跟踪更新或删除。
  • 如果 append_only=false,创建标准流(standard stream)。能够捕获所有类型的数据变更,包括更新和删除,提供全面的数据修改跟踪。

如果您想了解更多信息,欢迎联系 Databend 团队,或查看下面列出的资源。

  • PR #14272 | feat: standard stream

Code Corner

一起来探索 Databend 和周边生态中的代码片段或项目。

~300 行实现 Raft 共识算法

Databend 的元数据服务使用 Raft 共识算法,并且开源和维护了 openraft 这个基于 tokio 的异步 Raft 实现。

one_file_raft 是一个简洁的演示性实现,在大约 300 行有效代码的单个 Rust 文件中实现了 Raft 共识算法,文件长度大约300行。

由 openraft 的主要维护者 drmingdrmer 创建,用于展示分布式共识协议的核心原理,不涉及应用特定的业务逻辑、边缘情况管理和错误处理的复杂性。该实现关注于 Raft 的基础特性,如领导者选举、日志复制和日志提交,同时省略了高级功能,如日志压缩和日志清理。

  • GitHub - drmingdrmer/one_file_raft

Highlights

以下是一些值得注意的事件,也许您可以找到感兴趣的内容。

  • 支持 Query 级别的缓存统计。
  • 为分布式查询实现基于成本的优化。
  • 新增日期相关函数 MONTHS_BETWEEN 。
  • 新增任务 DAG 相关函数 TASK_DEPENDENTS 和 TASK_DEPENDENTS_ENABLE 。
  • admin API 新增 v1/system 接口,用于展示系统信息。

What's Up Next

我们始终对前沿技术和创新理念持开放态度,欢迎您加入社区,为 Databend 注入活力。

租户数据迁移工具

databend-metactl --export 支持一次性导出所有元数据服务中的数据。但目前还缺乏用于迁移属于特定租户的确切数据的工具。

为了进一步满足多租户场景下的元数据迁移,Databend 计划设计并实现一个专用工具。该工具会导出并解码元数据服务中的数据,并从中过滤掉不必要的数据。

Issue #14405 | Tracking issue: dump data belonging to a tenant from meta-service

如果你对这个主题感兴趣,可以尝试解决其中的部分问题或者参与讨论和 PR review 。或者,你可以点击 https://link.databend.rs/i-m-feeling-lucky 来挑选一个随机问题,祝好运!

Changelog

前往查看 Databend 每日构建的变更日志,以了解开发的最新动态。

地址:https://github.com/datafuselabs/databend/releases

Contributors

非常感谢贡献者们在本周的卓越工作。 

Connect With Us

Databend 是一款开源、弹性、低成本,基于对象存储也可以做实时分析的新式数仓。期待您的关注,一起探索云原生数仓解决方案,打造新一代开源 Data Cloud。

  • Databend Website
  • GitHub Discussions
  • Twitter
  • Slack Channel

http://www.niftyadmin.cn/n/5341419.html

相关文章

Leetcoder Day12|二叉树part01

语言&#xff1a;Java/C 目录 二叉树理论基础 二叉树种类 满二叉树 完全二叉树 二叉搜索树 平衡二叉搜索树 二叉树的存储方式 二叉树的遍历方式 二叉树的定义 二叉树的递归遍历 二叉树的迭代遍历 二叉树的统一迭代法 今日心得 二叉树理论基础 二叉树种类 在数据…

什么是网络安全?网络安全概况

网络安全涉及保护我们的计算机网络、设备和数据免受未经授权的访问或破坏。 这个领域包括多种技术、过程和控制措施&#xff0c;旨在保护网络、设备和数据免受攻击、损害或未授权访问。网络安全涉及多个方面&#xff0c;包括但不限于信息安全、应用程序安全、操作系统安全等 …

【江科大】STM32:外部中断(Extern Interrupt)

文章目录 EXTI&#xff08;Extern Interrupt&#xff09;外部中断EXIT的基本结构EXIT框图 旋转编码器简介库函数&#xff1a;对射式红外传感器计次&#xff1a;代码展示&#xff1a;旋转编码器计次注意&#xff1a; EXTI&#xff08;Extern Interrupt&#xff09;外部中断 功能…

【Web前端开发基础】CSS的定位和装饰

CSS的定位和装饰 目录 CSS的定位和装饰一、学习目标二、文章内容2.1 定位2.1.1 定位的基本介绍2.1.2 定位的基本使用2.1.3 静态定位2.1.4 相对定位2.1.5 绝对定位2.1.6 子绝父相2.1.7 固定定位2.1.8元素的层级关系 2.2 装饰2.2.1 垂直对齐方式2.2.2 光标类型2.2.3 边框圆角2.2.…

GPT-5,奥特曼最新剧透

GPT-5的消息越来越藏不住了&#xff0c;连OpenAI CEO奥特曼都不再遮遮掩掩——开始在各种公开场合频繁造势&#xff0c;不断挑动科技圈的神经。 在达沃斯经济论坛&#xff0c;奥特曼一共参加了4-5场活动&#xff0c;透露的关键信息包括&#xff1a; 如果GPT-4目前解决了人类任…

leetcode2171 拿出最少数目的魔法豆

题目 给定一个 正整数 数组 beans &#xff0c;其中每个整数表示一个袋子里装的魔法豆的数目。 请你从每个袋子中 拿出 一些豆子&#xff08;也可以 不拿出&#xff09;&#xff0c;使得剩下的 非空 袋子中&#xff08;即 至少还有一颗 魔法豆的袋子&#xff09;魔法豆的数目…

C# 创建多线程的函数

C#中&#xff0c;创建子线程与Task任务相比&#xff0c;能够循环执行特定操作&#xff0c;可以用于长期监听TCP消息&#xff0c;发送心跳等。 本文对C#的多线程简单封装一下&#xff0c;哎&#xff0c;以方便线程的创建和命名。 文章目录 多线程定义应用 多线程 定义 using S…

Docker安装Jenkins详解

目录 Docker安装Jenkins1.下载Jenkins2、创建挂载目录3、启动Jenkins容器4、验证Jenkins容器是否启动成功5、获取管理员密码6、修改插件源7、登录web页面8、插件推荐 Docker安装Jenkins 话不多说&#xff0c;下面直接开始 1.下载Jenkins 使用下面命令&#xff0c;让docker拉…