Databend 开源周报第 108 期

news/2024/7/10 19:52:43 标签: 开源, 数据库

Databend 是一款现代云数仓。专为弹性和高效设计，为您的大规模分析需求保驾护航。自由且开源。即刻体验云服务：https://app.databend.cn 。

What's On In Databend

探索 Databend 本周新进展，遇到更贴近你心意的 Databend 。

多源数据目录

在 Databend 中，Catalog 是数据组织的最高一级抽象，可以帮助用户高效管理和访问数据源。

Databend 具备多源数据目录（Multiple Catalog）能力，目前已经支持 Apache Iceberg 和 Apache Hive 两类外部 Catalog 。

通过挂载外部 Catalog ，无需将数据加载到 Databend 中，就可以进行高效查询。

-- Create a Hive catalog
CREATE CATALOG hive_ctl 
TYPE = HIVE 
CONNECTION =(
    METASTORE_ADDRESS = '127.0.0.1:9083' 
    URL = 's3://databend-toronto/' 
    AWS_KEY_ID = '<your_key_id>' 
    AWS_SECRET_KEY = '<your_secret_key>' 
);

如果您想了解更多信息，请查看下面列出的资源。

Docs | Catalog
RFCs | Multiple Catalog

Code Corner

一起来探索 Databend 和周边生态中的代码片段或项目。

利用 "`cargo-pgo"` 实现 PGO

Profile-guided optimization (PGO) 是一种常见的编译优化技术，可以利用程序运行时采集到的 profiling 信息来引导编译器进行针对性的优化，生成更高质量的代码，从而提高程序的性能。

根据测试，利用 PGO ，Databend 在某些场景下可以取得大约 10% 的性能提高。PGO 的具体表现取决于实际的工作负载，你可以尝试应用 PGO 技术来优化 Databend 集群的性能。

如果您想了解更多信息，请查看下面列出的资源。

Docs | Profile Guided Optimization (PGO)

Highlights

以下是一些值得注意的事件，也许您可以找到感兴趣的内容。

实现 "json_pretty" 函数。
改进内连接（inner join）性能。
为 HTTP 查询接口增加更多统计指标。
为 Hive Catalog 实现 "SHOW DATABASES" 和 "SHOW TABLES" 支持。
阅读 Blog | Revolutionizing Data Archival and Query Performance for Pharmaceutical Group 了解 Databend 在药品零售领域的客户成功故事。

What's Up Next

我们始终对前沿技术和创新理念持开放态度，欢迎您加入社区，为 Databend 注入活力。

利用 SQLsmith 实施模糊测试

SQLsmith 专注于生成随机的、类型感知和列感知的 SQL 查询，通常能够通过语义检查，从而进一步测试数据库的执行逻辑。

过去，Databend 已经支持 SQLancer 以及随机生成输入的传统模糊测试。Databend 团队计划引入 SQLsmith 来实现域感知模糊测试，提供更全面、更具针对性的测试结果，提高发现漏洞的可能。

Issue #12576 | Feature: Using sqlsmith to support sql fuzzy testing

如果你对这个主题感兴趣，可以尝试解决其中的部分问题或者参与讨论和 PR review 。或者，你可以点击 In that case can fuse engine be accessible via arrow flight? Would be nice to run query engine via databend and the results are sent via arrow flight. · Issue #8846 · datafuselabs/databend · GitHub 来挑选一个随机问题，祝好运！