数据库
运动规划仿真
JWT
opencv
数值计算
ssl
idea
程序员40
学生我那工业作业
hibernate
elf
dsp开发
代码加密
电子邮件营销
Advisories
ARM安全
网页数据抓取软件
homeassistant
智慧水务
替换-删除-格式化
分布式数据库
2024/4/11 21:45:04
为何网易游戏会选择引入OceanBase数据库
本文作者：田维繁，网易游戏关系型数据库小组负责人 作为中国游戏开发领域的佼佼者，网易游戏始终站在网络游戏自主研发的前沿。其产品及周边产品线丰富多样，因此，为满足各种业务场景的需求，需要多种不同的数据…
TiDB、OceanBase都在谈的HTAP，为何如此燚？
过去一个月里，堪称国产数据库又一高光时刻。
这边厢PingCAP刚刚发布面向企业级核心场景、具备完整 HTAP 能力的分布式数据库TiDB 5.0 版本；那边厢OceanBase也紧跟着推出3.0版本，主攻方向亦是HTAP分布式数据库，在GitHub Oceanbase…
用OceanBase binlog service 轻松进行数据回滚
背景
在日常的数据库运维过程中，难免会遭遇数据误操作的情形，比如因疏忽而执行了非预期的delete或update操作，这时就需要进行数据回滚。如果在OceanBase中启用了回收站功能，并设置了合适的undo_retention，那么我们可以…
OceanBase原理之内存管理
第1章 前言
1.1 多租户管理简介
OceanBase数据库中，应用了单集群多租户的设计，使得一个集群内能够创建多个彼此独立的租户。在OceanBase数据库，租户成为了资源分配的单位，同时还是数据库对象管理和资源管理的基础。
在某种程度…
都说“存算分离”好，分布式数据库为何还要“进一步分离”？
历史上，数据库“存算一体”和“存算分离”的变更
第一代的“存算一体”数据库是80年代的IBM大机，提供计算、数据库、存储、中间件，解决了核心交易场景对性能和可靠性的诉求，但他的缺点同样明显，贵！高昂的采…
完成产品兼容互认，用KubeBlocks可实现OceanBase集群管理
本文转载自云猿生聊技术（CloudNativeDataTech）
前言
KubeBlocks（简称 KB）在最新发布的0.7版本中，通过组件扩展（Addon）的形式新增了对OceanBase的支持功能。这一更新为企业级和非企业级用户提供…
如何利用OceanBase v4.2的 Runtime Filter提升查询效率
OceanBase数据库中可使用Hash Join联接算法，这种算法可以依据某些字段对两个表进行等值匹配连接。然而，当涉及连接的表（特别是作为Probe Table的表）数据量较大时，Hash Join的性能会显著下降。针对这一问题，…
快速收集诊断信息，敏捷诊断工具obdiag应用实践——《OceanBase诊断系列》之三
1. 前言
作为OceanBase的敏捷诊断工具，obdiag具有以下特点：
部署便捷：提供rpm包和OBD上部署的模式，都能够一键部署安装。用户可以选择将其部署到集群中任意一台能连接到各个节点的设备上，而不仅限于OBServer节点。即…
走进SQL审计视图——《OceanBase诊断系列》之二
1. 前言 在SQL性能诊断上，OceanBase有一个非常实用的功能 —— SQL审计视图(gv$sql_audit)。在OceanBase 4.0.0及更高版本中，该功能是 gv$ob_sql_audit。它可以使开发和运维人员更方便地排查在OceanBase上运行过的任意一条SQL，无论这些SQL是成…
如何快速分析OB集群日志，敏捷诊断工具obdiag分析能力实践——《OceanBase诊断系列》之四
1. 前言
obdiag是OceanBase的敏捷诊断工具。1.2版本中，obdiag支持快速收集诊断信息，但仅有收集能力是不够的，还需要有分析能力。因此在obdiag的1.3.0版本中，我们加入了OB集群的日志分析功能。用户可以一键进行集群的OB日志的分析…
没有电商巨头有钱，又要挑战双十一流量高峰，一次低成本、高质量的大促是如何做到的？
今年7月初，易车网数据库负责人田震愈发焦虑。
此时，离易车818汽车狂欢节正式开幕只剩一月有余，但数据库压力测试结果并不理想。
818汽车狂欢节乃易车网首次大促活动，并且采用台网互动的直播形式，涉及数据库的应用场景…
如何排查合并问题——《OceanBase诊断系列》之七
1. 前言
OceanBase数据库的存储引擎以 LSM-Tree 架构为基础，区分静态基线数据（存储在只读SSTable）和动态增量数据（存储在可读写MemTable）。其中 SSTable 是只读的，一旦生成就不再被修改，存储于…
新手体验OceanBase社区版V4.2：离线部署单节点集群
本文源自OceanBase用户的分享 先简单总结如下：
1.本文适合初学者体验OceanBase社区版 v4.2.2
2.仅需准备一台配置为2C/8G的Linux虚拟机
3.通过离线方式安装，以便更直观地了解安装过程 一、Linux系统准备
在宿主机(即你的windows PC电脑)上安装vbox软…
021、数据库管理之数据导入工具(Lightning)
Lightning Lightning原理后端模式对比部署需求获取TiDB Lightning配置Lightning启动运行Lightning退出Lightning断点续传使用表库过滤表库过滤语法使用通配符使用文件导入注释与空行排除规则转义字符引号包裹的标识符正则表达式使用多个过滤规则实验 TiDB Lightning 是TiDB数据…
OceanBase中binlog service 功能的试用
OBLogProxy简介
OBLogProxy即OceanBase的增量日志代理服务，它可与OceanBase建立连接并读取增量日志，从而为下游服务提供了变更数据捕获（CDC）的功能。 关于OBLogProxy的详尽介绍与具体的安装指引，您可以参考这篇官方OB…
OceanBase OBCA 数据库认证专员考证视频
培训概述 OceanBase 认证是 OceanBase 官方推出的唯一人才能力认证体系，代表了阿里巴巴及蚂蚁集团官方对考生关于 OceanBase 技术能力的认可，旨在帮助考生更好地学习 OceanBase 数据库产品，早日融入 OceanBase 技术生态体系，通过由…
013、数据库管理之连接管理
连接管理 TiDB的连接特性连接TiDB 数据库开发接口支持 实验案例 TiDB的连接特性
无状态MySQL协议支持 100% 兼容MySQL 5.7协议支持MySQL 5.7常用功能与语法 MySQL 语法支持的限制（不支持的功能特性） 存储过程触发器外键函数其它
连接TiDB 数据库
使…
体验OceanBase OBD V2.5.0 组件内扩容和组件变更
背景
OBD 是OceanBase的命令行部署工具，在 obd V2.5.0 版本之前，其主要功能主要是部署各类组件，例如 oceanbase-ce,obproxy-ce,obagent 等。然而，它并不支持组件的变更操作以及组件内部的扩缩容调整。具体来说：
1、若…
关于OceanBase中旁路导入的应用分享
背景
前段时间，在用户现场协助进行OceanBase的性能测试时，我注意到用户常常需要运用 insert into select 将上亿行的数据插入到一张大宽表里，这样的批量数据插入操作每次都需要耗时半个小时左右。对这一情况，我提议用户尝试采用旁…
如何在OceanBase的OCP多节点上获取日志
背景
在使用OceanBase的OCP的过程中，因各种因素，我们可能需要对当前页面进行跟踪。在单一ocp节点环境下，我们自然可以直接在该节点上查找所需的日志。然而，当我们的环境中部署了多个ocp节点时，在排查问题时就会变得相…
百度智能云分布式数据库 GaiaDB-X 与龙芯平台完成兼容认证
近日，百度智能云的分布式关系型数据库软件 V3.0 与龙芯中科技术股份有限公司的龙芯 3C5000L/3C5000 处理器平台完成兼容性测试，功能与稳定性良好，获得了龙架构兼容互认证证书。 龙芯系列处理器
通用 CPU 处理器是信息产业的基础部件…
MySQL Sharding + 读写分离配置说明
前一篇文章介绍了 MySQL 静态读写分离的配置，那么面对 Sharding 读写分离组合使用的场景，该如何去配置？下面内容记录了操作过程，我们通过 ShardingSphere-Proxy 和 4 个 MySQL 节点即可验证。 文章目录测试目的预置条件网络拓扑拓…
ClickHouse进阶（六）：副本与分片-2-Distributed引擎
进入正文前，感谢宝子们订阅专题、点赞、评论、收藏！关注IT贫道，获取高质量博客内容！ 🏡个人主页：含各种IT体系技术,IT贫道_Apache Doris,大数据OLAP体系技术栈,Kerberos安全认证-CSDN博客 📌订阅…
在OceanBase使用中，如何优化因Join估算不准导致执行计划选错的问题
作者：胡呈清，爱可生公司旗下的DBA团队成员，擅长故障分析和性能优化。爱可生开源社区出品，原创内容未经授权不得随意使用，转载请联系小编并注明来源。本文约 1600 字，预计阅读需要 15 分钟。 数据库版本&…
022、数据库管理之数据迁移工具(DM)
DM Data Migration架构与原理适用场景下载安装组件编辑初始化配置文件执行部署命令查看DM集群检查DM集群情况启动集群 DM配置概览上游数据库(数据源)配置任务配置过滤配置分库分表合并迁移性能优化常见问题 dmctl检查与启动任务暂停任务恢复任务查询任务停止任务 实验部署DM集群…
比特币,区块链及相关概念简介(三)
目录 什么是区块链区块链关键特点区块链存在哪里区块链相关的工作主要是做什么呢可以有多个区块链吗区块链网络节点区块链网络有延迟吗区块链和Rust区块链新技术区块链相关网站该系列文章链接 以下内容结合了chatgpt 3.5以及网络文章。 用于学习记录。 简介： 什么是…
ClickHouse（二十二）：Clickhouse SQL DML操作及导入导出数据
进入正文前，感谢宝子们订阅专题、点赞、评论、收藏！关注IT贫道，获取高质量博客内容！ 🏡个人主页：含各种IT体系技术，IT贫道_Apache Doris,大数据OLAP体系技术栈,Kerberos安全认证-CSDN博客 &…
如何修炼成“神医”——《OceanBase诊断系列》之一
本系列是基于OcenaBase 开发工程师在工作中的一些诊断经验，也欢迎大家分享相关经验。
1. 关于神医的故事
扁鹊，中国古代第一个被正史记载的医生，他的成才之路非常传奇。年轻时，扁鹊是一家客栈的主管。有一位名叫长桑君的客人来到…
如何通过Python代码连接OceanBase Oracle租户
背景
目前，连接数据库的Oracle租户，只能通过Java和C的驱动程序，无法通过其他语言的驱动程序。为了满足社区中用户希望在Python代码中连接Oracle租户的需求，这里提供一种替代方案。通过结合使用JayDeBeApi和JDBC，我们可…
020、数据库管理之数据导出工具(Dumpling)
Dumpling dumpling详解dumpling介绍dumpling架构与特点dumpling 适用场景dumpling的部署dumpling 所需权限dumpling 导出SQL文件dumpling 导出csv文件对导出数据进行筛选导出数据的格式导出数据的一致性dumpling 性能优化 实验导出TiDB 数据库中的单张表和单个库导出mysql数据库…
Percolator 2PC模型
介绍
Percolator 用于Google的检索系统。Google爬取的网页建立的索引，通过Percolator系统建立索引。 Google的检索系统维护了上千台机器，有数十PB数据。 Percolator优化了增量处理(incremental processing)的问题: 很多网页是已经爬取过的，爬…
OceanBase中左外连接和反连接的经验分享
本文作者：张瑞远，曾从事银行、证券数仓设计、开发、优化类工作，现主要从事电信级IT系统及数据库的规划设计、架构设计、运维实施、运维服务、故障处理、性能优化等工作。 持有Orale OCM,MySQL OCP及国产代表数据库认证。 获得的专业技能与认证…
防患未然，OceanBase巡检工具应用实践——《OceanBase诊断系列》之五
1. OceanBase为什么要做巡检功能
尽管OceanBase拥有很好的MySQL兼容性，但在长期的生产环境中，部署不符合标准规范、硬件支持异常，或配置项错误等问题，这些短期不会出现的问题，仍会对数据库集群构成潜在的巨大风险。为…
018、数据库管理之TiDB升级
升级 使用TiUP进行补丁升级(HotFix)版本升级流程升级准备-更新TiUP升级准备- 编辑TiUP Cluster升级准备- 集群监控状态检查升级TiDB 集群验证TiDB集群升级结果升级常见问题 使用TiUP进行补丁升级(HotFix)
-R ： 所有 -N : 指定的节点
升级集群上的所有TiDB实例&…
006、体系结构之TiKV读取和Coprocessor
TiKV读取和Coprocessor 1、数据的读取1.1、ReadIndex Read1.2、Follower Read 协同处理器(Coprocessor) 1、数据的读取
1.1、ReadIndex Read
例如此时要读取 key 1 的内容，它不能直接去kv中读取，因为它是分布式的，它经过TiDB Server 收到读…
017、数据库管理之监控
监控工具 TiDB数据库的监控体系TiDB Dashboard数据库监控系统数据流转监控系统访问地址 报警系统报警级别指标系统常用监控指标Service Port Status 常用监控指标PD的常用监控指标TiDB-Server的常用监控指标TiKV 的常用监控指标Dashboard的常用指标 实验： 通过监控工…
对OceanBase进行 sysbench 压测前，如何用 obdiag巡检
有一些用户想对 OceanBase 进行 sysbench 压测，并向我询问是否需要对数据库的各种参数进行调整。我想起有一个工具 obdiag ，具备对集群进行巡检的功能。因此，我正好借此机会试用一下这个工具。 obdiag 功能的比较丰富，详细情况可参…
故障分析 | Greenplum Segment 故障处理
作者：杨文 DBA，负责客户项目的需求与维护，会点数据库，不限于MySQL、Redis、Cassandra、GreenPlum、ClickHouse、Elastic、TDSQL等等。 本文来源：原创投稿 *爱可生开源社区出品，原创内容未经授权不得随意使用…
TiDB专题---2、TiDB整体架构和应用场景
上个章节我们讲解了TiDB的发展和特性，这节我们讲下TiDB具体的架构和应用场景。首先我们回顾下TiDB的优势。
TiDB的优势
与传统的单机数据库相比，TiDB 具有以下优势：
纯分布式架构，拥有良好的扩展性，支持弹性的扩缩容…
从存算分离说起：金融行业数据库分布式改造之路
从上世纪90年代正式起步至今，中国数据库发展已走过近30年岁月。以2000年前后为拐点，以MySQL为首的开源数据库，在互联网厂商的推动下，逐步进入生产业务；而为了使单实例能力平庸的MySQL能够满足高性能要求，互…
浅谈与 DBA 息息相关的 Database Plus 理念
近年来，数据库技术在多元化业务需求和系列政策驱动下，发展快马加鞭。数据库百花齐放为 DBA 提供了更多的发展路径的同时，也彻底的改变了 DBA 的工作内容、方式和标准。
在数据库碎片化发展的趋势下，SphereEx CEO 张亮总在 2021 年…
金融科技圈开年第一架：一份白皮书引发的争吵与启示
新年伊始，一篇原本普普通通的厂家白皮书却引发金融圈IT从业人员的驳斥，大家为此吵得不可开交。
1月，阿里云对外发布《“核”聚变--核心系统转型之路》白皮书。该白皮书对金融机构分布式架构转型所面临问题、新金融业务系统对传统金融核心系统…
0103水平分片-jdbc-shardingsphere-中间件
文章目录 1 准备服务器1.1 创建server-order0容器1.2 创建server-order1容器 2、基本水平分片2.1、基本配置2.2、数据源配置2.3、标椎分片表配置2.4、行表达式2.5、分片算法配置2.6、分布式序列算法 3、多表关联3.1、创建关联表3.2、创建实体类3.3、创建Mapper3.4、配置关联表3…
TiDB | TiDB在5A级物流企业核心系统的应用与实践
TiDB在5A级物流企业核心系统的应用与实践前言一、业务背景科捷物流概况神州金库简介二、现状与挑战神州金库现有技术体系业务挑战应对方案三、TiDB解决方案测试迁移收益问题四、说在最后前言
历经了近半年的测试验证和迁移准备，神州金库3.0核心系统 WMS 正式从 MyS…
如何安装OceanBase的OBD
选择一：借助 all-in-one 安装包安装 OBD（推荐）
OceanBase 社区版的all-in-one安装包是一个集成了多种工具的一键式安装包。它包含了数据库软件本身，以及OBD、OBProxy、OBClient，自4.1版本起，还额外加入了O…
关于OcenaBase v4.2中，分区转移和负载均衡的技术解读
OceanBase作为一款原生分布式数据库，其核心的技术特性之一是高可扩展性，其具体表现在两个方面：
首先，是灵活的扩缩容能力，包括垂直扩缩容和水平扩缩容：
垂直扩缩容ÿ…
体验OceanBase 的binlog service
OceanBase对MySQL具备很好的兼容性。目前，已经发布了开源版的binlog service工具，该工具能够将OceanBase特有的clog模式转换成binlog模式，以便下游工具如canal、flink cdc等使用。今天，我们就来简单体验一下这个binlog service的功…
如何用OBD创建OceanBase集群
OBD创建集群的方式适用于迅速搭建集群以进行测试工作。但是在涉及线上环境的部署时，推荐采用OCP进行集群的创建与管理。
有关OBD 的一些详细信息，可以去 github 了解，GitHub - oceanbase/obdeploy: A deployer and package manager for Ocea…
对OceanBase中的配置项与系统变量，合法性检查实践
在“OceanBase 配置项&系统变量实现及应用详解”的系列文章中，我们已经对配置项和系统变量的源码进行了解析。当涉及到新增配置项或系统变量时，通常会为其指定一个明确的取值范围或定义一个专门的合法性检查函数。本文将详细阐述在不同情境下&#x…
OceanBase V4.X中常用的SQL（一）
整理了一些在OceanBase使用过程中常用的SQL语句，这些语句均适用于4.x版本，并将持续进行更新。后续还将分享一些V4.x版本常用的操作指南，以便更好地帮助大家使用OceanBase数据库。 集群信息
版本查看
show variables like version_comment; …
SQL 优化实践：关于增强 OceanBase本地索引性能的案例
本文通过一个案例，帮用户了解在Oracle迁移Oceanbase时，应该如何选择全局索引和本地索引以带来更好的SQL性能。 作者：胡呈清，爱可生的DBA团队成员，擅长故障分析和性能优化。本文约 5000 字，预计阅读需要 15 …
通过OceanBase 3.x中not in无法走hash连接的变化，来看OB优化器的发展
作者简介：
张瑞远，曾从事银行、证券数仓设计、开发、优化类工作，现主要从事电信级IT系统及数据库的规划设计、架构设计、运维实施、运维服务、故障处理、性能优化等工作。 持有Orale OCM,MySQL OCP及国产代表数据库认证。 获得的专业技能与认…
OceanBase中NOT EXISTS是否需要被改写
作者简介 张瑞远，曾经从事银行、证券数仓设计、开发、优化类工作，现主要从事电信级IT系统及数据库的规划设计、架构设计、运维实施、运维服务、故障处理、性能优化等工作。 持有Orale OCM,MySQL OCP及国产代表数据库认证。 获得的专业技能与认证包括 Oce…
GaiaDB-X 获选北京国家金融科技认证中心「数据领域首批专项示范与先行单位」
2023 年 12 月 21 日至 22 日，「2023北京国际金融安全论坛暨金融科技标准认证生态大会」在北京金融安全产业园举办。百度智能云分布式数据库 GaiaDB-X 产品荣登「数据领域首批专项示范与先行单位」名单，并获得了由北京国家金融科技认证中心颁发的「数据产…
HTAP混合事务/分析数据库调研
1 什么是HTAP HTAPHybrid transactional/analytical processing
特指同时具备处理事务和分析能力的数据库
目前国内有哪些开源产品：TiDB，OceanBase
Gartner 的最新报告表明，比单一统一数据库所能提供的优势更广泛。传统的应用程序架构将事…
设计数据库之外部模式：数据库的应用
Chapter5：设计数据库之外部模式：数据库的应用
笔记来源：《漫画数据库》—科学出版社
设计数据库的步骤： 概念模式 概念模式(conceptual schema)是指将现实世界模型化的阶段进而，是确定数据库理论结构的阶段。 概念模…
pt-archiver的实践分享，及为何要用 ob-archiver 归档数据的探讨
作者简介：肖杨，软件开发工程师 在数据密集型业务场景中，数据管理策略是否有效至关重要，它直接关系到系统性能与存储效率的提升。数据归档作为该策略的关键环节，不仅有助于优化数据库性能，还能有效降低存储成…
ClickHouse（十九）：Clickhouse SQL DDL操作-1
进入正文前，感谢宝子们订阅专题、点赞、评论、收藏！关注IT贫道，获取高质量博客内容！ 🏡个人主页：含各种IT体系技术，IT贫道_Apache Doris,大数据OLAP体系技术栈,Kerberos安全认证-CSDN博客 &…
仅用一个月，游卡完成从MySQL到上线OceanBase的实践
编者按：自2023年9月起，游卡——国内最早卡牌游戏研发者之一，开始测试OceanBase，并在短短两个月内成功将三个核心业务应用迁移至OceanBase上。究竟是何因素促使游卡放弃游戏行业普遍采用的MySQL方案，转而大胆选择OceanB…
阳光保险MySQL数据库平稳迁移OceanBase，稳定运营超700天
作者简介： 车东兴：于阳光保险就职，深耕保险行业的 IT 领域长达12 年，对保险领域的基础架构实践有深刻的理解与掌握。熟悉多款数据库，具有丰富的数据库运维经验。 王华城：于阳光保险就职，10多年一…
spider分布式引擎
一、Spider引擎简介
1、spider 引擎是什么
Spider引擎是一个内置的支持数据分片特性的存储引擎，支持分区和XA事务，该引擎可以在服务器上建立和远程数据库表之间的链接，操作起来就像操作本地的表一样。并且对后台数据库的引擎没有任何限制。
目…
obdiag如何实现一键采集20+故障场景的诊断信息——《OceanBase诊断系列》之九
作者简介：靖顺，OcenaBase 开发工程师，专注于数据库诊断与调优 1. 前言
在2024年初，我与一线运维人员交流时，他们纷纷提及在运维过程中遭遇的难题——OceanBase出现问题时，排查工作不容易，有时需…
OceanBase中分区的运用
分区的概念
分区实质上是根据特定的规则，将表划分为若干个独立的物理存储单位。以MySQL为例，表会被拆分为多个物理文件。而在OceanBase中，每个分区则表现为一个物理副本组，每个分区默认都拥有三个副本。 分区表的优…
ClickHouse（二十一）：Clickhouse SQL DDL操作-临时表及视图
进入正文前，感谢宝子们订阅专题、点赞、评论、收藏！关注IT贫道，获取高质量博客内容！ 🏡个人主页：含各种IT体系技术，IT贫道_Apache Doris,大数据OLAP体系技术栈,Kerberos安全认证-CSDN博客 &…
从MySQL到TiDB：兼容性全解析
MySQL 在高并发和大数据量场景下，单个实例的扩展性有限。而 TiDB 作为一款分布式NewSQL数据库，设计之初就支持水平扩展（Scale-Out），通过增加节点来线性提升处理能力和存储容量，能够很好地应对大规模数据和高…