Amoro Server数据结构设计


发布于 2025-06-13 / 6 阅读 / 0 评论 /
amoro-0.8.0底层数据结构设计

库表元数据

库表元数据体系包含catalog、database、table,如下图所示:

注册catalog时往catalog_metadata插入数据,并自动扫描catalog,获取catalog下database和table数据,插入对应的表中。

优化器和资源组

amoro的优化由优化器来实现,优化器在资源组中运行。相关的数据结构如下图所示:

resource_group资源组定义了优化器运行的环境,比如yarn集群、k8s集群等

resource资源定义了优化器所需要的资源。

optimizer优化器表示一个具体的优化任务。

优化表元数据

优化的基本单元是表,优化表记录的表结构如下:

table_runtime表示需要优化的表信息,table_metadata中保存访问此表所需要的信息,比如表的存储介质的配置信息。

优化任务和表

优化器和表的关系如下所示:

table_optimizing_process表示具体的优化器进程,可对具体的某张表进行优化。

辅助表

Amoro有两张辅助表,结构如下

api_tokens中定义了token信息

platform_file定义了平台所需要的文件内容信息。