开源元数据管理平台Amundsen安装

news/2024/7/10 20:10:49 标签: 开源, 大数据

Amundsen 是一个用于数据发现和元数据管理的开源平台。Amundsen是一个用于提高数据分析师、数据科学家和工程师在与数据交互时的生产力的数据发现和元数据引擎。目前,它通过索引数据资源(表、仪表板、流等)并基于使用模式(例如,高频查询的表会比低频查询的表更早显示)提供类似于PageRank的搜索来实现这一目标。可以将其视为数据的Google搜索。该项目以挪威探险家Roald Amundsen命名,他是第一个发现南极点的人。

Amundsen由LF AI & Data Foundation托管。它包括三个微服务、一个数据摄取库和一个通用库。

  • amundsenfrontendlibrary:前端服务,是一个使用React前端的Flask应用程序。
  • amundsensearchlibrary:搜索服务,利用Elasticsearch提供搜索功能,用于支持前端的元数据搜索。
  • amundsenmetadatalibrary:元数据服务,利用Neo4j或Apache Atlas作为持久层,提供各种元数据。
  • amundsendatabuilder:用于构建元数据图和搜索索引的数据摄取库。用户可以使用库中的Python脚本加载数据,也可以使用导入库的Airflow DAG。
  • amundsencommon:Amundsen通用库包含在Amundsen中的微服务之间共享的通用代码。
  • amundsengremlin:Amundsen Gremlin库包含用于将模型对象转换为gremlin中的顶点和边的代码。它用于将数据加载到AWS Neptune后端。
  • amundsenrds:Amundsenrds包含支持关系数据库作为Amundsen元数据后端存储的ORM模型。ORM模型中的模式遵循databuilder模型的逻辑。Amundsenrds将用于databu

http://www.niftyadmin.cn/n/5344754.html

相关文章

电商平台对接方案整理之二 京东

京东的sdk忍不住要吐槽一下,引用了太多第三方,第一次用折腾了好长时间。 京东的订单解密需要另外一套sdk,真是~~ 然后就是对接文档 再吐槽一下,京东的订单解密虚拟号需要在京麦购买虚拟号包,不过也不贵,100…

76.Go分布式ID总览

文章目录 简介一:UUID二、雪花算法三:Leaf-snowflake四:数据库自增ID五:使用Redis实现分布式ID生成六:使用数据库分段(Leaf-segment)七 :增强版Leaf-segment八:Tinyid九&…

香港web3盛会:Unisat确认参加Big Demo Day项目路演

本次“Big Demo Day”将于1月31日举办第十期,是由Zeepr 总冠名,Central Research、Techub News联合主办、数码港、852web3支持举行的大型线下活动。Big Demo Day集结了Web2和Web3行业精英聚焦香港市场。 Unisat确认参加 Big Demo Day 线下活动&#xff0…

【Java】SpringMVC路径写法

1、多级路径 ✅类路径和方法路径都可以写成多级 ✅其中,类路径写在方法路径前面 ✅与Servlet不同,SpringMVC中写不写“/”都可以 RequestMapping("/hello/t1") RestController public class HelloSpring {RequestMapping( value "world…

大数据开发之SparkSQL

第 1 章:spark sql概述 1.1 什么是spark sql 1、spark sql是spark用于结构化数据处理的spark模块 1)半结构化数据(日志数据) 2)结构化数据(数据库数据) 1.2 为什么要有sparksql hive on s…

优势比和最大似然

1. 优势比 odds ratio 1.1 什么是优势比 优势比(odds ratio;OR)是一种描述概率的方式,用于反映分类变量之间的相关性。 优势:设定p为事件发生的概率,则发生的优势为,odds p/1-p。优势比:p1为事…

Element-UI中的el-upload插件上传文件action和headers参数

官网给的例子action都是绝对地址,我现在需要上传到自己后台的地址,只有一个路由地址/task/upload 根据 config/index.js配置,那么action要写成/api/task/upload,另外也可以传入函数来返回地址:action"uploadUrl()"。 …

学习 MySQL 中的 SQL_SMALL_RESULT 关键字

学习 MySQL 中的 SQL_SMALL_RESULT 关键字 SQL_SMALL_RESULT 是用于查询优化的关键字,适用于当预期查询结果集较小,同时需要对结果进行排序或分组的场景。在使用 GROUP BY 或 DISTINCT 对数据进行处理时,MySQL 通常会创建临时表来存储中间结…