如何实现数据网格概念数据工程产品或应用
我正在尝试在一个与业务相关的应用程序中实现数据网格概念。让我先描述一下：
已经使用数据HDFS、hive和cassandra_database来管理数据。
1:据我所知，在数据网格概念中，多个数据库、内部数据、数据湖和数据仓库连接在一个点上，分布这些数据。在这里，每个数据仓库、数据湖或数据库都是一个数据网格节点。对于数据网格，这个整体概念是否正确？
2:如何在我的项目中实现，我正在尝试使用graphDb数据库，因为它支持作为主节点和工作节点(存储库)的另一个数据库的集群连接。
3:可以使用graphDb以外的其他平台进行检查吗？像neo4j一样，这是可能的吗？
任何人都可以在我的项目或任何参考资料中帮助实现数据网格技术。
回答 2
Stack Overflow用户
发布于 2020-04-28 22:32:54
当我在世界上最大的医疗保健公司之一工作时，我们设计并构建了世界上最大的医疗保健“网格”数据库，它位于我们管理的数据仓库之上。
在对数据库进行概念化时，我们预计RAM中的数据将在3年内达到52TB (早在2018年)。在对市场上的图形数据库(Anzo，海王星，Neo4j)做了一些研究后，我们最终选择了TigerGraph的速度和规模。TigerGraph将允许您水平扩展(添加更多的机器以创建更大的集群)
如果你想要一些关于入门的资源：https://community.tigergraph.com/t/tigergraph-getting-started-guide/11
如果你想要一个免费的沙盒环境：https://tgcloud.io
Stack Overflow用户
发布于 2020-05-05 19:58:44
如果您希望构建用于分析的大型图表，请查看AnzoGraph DB，这是一个大规模并行处理(MPP)图表数据仓库引擎，通过添加额外的商用英特尔服务器，可实现接近线性的横向纵向扩展性能。该体系结构是无共享的，因此所有数据都会自动跨集群进行分片，并且每个查询都会自动分解为在每个cpu核心上同时并行运行的C++程序。
AnzoGraph针对联机分析处理风格的查询进行了优化，即极快的并行加载、海量数据集、复杂的分析查询、动态和物化视图，以及根据需要迭代清理、链接和重塑数据库中的图形数据所需的出色ELT性能。与大多数OLAP和图形系统不同，数据库是无模式的，它允许立即直接加载源数据(即使是脏的)，而无需在加载源数据之前预先创建ETL管道和目标模式或将源数据预先形成到图形中。一个虚拟图形选项(数据虚拟化/联邦查询)正在预览中，该选项允许您有选择地将部分图形源数据保留在原始源中，并且只能通过自动下推查询访问。有一个免费的单服务器版本。
请注意，AnzoGraph不是为联机事务处理而设计的，例如Neo或海王星。
免责声明:我在剑桥语义公司工作。
anzograph graph-databases
https://stackoverflow.com/questions/61476830
复制相似问题
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号