- 综合排序
- 最热优先
- 最新优先
- 来自专栏韩锋频道
数据建模1,2,3
1.何为建模？ 数据几乎总是用于两种目的：操作型记录的保存和分析型决策的制定。简单来说，操作型系统保存数据，分型型系统使用数据。 针对这两种不同的数据用途，如何组织数据，更好地满足数据使用需求。这里就涉及到数据建模问题。即设计一种数据组织方式（模型），来满足不同场景。 【业务过程】：下订单 【粒度】：每笔订单（拆分为单个物品） 【维度】：地域、年龄、渠道等（可供分析的角度） 【事实/度量】：订单金额等（可用于分析的数据） 2).建模步骤 收集业务需求与数据实现 在开始维度建模工作之前 既可以选择星型模型，部署在关系数据库上，通过事实表及通过主外键关联的维度表；也可以选择多维模型，落地于多维数据库中。 3).建模规范 以维度建模为理论基础，定义一系列术语来描述建模对象。 3. 设计要点 1).维度表设计 维度是维度建模的基础和灵魂。在维度建模中，将度量称为"事实"，将环境描述为"维度"，维度是用于分析事实所需要的多样环境。维度所包含的表示维度的列，称为维度属性。
1.6K51发布于 2019-06-06 - 来自专栏好好学习
【UML建模】（3） UML建模之类图
在这里插入图片描述 综合例子 在这里插入图片描述 1、企鹅与气候是关联关系 2、鸭与唐老鸭是继承关系 3、大雁与飞翔是实现的关系 4、雁群与大雁是聚合关系 5、动物与氧气，水是依赖关系 6、鸟与翅膀是组成关系
2.3K12编辑于 2022-03-31 - 来自专栏PowerBI入门100例
2.22 PowerBI数据建模-3种平均值
按样本个数的不同统计口径，有3种平均值，以月均XX为例：1 取有值的样本个数，有几个月有数字，样本个数就是几个月；2取所选的样本个数，不管这些样本有没有值，时间段选择了一年，样本个数就是12；3取开始有值的第一个月及它以后的所选样本个数 举例 计算3种月均销量。模型销量表度量值Sales = SUM(Fact_Sales[销量])1 取有值的样本个数，使用现成的平均值函数AVERAGEX。 Average_Divide = DIVIDE([Sales], DISTINCTCOUNT('Date'[YearMonth]))3 取开始有值的第一个月及它以后的所选样本个数。 YearMonth]), FILTER('Date','Date'[Date]>=_vm_StartDate ))RETURNDIVIDE([Sales], _vm_NumberOfMonth)选择2023年整年，3种平均值的结果如下
58810编辑于 2025-02-24 - 来自专栏全栈程序员必看
数仓建模与分析建模_数据仓库建模与数据挖掘建模
数据明细层（DWD） 数据明细层对 ODS 层的数据进行清洗、标准化、维度退化（时间、分类、地域） 满足 3NF 模型，用于数据分析 数据汇总层（DWS） 对 DWD 层的数据，按照主题进行计算汇总，存放的是便于分析的宽表 非 3NF，注重数据聚合 数据应用层（ADS） 数据应用层也被称为数据集市 存储数据分析结果，为不同业务场景提供接口，减轻数据仓库的负担 为数据应用层的报表决策、并发查询、搜索检索提供支持 3. Anchor Data Value 模型的衍生 初衷为设计一个高度扩展模型 会带来较多的 join 操作 维度模型 维度模型的分类 星型模型：维度只有一层，分析性能最优 雪花模型：具有多层维度，比较接近 3NF [外链图片转存中…(img-uQis5F2c-1645262440294)] 范式 第一范式：属性不可分割 第二范式：消除不分函数依赖 第三范式：消除传递依赖 关系建模与维度建模 关系建模：将复杂的数据抽象为两个概念 维度建模：模型相对清晰、简洁。维度模型以数据分析作为出发点，不遵循三范式，故数据存在一定的冗余。维度模型面向业务，将业务用事实表和维度表呈现出来。 4.
2K20编辑于 2022-11-09 - 来自专栏PowerBI入门100例
2.38 PowerBI数据建模-数字单位的3种方案
解决方案在保持数字格式的前提下，数字单位有如下3种方案：方案1 增加单位表，通过切片器切换单位，不同量级的数字按照所选的单位一刀切。操作步骤STEP 1 点击菜单栏主页下的输入数据，创建一个单位表。 STEP 3 修改度量值公式，将原有的度量值公式写在“_vm_Figure=”后。 .0" & " Bn")STEP 3 如果是图表，需要在图表的格式中，将Y轴值的单位和数据标签值的单位设置为无单位，不要设置为固定的千、百万等，不然反而会有显示问题。 在画布中显示如下：报告发布后，在网页中导出数据时选择.xlsx格式，导出后仍然是数字格式。如果选择.csv或者在PowerBI桌面版中导出（也是csv），就不是数字格式了。 方案3 使用动态格式字符串，按照中国用户习惯，不同量级的数字强制中文动态显示为千、万、亿等。
94810编辑于 2025-02-25 - 来自专栏大数据学习与分享
数据建模-维度建模-维度设计
作为维度建模的核心，我们在企业级的数据仓库中必须保证维度的唯一性。以淘宝商品维度为例，我们有且只允许有一个维度定义。 第二步：确定主维度表。 （3）同一类数据基于范式建模，拆分成同一类型数据库中多张的物理表，比如商品，有商品主表和商品扩展表，商品主表存商品基本信息；商品扩展表存储商品特殊信息，如不同产品线定制化的信息等；比如会员，有会员主表和会员扩展表 （3）易用性：模型可理解性高、访问复杂度低。用户能够方便的从模型中找到对应的数据表，并能够方便查询和分析。 但对前台应用的要求是数据库的物理删除只有在归档时才执行，应用中的删除只是逻辑删除。 （3）数据仓库自定义归档策略。 针对此问题，采用类型3处理方式，保留历史，可以使用任何一个属性列。同上面的例子，采用方法3处理方式，变化前后的数据记录如下。
1.9K31编辑于 2023-09-06 - 来自专栏全栈程序员必看
大数据数据建模
今天给大家分享一下 数据开发工作中数据建模的步骤， 第一步：选择模型或者自定义模型 这第一步需要我们基于业务问题 如果没有现成的模型可用，就需要我们自定义模型了，自定义模型不是一件容易的事情，需要非常nb的数学基础和科研精神，当前绝大多数人所谓的建模，都只是选择一个已有的数学模型来工作而已。 这一步，就需要将可用的模型开发出来，并部署在数据分析系统中，然后可以形成数据分析的模板和可视化的分析结果，以便实现自动化的数据分析报告。 应用模型，就是将模型应用于真实的业务场景。 构建模型的目的，就是要用于解决工作中的业务问题的，比如预测客户行为，比如划分客户群，等等。 所谓的模型优化，可以有以下几种情况： 1）重新选择一个新的模型； 2）模型中增加新的考虑因素； 3）尝试调整模型中的阈值到最优； 4）尝试对原始数据进行更多的预处理，比如派生新变量。
1.5K20编辑于 2022-08-18 - 来自专栏3D可视化
3D建模之建筑建模工作流程
我们都知道建模是为了研究某种现实或事物而建立相应的模型。但在thingjs开发平台来说，建模是为了让可视化更好展现。 每个工程师的建模水平不同，做出来的模型也各有千秋，在平台上运行起来效果就会不一样，可从外形、运行速度、实际应用程度来考量，不过thingjs平台有免费海量模型以及3D建模服务、建模团队，当然我们更多的是鼓励大家自己动手操作 (3)打开渲染面版，滤镜设置为Catmull-Rom。 (4)渲染尺寸为720*576或720*404，高清画面为1920*1080,比例为1.067。 (3)材质不设，根据制作物体来设，有趣、远景分别最终生成一个复合文件，单独镜头根据镜头本身而定，起名明确。 (4)调入CAD地形，中心位于MAX空间中轴位置，与地平线高度统一Z轴为0。 有3D建模基础相信建筑建模难不倒你的对不对，thingjs平台http://www.thingjs.com/支持大家上传自己的模型，进行可视化开发，具体可以上平台运行起来试一试哦~
1.4K11发布于 2019-12-13 - 来自专栏Mac资源随时更新
建模神器：Rhino 7 3D建模工具「winmac」
Rhino 7是一款强大的建模神器，提供精准的曲面工具用于渲染表现、动画、工程图、分析评估以及生产用的模型并兼容3dmax、Softimage模型。 Rhino 7建模神器 MacRhino 7建模神器 Win图片特点1、可以创建，编辑，分析，记录，渲染，动画和翻译NURBS曲线，曲面和实体，点云和多边形网格。 对硬件的复杂程度，程度或大小没有任何限制2、不受限制的自由形式的3D建模工具，只有在产品成本高出20到50倍的产品中才能使用。 模拟你可以想象的任何形状3、从飞机到珠宝设计，原型，工程，分析和制造任何东西所需的精度4、与所有其他设计，绘图，CAM，工程，分析，渲染，动画和插图软件兼容5、读取和修复网格和极具挑战性的IGES文件6 不需要特殊的硬件8、数百种专业建模产品的开发平台9、与您所有其他设计、绘图、CAM、工程、分析、渲染、动画和插图软件的兼容性
1.2K20编辑于 2022-08-27 - 来自专栏波波烤鸭
PowerDesigner数据建模
PowerDesigner安装 云盘地址:https://pan.baidu.com/s/1MZnQhPZ6ityza9N9nAD3bw 提取码：8qpi 傻瓜式安装 E-R图 E-R图(实体关系图 ) 1.创建模型 ? 3.修改不恰当的描述 ? ? 生成数据库脚本 ? ? ? ? ?
89141发布于 2019-04-02 - 来自专栏宜信技术实践
程序员笔记|3个问题带你入门数据建模
一、何为建模？ 数据几乎总是用于两种目的：操作型记录的保存和分析型决策的制定。简单来说，操作型系统保存数据，分型型系统使用数据。 针对这两种不同的数据用途，如何组织数据，更好地满足数据使用需求。这里就涉及到数据建模问题。即设计一种数据组织方式（模型），来满足不同场景。 由于采用预计算、索引策略和其他优化方法，多维数据库可实现高性能查询。 在这三种方式中，星型模型使用较多，下面也着重对这种方式进行说明。 二、维度建模 1、基本概念 在建模过程中，涉及到很多概念。 【业务过程】：下订单 【粒度】：每笔订单（拆分为单个物品） 【维度】：地域、年龄、渠道等（可供分析的角度） 【事实/度量】：订单金额等（可用于分析的数据） 2、建模步骤 收集业务需求与数据实现 在开始维度建模工作之前 既可以选择星型模型，部署在关系数据库上，通过事实表及通过主外键关联的维度表；也可以选择多维模型，落地于多维数据库中。 3、建模规范 以维度建模为理论基础，定义一系列术语来描述建模对象。
81140发布于 2019-06-28 - 来自专栏北山啦的博客
Scrapy从入门到放弃3--数据建模与请求
scrapy数据建模与请求 学习目标： 应用 在scrapy项目中进行建模 应用 构造Request对象，并发送请求 应用 利用meta参数在不同的解析函数中传递数据 ---- 1. 数据建模 通常在做项目的过程中，在items.py中进行数据建模 1.1 为什么建模 定义item即提前规划好哪些字段需要抓，防止手误，因为定义好之后，在运行过程中，系统会自动检查 配合注释一起可以清晰的知道要抓取哪些字段 /h3/text()').extract_first() item['title'] = node.xpath('. requests模块是如何实现翻页请求的： 找到下一页的URL地址 调用requests.get(url) scrapy实现翻页的思路： 找到下一页的url地址 构造url地址的请求对象，传递给引擎 3. /td[3]/text()').extract_first() item['type'] = node.xpath('.
1.1K40编辑于 2022-11-27 - 来自专栏全栈程序员必看
影视3D建模和游戏3D建模差异，哪个更有前景？
影视3D建模和游戏3D建模，两者之间最大和最明显的差异是：游戏开发永远有多边形建模预算。影视建模方面，对于多边形数量都没有限制。 对于电影来说，唯一限制是时间，按时，按预算生产合格的模型。 游戏建模师的那些事儿 1、建模师的主要工作？ 在游戏公司里，游戏建模主要分为3D场景建模和3D角色建模。 ↓↓↓ 如果大家想学习次世代3D游戏建模的话，可以到这个游戏建模教程资料裙：它开头的数字是：107，在中间的是：217，位于尾部的数字是：2722，把以上三组数字按照先后顺序组合起来即可。 3Dmax、Zbrush、Maya次世代游戏动漫建模软件教学，从零基础萌新到实操探索，手把手教会你3D游戏建模 3D场景 3D角色 3D游戏场景建模在项目中需求量比较高，入门上手比较快速，因此非常适合新手 企业需求与模型人才培养出现断层，模型师薪资水涨船高，职友网数据显示，游戏模型师全国平均薪资是9010，远远高于一般职业平均薪资。
1.8K30编辑于 2022-08-31 - 来自专栏全栈程序员必看
领域建模与数据库建模
本文重点主要是比较OO建模和数据表建模两者特点，这两者我们已经发现属于两个不同方向，也就是说，属于两个完全不同的领域，在J道其他文章里我们 其实已经把这两个领域上升为不同的学科，数据表建模属于数学范畴思维 ；而OO建模属于哲学思维。 因为方法的不同，软件路线也就存在下面几个路线：完全面向对象类建模路线(J道网站和笔者一直致力于这种路线的推介)； 一种是对象和关系数据库混合型，还有一种就是过去的完全关系数据库类型软件（如Foxpro/ 建模和设计成为单个迭代循环。将领域模型和设计紧密联系。因此，建模专家必须懂设计。 现在，要彻底改变过来，OO就是以对象为主，数据库是从属对象设计的，如果说EJB2的实体bean技术让你不得不走上传统过程化编程歧路，那么 EJB3已经更正了实体Bean设计缺陷，从EJB发展可以看到一个侧面
1.1K30编辑于 2022-07-31 - 来自专栏全栈程序员必看
人脸识别系统如何建模_3dmax人脸建模
本发明涉及生物特征识别，特别是涉及人脸识别中的特征建模方法。 人脸图像预处理是指从采集的图像数据中确定人脸的部分，并进行灰度校正、噪声过滤等图像预处理，从而使后续的人脸图像特征提取过程能够更加的准确和高效。 优选的，在本发明实施例中，所述腐蚀膨胀操作采用2*3长方形窗口。 图1为本申请中所述人脸识别中的特征建模方法的步骤示意图； 图2为本申请中所述人脸识别中的特征建模方法的又一步骤示意图。 具体来说，腐蚀膨胀操作的最优方式为采用2*3长方形窗口。
3.5K20编辑于 2022-09-30 - 来自专栏全栈程序员必看
数据建模与数仓建模_数仓建模的几种方式
数据模型 所谓水无定势，兵无常法。不同的行业，有不同行业的特点，因此，从业务角度看，其相应的数据模型是千差万别的。 在开始介绍数据模型之前，我们先看一个东西，那就是算法与数据结构，我们知道算法是解决特定问题的策略，数据结构处理问题的数学模型，数据结构 有三大要素，逻辑结构、存储结构、数据操作、这里的数据操作其实就是算法 ，例如我们定义的图的数据结构，然后在这个基础上对图进行操作形成特定的算法，例如深度遍历和广度遍历；我们的数据结构其实是针对特定的数据问题而抽象和设计的，也就是说一种数据结构针对的是一类特定的问题。 数据模型也一样，只不过数据结构是针对特定问题的，而数据模型是针对特定业务的，然后多业务进行抽象，形成了行业特征，在银行业，IBM 有自己的 BDWM(Banking data warehouse model 数据仓库的设计始于数据模型，企业的数据模型适用于操作型环境，而修改后的模型适用于数仓，其实就是业务模型—> 概念模型—>逻辑模型—>物理模型的这一过程 版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人
91340编辑于 2022-11-15 - 来自专栏斑斓
MongoDB的数据建模
MongoDB是一种面向Document的NoSQL数据库，如果我们还是按照RDB的方式来思考MongoDB的数据建模，则不能有效地利用MongoDB的优势；然而，我们也不能因为Document的灵活性 适度的建模是非常有必要的，尤其对于相对复杂的关联关系。因为在MongoDB中，处理这种关联关系既可以使用Link，也可以使用Embedded。 这种建模方式还带来另一种可能，就是原本Person->Tasks的one-to-N关系就可以变为N-to-N关系，因为一个Task可以被多个Person所拥有。 如果采用Embedded方式，则会导致Task数据的冗余。 one-to-few one-to-many one-to-squillions 但我认为该怎么实现关联，应该从Entity之间的领域关系来判断，我们可以引入DDD的Aggregation设计概念作为建模的依据
1.3K60发布于 2018-03-07 - 来自专栏大数据与微服务架构
数据挖掘与建模
数据挖掘是基于统计学原理，利用机器学习中的算法工具实现价值信息的发现。机器学习是一种实现人工智能的方法，深度学习是实现机器学习的一种技术。 ? 非线性分类经典算法包括K近邻（KNN）、支持向量机（SVM）、决策树（D Tree）、朴素贝叶斯（NB） 2、回归分析：反映事务数据属性在时间上的特征，预测数据间的相关关系，与分类区别在于，分类是预测目标的离散变量 二、无监督学习（事先没有任何训练数据样本，需要直接对数据进行建模，即不提供经验和训练样本，完全靠自己摸索） 1、关联分析：描述数据库中数据之间存在关系的规则。 2、聚类分析：训练样本标签信息未知，通过学习揭示数据内在性质及规律。 典型算法：K均值算法（K-means）、DBSCAN（具有噪声的基于密度的聚类方法）。 三、沃尔玛经典营销案例：啤酒与尿布 ? 模型发现：20世纪90年代的美国沃尔玛超市中，管理人员分析销售数据时发现了一个令人难于理解的现象：在某些特定的情况下，“啤酒”与“尿布”两件看上去毫无关系的商品会经常出现在同一个购物篮中。
1.1K30发布于 2020-04-11 - 来自专栏全栈程序员必看
数据库建模
1）定义：在设计数据库时，对现实世界进行分析、抽象、并从中找出内在联系，进而确定数据库的结构，这一过程就称为数据库建模。 2）作用： 1. 模型能准确表达设计意图，更易于进行技术交流。 2. 3）数据库建模步骤： 1.需求分析阶段 2.概念结构设计阶段：CMD 概念结构设计是整个数据库设计的关键。 3.逻辑数据模型：LDM 需要考虑数据的存储结构，是关系的还是面向对象的。对数据进行符合数据库设计范式的规范，但不关心物理数据库。 所以在数据库开发当中，先进行概念建模，然后进行逻辑建模，再而才进行物理模型的建模。 3. 3NF（第三范式） 必须先满足第二范式（2NF）。在满足2NF情况下，消除表中的传递依赖。第三范式是为了消除数据库中字段之间的依赖关系。
97710编辑于 2022-07-23 - 来自专栏大数据解决方案
ETL和数据建模
一、什么是ETL ETL是数据抽取（Extract）、转换（Transform）、加载（Load ）的简写，它是将OLTP系统中的数据经过抽取，并将不同数据源的数据进行转换、整合，得出一致性的数据，然后加载到数据仓库中 二、数据仓库的架构 数据仓库（Data Warehouse \ DW）是基于OLTP系统的数据源，为了便于多维分析和 多角度展现将其数据按特定的模式进行存储而建立的关系型数据库，它不同于多维数据库，数据仓库中的数据是细节的 3、缓慢变化维度第三种类型：新增数据维度成员改变了属性。 业务系统数据纷繁复杂，要整合进数据模型。 源数据之间关系也纷繁复杂，源数据在加工进DW系统时，有些必须遵照一定的先后次序关系; 3. 增量数据文件：数据文件的内容为数据表的增量信息，包含表内新增及修改的记录。 全量数据文件：数据文件的内容为数据表的全量信息，包含表内的所有数据。
1.9K20发布于 2021-11-19
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号