ETL学习心得_百度文库
两大类热门资源免费畅读
续费一年阅读会员，立省24元！
ETL学习心得
&&ETL, 数据仓库
阅读已结束，下载文档到电脑
想免费下载本文？
定制HR最喜欢的简历
下载文档到电脑，方便使用
还剩11页未读，继续阅读
定制HR最喜欢的简历
你可能喜欢概述/质量数据
质量数据管理狭义的质量数据主要是产品质量相关的数据，如、、、等。广义的质量数据指能反映各项工作质量的数据，如质量成本损失、生产批量、库存积压、无效作业时间等。这些均将成为精益质量管理的研究改进对象。数据的分布规律在质量管理中对统计总体而言为正态分布，该分布规律是理论和实践证明的统计规律。质量数据统计分析重点就是在总体正态分布这个已知背景下研究该正态分布的平均值和标准差。质量数据定量化分析对企业质量管理以及经营管理具有重要意义，其是精益质量管理的基础。
在质量数据统计分析中，特别关注三项指标：一是数据的集中位置，二是数据的分散程度，三是数据的分布规律。数据的集中位置分别有平均值、中位数、众数三种表示方法，其各具优缺点。其中平均值最为普遍常用。数据的分散程度由标准差表达，用符号s（西格玛）表示，数据的分散程度在质量管理中就是质量特性值的波动性，反映过程能力。
特性/质量数据
1.波动性，即在相同的生产技术条件下生产出来的一批产品，其质量特性数据由于受到操作者、设备、材料、方法、环境等多种因素的影响而总存在着一定的差异；
2.规律性，即当生产过程处于正常状态时，其质量数据的波动是有一定规律的。
分类/质量数据
数据录入过程质量数据是指由个体产品质量特性值组成的样本(总体)的，在统计上称为；个体产品质量特性值称变量值。
根据质量数据的特点，可以将其分为和计数值数据。 1.计量值数据计量值数据是可以连续取值的数据，属于连续型变量。其特点是在任意两个数值之间都可以取精度较高一级的数值。它通 常由测量得到，如重量、强度、几何尺寸、标高、位移等。此外，一些属于定性的质量特性，可由专家主观评分、划分等级而 使之数量化，得到的数据也属于计量值数据。 2.计数值数据是只能按0，1，2，……数列取值计数的数据，属于离散型变量。它一般由计数得到。计数值数据又可分为计 件值数据和计点值数据。 (1)计件值数据，表示具有某一质量标准的产品个数。如总体中合格品数、一级品数。 (2)计点值数据，表示个体(单件产品、单位长度、单位面积、单位体积等)上的缺陷数、质量问题点数等。如检验钢结构构件涂料涂装质量时，构件表面的、、、等。
收集方法/质量数据
(一)全数检验全数检验是对总体中的全部个体逐一观察、测量、计数、登记，从而获得对总体质量水平评价结论的方法。 (二)随机抽样检验 抽样检验是按照随机抽样的原则，从总体中抽取部分个体组成样本，根据对样品进行检测的结果，推断总体质量水平的方法。 抽样检验抽取样品不受检验人员主观意愿的支配，每一个体被抽中的概率都相同，从而保证了样本在总体中的分布比较均匀，有充分的代表性;同时它还具有节省人力、物力、财力、时间和准确性高的优点;它又可用于破坏性检验和生产过程的，完成全数检测无法进行的检测项目，具有广泛的应用空间。抽样的具体方法有： 1.简单随机抽样简单随机抽样又称纯随机抽样、完全随机抽样，是对总体不进行任何加工，直接进行随机抽样，获取样本的方法。 2.分层抽样分层抽样又称分类或分组抽样，是将总体按与研究目的有关的某一特性分为若干组，然后在每组内随机抽取样品组成样本的方法。 3.等距抽样等距抽样又称机械抽样、系统抽样，是将个体按某一特性排队编号后均分为n组，这时每组有 K二N/n个个体，然后在第一组内随机抽取第一件样品，以后每隔一定距离(K号)抽选出其余样品组成样本的方法。如在流水作业线上每生产100件产品抽出一件产品做样品，直到抽出n件产品组成样本。 4.整群抽样整群抽样一般是将总体按自然存在的状态分为若干群，并从中抽取样品群组成样本，然后在中选群内进行全数检验的方法。如对原材料质量进行检测，可按原包装的箱、盒为群随机抽取，对中选箱、盒做全数检验;每隔一定时间抽出一批产品进行全数检验等。 由于随机性表现在群间，样品集中，分布不均匀，代表性差，产生的抽样误差也大，同时在有周期性变动时，也应注意避免系统偏差。 5.多阶段抽样多阶段抽样又称。上述抽样方法的共同特点是整个过程中只有一次随机抽样，因而统称为单阶段抽样。但是当总体很大时，很难一次抽样完成预定的目标。多阶段抽样是将各种单阶段抽样方法结合使用，通过多次随机抽样来实现的抽样方法。如检验钢材、水泥等质量时，可以对总体按不同批次分为R群，从中随机抽取 r群，而后在中选的r群中的M个个体中随机抽取m个个体，这就是整群抽样与分层抽样相结合的二阶段抽样，它的随机性表现在群间和群内有两次。&
数据一致性/质量数据
质量数据统计分析很多用户甚至一些数据仓库项目的开发人员经常将数据质量和数据仓库项目开发中的ETL过程的数据一致性混为一谈，错误的认为数据仓库项目（也即ETL过程）能够修复数据以提高数据质量，其实数据质量和ETL过程的数据一致性是两个不同的概念。ETL过程的数据一致性是指根据相同的业务理解（基于源和基于），在源系统查询和统计的信息与在数据仓库中得到的结果在各个细节层次（包括明细层次）上都是相同的。数据一致性是ETL过程必须保证的。质量是数据存在于企业的源系统中的，如常见的客户代码的不规范，同一个客户在不同的系统中（例如业务处理系统和财务系统）有不同的代码，甚至同一个客户在同一个系统中也有不同的代码，以保险公司的业务处理系统为例，同一个客户先后在同一个保险公司投保，不同的业务员可能会输入不同的客户代码；更常见的是那些没有实现大集中的分布式的应用，同一个客户（如工商银行）在不同的分公司（如河南分公司和湖北分公司）投保，业务员很可能会输入不同的代码；再如，在业务处理系统中，有些录入人员为了录入的方便，常常将一些内容不输或者采用默认值，造成一些重要录入信息的缺失或错误。这些数据质量问题对数据分析系统造成严重的干扰和破坏。数据仓库项目虽然不能够修复数据以提高数据质量，但能发现存在的部分问题从而提醒用户哪些数据是有质量问题的，给出用户一些改进的建议，同时在分析和决策时应降低对这些数据的依赖程度，也可以提供辅助的方法跟踪、监测数据质量问题。
万方数据期刊论文
计算机集成制造系统
万方数据学位论文
万方数据期刊论文
计算机集成制造系统
&|&相关影像
互动百科的词条（含所附图片）系由网友上传，如果涉嫌侵权，请与客服联系，我们将按照法律之相关规定及时进行处理。未经许可，禁止商业网站等复制、抓取本站内容；合理使用者，请注明来源于。
登录后使用互动百科的服务，将会得到个性化的提示和帮助，还有机会和专业认证智愿者沟通。
此词条还可添加&
编辑次数：17次
参与编辑人数：8位
最近更新时间： 11:18:33
申请可获得以下专属权利：
贡献光荣榜决策树习题_文库下载
1亿文档 免费下载
当前位置： &
& 决策树习题
决策树习题
决策树习题
[1]商务智能产生的原因是什么？ [2]怎么认识商务智能？
[3]商务智能对企业有什么价值？
[4]举例说明商务智能在保险、证券、银行、电信、制造、零售和物流等行业的应用。 [5]讨论商务智能与ERP、CRM和SCM等业务管理系统的关系。 [6]商务智能系统包括哪些部分？分别有什么功能？
[7]结合具体的商务智能项目，说明商务智能系统的组成。 [8]讨论数据集成对商务智能项目的重要性。
[9]阅读下面的案例，分析产生问题的原因并给出对策。 一位新上任的大型国企老总曾经表达过这样的困惑。当他向下属提出，希望查看近十年企业的生产和运营数据时，他手边得到了各种各样不同的数据报表。这些数据报表大致可以分成两种类型：一种是两年前，即ERP上线之前的，这是一些简单、杂乱而又枯燥的数据。另一种是有了ERP以后的，数据变得清楚而有条理，但仍然有来自ERP、CRM、SCM以及计费业务等不同应用的数据和各种分析报告。 在仔细查看这些报表之后，这位国企老总惊讶地发现，不同的系统可以得出截然相反的两种结论。例如某一产品，它的动态成本反映在ERP系统和CRM、SCM系统中相差很大，如果引用ERP和CRM里面的数据，它就是一款很成功、销量很好的产品，但在SCM中，它的采购和物流成本过高，导致了这款看起来很成功的产品实际上是一笔赔钱的买卖。 更让他难以理解的是，正是由于这些来自不同系统的数据不够准确或不一致，给企业的前任领导提交了相当多顾此失彼的分析报告，导致了许多市场决策上的混乱和失误。在花费了大量时间和精力之后，这位国企老总困惑了：究竟哪些数据才是真实的？为什么对同一件事不同的系统会得到截然不同的结果？ [10]讨论数据仓库与操作型数据库、数据集市的区别。
[11]如何认识数据仓库的几个特点？这些特点与企业管理决策有什么关系？ [12]什么是元数据？元数据有什么用处？
[13]讨论ETL的过程，其中数据质量对这个过程有什么影响？ [14]什么是操作数据存储（ODS）？为什么使用ODS？ [15]数据仓库有哪些模型？举例说明。
[16]举例说明数据挖掘查询语言（DMQL）的应用。
[17]以销售主题为例，给出数据仓库的概念模型和逻辑模型，并用DB2或Microsoft SQL Server2000 Analysis Services（以上版本）实现。 [18]什么是在线分析处理（OLAP）？OLAP有哪些特点？
[19]OLAP和OLTP有什么区别？怎么理解OLAP是假设驱动型的分析方法？ [20]OLAP有哪些操作？请结合实例，利用IBM DB2 OLAP Server或Microsoft SQL Server 2000 Analysis Services（以上版本）讨论。 [21]OLAP有哪几种类型？它们有什么区别？ [22]结合实例，讨论OLAP操作语言的应用。 [23]数据挖掘是怎么产生的？
[24]数据挖掘有哪些步骤？以电信运营商的顾客细分为例，分析每一步骤关键的问题。 [25]作为一种数据挖掘方法和展示工具，举例说明可视化技术的应用。 [26]举例说明数据挖掘在银行、保险、电信、零售或政府管理中的应用。
[27]数据预处理在数据挖掘过程中有什么用处？常见的预处理方法有哪些？请举例说明。 [28]聚类算法的实质是什么？常用的几种聚类算法各适用什么场合？请举例说明某种聚类
Word文档免费下载：（下载1-5页，共5页）
形法求出决策变量值: X1=20公顷 X2=5.333公顷 X3=8公顷 2 决策方案评价...决策树练习题计算题 17页 2下载券
决策树例题32131 30页 免费
决策树例题...管理学决策树习题及答案_管理学_高等教育_教育专区。注意答卷要求: 1.统一代号:P 为利润,C 为成本,Q 为收入,EP 为期望利润 2.画决策树时一定按照标准的决策...决策树练习题计算题_管理学_高等教育_教育专区。决策树练习题计算题 计算题 1.为生产甲产品 为生产甲产品, 一 1.为生产甲产品,小行星公司设计 了两个基本方案...决策树决策表练习题与参考答案_管理学_高等教育_教育专区。1.某厂对一部分职工重新分配工作,分配原则是: ⑴年龄不满 20 岁,文化程度是小学者脱产学习,文化程度...当项目需要做出某种决策、选择某种解决方案或者确定是否存在某种风险时,决策树 (...决策树习题 4页 1下载券 决策树例题12 暂无评价 12页 1下载券喜欢...形法求出决策变量值: X1=20公顷 X2=5.333公顷 X3=8公顷 2 决策方案评价...决策树例题 12页 免费
决策树例题 30页 2下载券
决策树练习题计算题 17页...决策树练习题-多级决策树_管理学_高等教育_教育专区。决策树计算题 ? 某工厂为生产一种新产品,制定三个基建方案。一是新建 某工厂为生产一种新产品,制定三个基...将损益期望值法中的各个方案的情况用一个概率树 来表示,就形成了决策树。它...决策树练习题计算题 17页 2下载券 决策树例题 30页 3下载券 决策树、网络计划...决策树例题_工学_高等教育_教育专区。风险型决策 ? 最大概率法、收益期望值法...决策树习题 4页 1下载券 管理学决策树习题及答案 4页 2下载券 流程图,决策...请运用决策树方法,分析采用哪种方案使 该工厂在回收基建投资后能获得最大的期望收益值。 不同状态下各方案的每年损益值/万元 状态及概率 损益值 方案 新建车间 ...推荐这篇日记的豆列
&&&&&&&&&&&&您的位置： &
数据ETL过程中的数据质量控制
优质期刊推荐}