检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
SDK概述 DataArts Studio服务软件开发工具包（DataArts Studio SDK，DataArts Studio Service Software Development Kit），目前提供了REST API SDK包和数据服务SDK包两种开发包，功能和差异如
"总行数", "空值率", "告警状态" ], "rows" : [ [ "postgres.public.test.name", "数据表空值扫描", "0.0", "5", "0", "0", "1.0", "false" ] ] } 状态码 状态码 描述 200 Success 400
"1047298515736334336", "scoring_weight" : 5, "rule_type_name" : "数据表空值扫描", "dimension_name" : "完整性", "sub_rule_instance_id" : "1047298617787944960"
其他参数保持默认即可。 规则模板： 模板名称：选择“表行数（DWS，HIVE，SparkSQL，ORACLE）”。 其他参数保持默认即可。 计算范围：选择“全表扫描”。 告警条件：非必填，保持默认即可。 图3 子作业规则配置 单击“下一步”，进入“告警配置”页面。 告警条件选择“子规则告警条件”，表达
场景下，可以通过建立Hive分区方法减少每一次扫描的总数据量，这种做法可以显著地改善性能。 Hive的分区使用HDFS的子目录功能实现，每一个子目录包含了分区对应的列名和每一列的值。当分区很多时，会有很多HDFS子目录，如果不依赖工具，将外部数据加载到Hive表各分区不是一件容易
发布等阶段）指导用户使用DataArts Studio开展数据治理工作；功能落地是指DataArts Studio平台提供自动化、智能化的工具帮助用户高效完成数据治理工作。 数据治理方法论还有完全版本，详细描述了流程落地和功能落地内容。欢迎您通过《华为数据之道》图书进行深入了解，或进行服务咨询。
步骤7：数据质量监控 数据质量监控DQC（Data Quality Control）模块是对数据库里的数据质量进行质量管理的工具。您可从完整性、有效性、及时性、一致性、准确性、唯一性六个维度进行单列、跨列、跨行和跨表的分析。 在DataArts Studio数据质量模块中，可以对业务指标和数据质量进行监控。
点。数据开发模块EL表达式使用简单的算术和逻辑计算，引用内嵌对象，包括作业对象和一些工具类对象。 作业对象：提供了获取作业中上一个节点的输出消息、作业调度计划时间、作业执行时间等属性和方法。 工具类对象：提供了一系列字符串、时间、JSON操作方法，例如从一个字符串中截取一个子字符串、时间格式化等。
en进行安全认证。 API工具调用：需要调用IAM服务的获取用户Token接口获取Token，再使用API工具调用。 通过API工具调用IAM认证方式的API API工具调用场景可使用IAM认证方式。 无认证 低 无需授权，所有用户均可访问。 API工具调用：直接调用，无需认证信息。
通过不同方式调用API 调用API方式简介 （推荐）通过SDK调用APP认证方式的API 通过API工具调用APP认证方式的API 通过API工具调用IAM认证方式的API 通过API工具调用无认证方式的API 通过浏览器调用无认证方式的API 父主题： 调用数据服务API
数据价值。 数据湖的本质，是由“数据存储架构+数据处理工具”组成的解决方案。 数据存储架构：要有足够的扩展性和可靠性，可以存储海量的任意类型的数据，包括结构化、半结构化和非结构化数据。 数据处理工具，则分为两大类： 第一类工具，聚焦如何把数据“搬到”湖里。包括定义数据源、制定数据同步策略、移动数据、编制数据目录等。
缺乏面向普通业务人员的高效、准确的数据搜索工具，数据找不到。 缺乏技术元数据与业务元数据的关联，数据读不懂。 缺乏数据的质量管控和评估手段，数据不可信。 数据运营的挑战 数据运营效率低，业务环境的快速变化带来大量多样化的数据分析报表需求，因为缺乏高效的数据运营工具平台，数据开发周期长、效率低，不能满足业务运营决策人员的诉求。
当前，数据架构有完善的指标设计和管理能力，建议您后续使用数据架构的业务指标功能，数据质量的业务指标监控模块即将下线。 业务指标监控模块是对业务指标进行质量管理的工具。 为了进行业务指标监控，您可以先自定义SQL指标，然后通过指标的逻辑表达式定义规则，最后新建并调度运行业务场景。通过业务场景的运行结果，
数据质量监控简介 数据质量监控DQC（Data Quality Control）模块是对数据库里的数据质量进行质量管理的工具。您可从完整性、有效性、及时性、一致性、准确性、唯一性六个维度进行单列、跨列、跨行、跨源和跨表的分析。数据质量支持对离线数据的监控，当离线数据发生变化时，数
数据API调用；当使用其他认证方式时，可以通过API调用工具或浏览器调用。 APP认证：将APP认证方式的API授权给应用后，使用应用的密钥对（AppKey和AppSecret）进行安全认证，支持通过SDK或API调用工具调用，安全级别高，推荐使用。 IAM认证：将IAM认证方式
比较多的场景。 列模式：表的数据将以列式存储，适用于统计分析类查询（group、join多的场景），或者即席查询（查询条件不确定，行模式表扫描难以使用索引）的场景。 行模式 导入模式 导入数据到DWS时，用户可以指定导入模式： COPY模式，源数据经过管理节点后，复制到DWS的DataNode节点。
度量评估： 表1 度量评估 度量评估工具 度量评估对象 度量评估方法 度量评估频次 数据治理成熟度评估 企业整体 调查问卷 年度 数据治理评分卡 各业务及IT部门 数据治理工作组与各业务及IT部门共同打分 季度 两个层面的数据治理度量评估工具 通过年度的整体数据治理成熟度评估，了
Translation）或端口转发，以代理的方式访问。 这里重点介绍如何通过端口转发工具来实现访问内部数据，流程如下： 找一台windows机器作为网关，该机器必须可以直接访问Internet，同时可以访问内网。 在该机器上安装端口映射工具（IPOP）。 通过端口映射工具（IPOP）配置端口映射。 长时间将内网数据库
所选数据连接类型中已创建数据连接，支持从下拉列表中选择。 若未创建请参考创建DataArts Studio数据连接新建连接。 *数据库 呈现待扫描的数据库。单击数据库后的“设置”，设置待扫描的数据库范围。单击“清除”，可对已选择的数据库进行修改。 *数据表 对于DLI和DWS类型的敏感数据发现任务，您需要
CDM的作业数据量太多，会造成数据库压力，建议定时清理不需要的作业。 短时间内下发大量作业，可能会导致集群资源耗尽异常等，您调用API时需要注意。 CDM是批量离线迁移工具，不建议客户创建大量小作业场景。 其他组件API更详细的限制请参见具体API的说明。 父主题： 使用前必读
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
