检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
S Kafka、云搜索服务、分库、神通数据库(ST)。 连接的参数配置完成后单击“测试”,可测试连接是否可用。或者直接单击“保存”,保存时也会先检查连接是否可用。 受网络和数据源的影响,部分连接测试的时间可能需要30~60秒。 管理连接 CDM支持对已创建的连接进行以下操作: 删
通过数据质量对比数据迁移前后结果 数据对账对数据迁移流程中的数据一致性至关重要,数据对账的能力是检验数据迁移或数据加工前后是否一致的关键指标。 本章以DWS数据迁移到MRS Hive分区表为例,介绍如何通过DataArts Studio中的数据质量模块实现数据迁移前后的一致性校验。
在过滤框中选择“作业”,展示历史7天的作业运行记录。 单击某一条运行记录,可查看当时的作业信息和日志信息。 如果该作业当时只有部分节点执行测试,则运行历史只展示参与测试运行的节点信息和日志信息。 父主题: 数据开发
自然周期调度之上一周期依赖原理 自然周期调度的概念 自然周期调度作业的调度周期包括分钟、小时、天、周、月这五种周期,不同调度周期的作业,其允许配置的依赖作业调度周期总结如图1所示。 图1 上一周期作业依赖关系全景图 即作业A的调度依赖于作业B的上一调度周期,包含以下场景: 分钟依赖分钟
查看数据质量报告 您可以查询业务指标、数据质量中数据对象的质量评分,来判断各个对象是否质量达标。 质量报告的数据保留最近90天的结果。 查看质量报告包含技术报告和业务报告。 技术报告的统计范围是依据质量作业的运行结果,包含数据连接、数据库、表名、评分等信息。 业务报告的统计范围是
DWS/Hive/HBase数据连接无法获取数据库或表的信息怎么办? 为什么在创建数据连接的界面上MRS Hive/HBase集群不显示? DWS数据连接开启SSL时测试连接失败怎么办? 一个空间可以创建同一数据源的多个连接吗? 连接方式应该选择API连接还是代理连接? 如何将一个空间的数据开发作业和数据连接迁移到另一空间?
Studio数据连接进行配置。 检测网络连通性,测试通过进行下一步源端配置。 数据连接和资源组配置完成后需要测试整个迁移任务的网络连通性。可通过以下方式进行数据源和资源组之间的连通性测试。 单击源端和目的端数据源和资源组中的“测试”进行检测。 单击展开“源端配置”会触发连通性测试,会对整个迁移任务的连通性做校验。
IPv4地址、IPv6地址等)等敏感信息进行识别和脱敏。内置的敏感数据识别规则可在“内置规则模板”页签查看。 选择内置规则后,可输入测试数据,测试能否通过内置规则识别。 *规则名称 规则类型选择“内置”,规则名称自动关联分类模板生成。 自定义 *规则名称 规则类型选择“自定义”,
况,这时需要将源端或目的端放在STANDALONE进程里,防止冲突导致迁移失败。 EMBEDDED 检查Hive JDBC连通性 是否需要测试Hive JDBC连通。 否 是否使用集群配置 您可以通过使用集群配置,简化Hadoop连接参数配置。 否 集群配置名 仅当“是否使用集群
支持管理DWS、DLI、MRS Hive等多种数据仓库。 支持可视化和DDL方式管理数据库表。 脚本开发 提供在线脚本编辑器,支持多人协作进行SQL、Shell、Python脚本在线代码开发和调测。 支持使用变量。 作业开发 提供图形化设计器,支持拖拽式工作流开发,快速构建数据处理业务流水线。
在数据开发控制台,单击左侧导航栏中的作业开发按钮,进入作业开发页面后,打开已完成血缘配置的作业。 在数据开发中,当作业进行“执行调度”时,系统开始解析血缘关系。 测试运行不会解析血缘。 图1 作业调度 待调度作业成功运行完成后,等待约1分钟左右,数据血缘关系即可生成成功。 查看数据血缘关系 在DataArts
current[0]}和#{Loop.current[1]}。 图9 配置For Each节点参数 配置完成后保存作业。 测试运行主作业 单击主作业EL_test_master画布上方的“测试运行”按钮,测试作业运行情况。主作业运行后,会通过For Each节点循环调用运行子作业EL_test_slave。
current[0]}和#{Loop.current[1]}。 图9 配置For Each节点参数 配置完成后保存作业。 测试运行主作业 单击主作业EL_test_master画布上方的“测试运行”按钮,测试作业运行情况。主作业运行后,会通过For Each节点循环调用运行子作业EL_test_slave。
Hive等多种数据仓库。 支持可视化和DDL方式管理数据库表。 数据管理 脚本开发 脚本开发功能提供如下能力: 提供在线脚本编辑器,支持多人协作进行SQL、Shell等脚本在线代码开发和调测。 支持使用变量和函数。 支持脚本的版本管理能力。 脚本开发 作业开发 作业开发功能提供如下能力:
CDM集群与其他云服务的网络互通,只有企业项目一致的云服务才能打通网络。 操作场景 DataArts Studio实例中已经包含一个仅用于测试、试用等非正式业务场景的CDM集群(试用版除外)。 如果该集群已经满足您的使用需求,则无需再购买批量数据迁移增量包。 如果您需要CDM集群
指标数据的刷新的最小频率。 统计口径&修饰词 除统计周期和维度外,该指标常用的统计口径&修饰词,限制指标数据的范围。 指标应用场景 描述该指标重要的应用场景,包括在线报表、例行报告、汇报材料等。 备注 在指标描述之外还需要补充的信息,有助于正确理解和使用该指标。 度量对象 衡量该指标的度量字段,如果不涉及可以不填写。
Redis 请参见Redis数据连接参数说明。 SAP HANA 请参见SAP HANA数据连接参数说明。 单击“测试”,测试数据连接的连通性。如果无法连通,数据连接将无法创建。 测试通过后,单击“保存”,完成数据连接的创建。 相关操作 编辑数据连接:在数据连接页面的连接列表中,找到所需编
obs://dlf-test/lkj_test/output.txt为输出参数文件的路径(如已存在output.txt文件,会报错)。 单击“测试运行”,执行该MRS Flink作业。 待测试完成,执行“提交”。 在“作业监控”界面,查看作业执行结果。 查看OBS桶中返回的记录(没设置返回可跳过)。 父主题:
业务ID参数获取说明 方法 说明 $job_id 数据开发作业id。获取该ID请参考查询作业详情。 $instance_id 作业实例id(单节点作业测试运行不生成实例id,不支持)。获取该ID请参考查询作业实例列表。 父主题: 数据开发
用户流量限制(次/min) 查询数据连接列表 查询数据连接列表。 12000 60 创建数据连接 创建数据连接。 6000 40 测试创建数据连接 测试创建数据连接。 3000 20 查询单个数据连接信息 查询单个数据连接信息。 12000 60 更新数据连接信息 更新数据连接信息。