检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
填写数据库名称,该数据库已创建好,建议不要使用默认数据库。 表2 高级参数 参数 是否必选 说明 节点状态轮询时间(秒) 是 设置轮询时间(1~60秒),每隔x秒查询一次节点是否执行完成。 节点执行的最长时间 是 设置节点执行的超时时间,如果节点配置了重试,在超时时间内未执行完成,该节点将会再次重试。 失败重试
节点名称,可以包含中文、英文字母、数字、“_”、“-”、“/”、“<”、“>”等各类特殊字符,长度为1~128个字符。 CDM集群名称 是 选择CDM集群。如需查看集群列表,请单击下拉框右侧的。系统最多允许选择16个集群。 CDM作业消息体 是 输入CDM作业消息体,作业消息体内容为JSON格式。 消息体JSON内容获取方法如下:
解析您输入SQL语句中携带的参数。 表2 高级参数 参数 是否必选 说明 节点状态轮询时间(秒) 是 设置轮询时间(1~60秒),每隔x秒查询一次节点是否执行完成。 节点执行的最长时间 是 设置节点执行的超时时间,如果节点配置了重试,在超时时间内未执行完成,该节点将会再次重试。 失败重试
输出数据路径 否 选择输出数据存储的路径。 表2 高级参数 参数 是否必选 说明 节点状态轮询时间(秒) 是 设置轮询时间(1~60秒),每隔x秒查询一次节点是否执行完成。 节点执行的最长时间 是 设置节点执行的超时时间,如果节点配置了重试,在超时时间内未执行完成,该节点将会再次重试。 失败重试
选择数据库名称,该数据库已创建好,建议不要使用默认数据库。 表2 高级参数 参数 是否必选 说明 节点状态轮询时间(秒) 是 设置轮询时间(1~60秒),每隔x秒查询一次节点是否执行完成。 节点执行的最长时间 是 设置节点执行的超时时间,如果节点配置了重试,在超时时间内未执行完成,该节点将会再次重试。 失败重试
步骤2:数据准备 步骤3:数据集成 步骤4:元数据采集 步骤5:数据架构设计 步骤6:数据开发处理 步骤7:数据质量监控 步骤8:数据资产查看 步骤9:服务退订
删除敏感数据发现任务会删除对应任务的识别结果,请谨慎操作。 删除操作无法撤销,请谨慎操作。 查看运行实例日志:在敏感数据发现页面,找到需要查看实例的任务,单击展开,即可找到运行实例。随后单击“操作 > 查看日志”,查看运行实例日志。 运行失败可通过日志排查失败原因,问题修正后尝试重新运行。如果仍运行失败,请联系技术支持人员协助处理。
费用按“按需计费”计费,购买套餐包之后的费用按“套餐包”计费。 您可以在DataArts Studio实例卡片上,通过“更多 > 查看增量包”,查看已购买的增量包。 数据集成CDM集群可以在DataArts Studio控制台以增量包的形式购买,也可以在云数据迁移CDM服务控制台直接购买。二者差异体现在如下方面:
配置Data_Quality_Monitor节点属性 配置调度周期。 图3 配置调度周期 提交版本并执行调度。 在“作业监控”查看作业运行日志。 图4 查看运行日志 父主题: 数据开发进阶实践
以便后面查看,可通过该参数配置,写入脏数据前需要在CDM先配置好OBS连接。这里保持默认值“否”即可,不记录脏数据。 图8 任务配置 单击“保存并运行”,回到作业管理界面,在作业管理界面可查看作业执行进度和结果。 作业执行成功后,单击作业操作列的“历史记录”,可查看该作业的历史执行记录、读取和写入的统计数据。
审核通过后,完成发布。 查看发布历史 在数据指标控制台,单击左侧导航树的“指标开发”,然后选择“复合指标”页签,进入复合指标页面。 在复合指标列表中,找到需要查看的复合指标,单击“更多 > 发布历史”,将显示“发布历史”页面。 在“发布历史”中,您可以查看复合指标的发布历史和版本对比信息。
a Client节点上右键查看日志,可以发现MRS Hive SQL节点返回的二维数组[["2"]]已被清洗为2。 您可以将Kafka Client节点中的发送数据定义为#{Job.getNodeOutput("count95")},然后作业运行后查看Kafka Client节点日志,则可以验证MRS
项目ID可以参考如下步骤进行获取: 注册并登录管理控制台。 在用户名的下拉列表中单击“我的凭证”。 在“API凭证”页面,查看账号名和账号ID、IAM用户名和IAM用户ID,在项目列表中查看项目和项目ID。 图1 设置可见 通过“服务目录可见性”参数修改API可见范围 在DataArts Stu
rt&skip_exist=false 响应示例 状态码:200 Success,返回data数据是导入任务的uuid,可根据该uuid去查询导入结果。 { "data" : { "uuid" : "82f70d35-f61a-46dc-a245-0b86905e82d1"
String 目录ID编号。 表2 Query参数 参数 是否必选 参数类型 描述 limit 否 Integer 查询条数限制。 offset 否 Integer 查询起始坐标, 即跳过前X条数据。仅支持0或LIMIT的整数倍,不满足则向下取整。 请求参数 表3 请求Header参数
APIG:APIG类型网关 APIGW:APIGW类型网关 ROMA_APIC:ROMA类型网关 limit 否 Integer 查询条数限制。 offset 否 Integer 查询起始坐标, 即跳过前X条数据。仅支持0或LIMIT的整数倍,不满足则向下取整。 请求参数 表3 请求Header参数
枚举值: APIGW:APIGW类型网关 ROMA_APIC:ROMA类型网关 limit 否 Integer 查询条数限制。 offset 否 Integer 查询起始坐标, 即跳过前X条数据。仅支持0或LIMIT的整数倍,不满足则向下取整。 请求参数 表3 请求Header参数
控列表。选择完相关作业,单击“前往监控”在“作业监控”页面选择DIS Client节点时,单击页面下方的“查看相关作业”按钮可以查看相关作业。在“相关作业”页面,单击“查看”能跳转到对应的作业。 表2 高级参数 参数 是否必选 说明 节点执行的最长时间 是 设置节点执行的超时时间
D对应当前用户。用户可在对应页面下查看不同Region对应的项目ID、账号ID和用户ID。 注册并登录管理控制台。 在用户名的下拉列表中单击“我的凭证”。 在“API凭证”页面,查看账号名和账号ID、IAM用户名和IAM用户ID,在项目列表中查看项目和项目ID。 - 单次写入行数
时,可以在勾选策略后,在列表上方单击“删除”。 删除操作无法撤销,请谨慎操作。 查看策略详情:在hetu权限同步页面,找到需要查看的策略,单击对应任务操作栏中的“详情”,即可查看策略详情。 图3 查看策略详情 父主题: 数据权限访问控制