检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
{jobName}&tags={tags} 参数说明 参数名 是否必选 参数类型 说明 project_id 是 String 项目编号，获取方法请参见项目ID和账号ID。 jobType 否 String 作业类型： REAL_TIME：实时处理 BATCH：批处理 默认值：BATCH
终端节点Endpoint 获取终端节点 终端节点（Endpoint）即调用API的请求地址，不同服务不同区域的终端节点不同。 数据治理中心的终端节点Endpoint构造规则如下，请您根据业务需要选择对应区域的终端节点。 CDM数据集成接口：cdm.{region_id}.myhuaweicloud
DMS Kafka连接 介绍 通过DMS Kafka连接，可以连接DMS Kafka普通队列或者专享版Kafka。目前仅支持从DMS Kafka导出数据到云搜索服务。 连接样例 { "links": [ { "link-config-values": {
equals(StringUtil.split(Job.eventData,',')[1],'21')} 该IF判断条件表示，仅当从DIS通道获取的消息逗号后的部分为“21”时，即每月21日时，才执行后续的作业节点。 如果您需要匹配多条消息记录，可以添加多个Dummy节点并分别添加到
Key）。 说明： 每个用户仅允许新增两个访问密钥。 为保证访问密钥的安全，访问密钥仅在初次生成时自动下载，后续不可再次通过管理控制台界面获取。请在生成后妥善保管。 密钥(SK) 是 KMS密钥 是 通过KMS加解密数据源认证信息，选择KMS中的任一默认密钥或自定义密钥即可。 说明：
DMS Kafka数据连接参数说明 表1 DMS Kafka数据连接 参数 是否必选 说明 数据连接类型 是 DMS Kafka连接固定选择为DMS Kafka。 数据连接名称 是 数据连接的名称，只能包含字母、数字、下划线和中划线，且长度不超过100个字符。 标签 否 标识数据连接的属性。设置标签后，便于统一管理。
Studio数据开发的作业日志默认存储在以“dlf-log-{projectId}”命名的OBS桶中。{projectId}即项目ID，您可以参考获取项目ID和账号ID进行获取。 DLI脏数据OBS路径 用于指定DataArts Studio数据开发中DLI SQL执行过程中的脏数据存储的OBS桶。工作空间成员如需使用DataArts
通过DataArts Studio调度大数据服务时需要注意什么？ 环境变量、作业参数、脚本参数有什么区别和联系？ 打不开作业日志，返回404报错？ 配置委托时获取委托列表失败如何处理？ 数据开发创建数据连接，为什么选不到指定的周边资源？ 配置了SMN通知，却收不到作业失败告警通知？ 作业配置了周期调度，但是实例监控没有作业运行调度记录？
据智能搜索和运营监控。 数据服务 数据服务定位于标准化的数据服务平台，提供一站式数据服务开发、测试部署能力，实现数据服务敏捷响应，降低数据获取难度，提升数据消费体验和效率，最终实现数据资产的变现。 数据安全 数据安全为数据治理中心提供数据生命周期内统一的数据使用保护能力。通过访问
文件位置：支持从本地导入和从OBS导入两种方式。 选择文件：本地导入的文件选择本地路径；OBS导入的文件选择OBS桶路径。 建议通过导出标签功能获取导入文件，导入文件的第一行为标签名，第一列为作业名。某作业具有某一标签，记录为1，否则记录为0。如果某单元格为空，导入时系统会按0标记。 导入的文件大小最大支持10Mb。
ciseQuery} 参数说明 表1 URI参数说明 参数名 是否必选 参数类型 说明 project_id 是 String 项目编号，获取方法请参见项目ID和账号ID。 jobName 否 String 作业名称。 如果要查询指定批处理作业的实例列表，jobName就是批处理作业名称；
/v2/{project_id}/factory/supplement-data 参数说明 参数名 是否必选 参数类型 说明 project_id 是 String 项目编号，获取方法请参见项目ID和账号ID。 请求参数 表1 请求Header参数 参数名 是否必选 参数类型 说明 workspace 否 String
如果您需要查看CDM相关的监控指标，请参见查看CDM监控指标。 如果您需要在监控数据满足指定条件时发送报警通知，可参见设置CDM告警规则。 前提条件 使用CDM监控功能，需获取CES相关权限。 命名空间 SYS.CDM 监控指标 CDM集群支持的监控指标如表1所示。 表1 CDM支持的监控指标 指标ID 指标名称
}&end_date={end_date} 参数说明 参数名 是否必选 参数类型 说明 project_id 是 String 项目编号，获取方法请参见项目ID和账号ID。 name 否 String 补数据名称 user_name 否 String 用户名 status 否 String
南》的SQL跨源连接。 DLI导入数据到CloudTable时，CloudTable的表需要提前创建好。 SQL模板 否 单击“配置”按钮获取SQL模板。 表2 高级参数 参数 是否必选 说明 节点执行的最长时间 是 设置节点执行的超时时间，如果节点配置了重试，在超时时间内未执行完成，该节点将会再次重试。
OBS路径中，导出记录保留3个月。 数据目录 单工作空间中元数据采集任务最多创建100个。 元数据采集任务通过执行引擎相关的DDL SQL获取，不建议单个任务采集超过1000张表。如有需要可拆分为多个采集任务，另外调度时间和频次也需要根据业务需要进行合理设置，避免对引擎造成较大的访问和连接压力，设置建议如下：
如何查看表行数和库大小 在数据治理流程中，我们常常需要统计数据表行数或数据库的大小。其中，数据表的行数可以通过SQL命令或数据质量作业获取；数据库大小可以直接在数据目录组件中查看，详情可参考本实践。 通过数据质量对比数据迁移前后结果 数据对账对数据迁移流程中的数据一致性至关重
SQL语句时，把SQL语句放在请求的消息体中，将脚本内容返回给MRS。 单击“保存”，对设置的配置项进行保存。 Hive SQL和Spark SQL脚本、Pipeline作业以及单任务作业支持Hive SQL及Spark SQL执行方式的配置。 补数据优先级设置 设置补数据作业的优先级。当系统资源
API不存在。 20200630版本前发布的API： 请确认调用时参数x-api-id的值，是否正确（该值为所访问API的ID，请向此API的提供者获取） 20200630版本后发布的API： 确认请求的url和实际url是否相同。 若为专享版刚发布的API，请稍作等待，API下发至集群存在短暂的延时。
关权限，所需权限如表1所示。 表1 待授予权限合集 权限名称 配置目的 是否必选 授权项/系统权限（二者选其一配置即可） IAM权限 系统获取用户或用户组、创建角色时，需要该权限。 例如用户同步时，如果无此权限会导致操作失败。 MRS/DWS/DLI权限管理时必选 iam:users:listUsers
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
