检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
"509207.42419233-b3f5-42b3-a314-336132c23328@dlf_job.0833a5737480d53b2f25c010dc1a7b88-workspace -1b59d3c777ad4d619b89eeac4f3cce87
Oracle数据库连接参数说明 连接Oracle数据库时,连接参数如表1所示。 作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户,密码不会立即生效且作业会运行失败。 表1 Oracle数据库连接参数 参数名 说明 取值样例 名称 连接的名称,根据连接的数据源类型
创建MySQL连接器 MySQL连接适用于第三方云MySQL服务,以及用户在本地数据中心或ECS上自建的MySQL。本教程为您介绍如何创建MySQL连接器。 前提条件 已获取连接MySQL数据库的IP地址、端口、数据库名称、用户名、密码,且该用户拥有MySQL数据库的读写权限。 本地
MySQL同步到DMS Kafka 源端优化 MySQL抽取优化 可通过在作业任务配置参数单击中“添加自定义属性”来新增MySQL同步参数。 图1 添加自定义属性 可使用的调优参数具体如下: 表1 全量阶段优化参数 参数名 类型 默认值 说明 scan.incremental.snapshot.backfill.skip
MySQL同步到DWS 源端优化 MySQL抽取优化 可通过在作业任务配置参数单击中“添加自定义属性”来新增MySQL同步参数。 图1 添加自定义属性 可使用的调优参数具体如下: 表1 全量阶段优化参数 参数名 类型 默认值 说明 scan.incremental.snapshot.backfill.skip
MySQL同步到MRS Hudi 源端优化 MySQL抽取优化 可通过在作业任务配置参数单击中“添加自定义属性”来新增MySQL同步参数。 图1 添加自定义属性 可使用的调优参数具体如下: 表1 全量阶段优化参数 参数名 类型 默认值 说明 scan.incremental.snapshot.backfill.skip
(可选)购买DataArts Studio功能增量包 DataArts Studio采用基础包+增量包的计费模式。如果购买的基础包无法满足您的使用需求,您可以额外购买增量包。在购买增量包前,请确保您已购买DataArts Studio实例。 增量包大体可分为功能增量包与规格增量包,
biz_type=TABLE_MODEL 响应示例 状态码: 200 Success,返回data数据是PublishVersionVO数组,以及总数。
cluster_id String 集群id。 cluster_name String 集群名称。 create_time Long 队列加入此空间的时间。 create_user String 队列加入此的操作人。
图3 配置MRS Spark Python节点属性 参数设置说明: --master yarn --deploy-mode cluster obs://obs-tongji/python/wordcount.py obs://obs-tongji/python/in.txt obs
MRS Hive数据连接中的用户账号需要同时满足如下条件: 需要配置至少具备Cluster资源管理权限的角色(可直接配置为默认的Manager_operator角色)。 需要配置hive用户组。
type 是 String 资源类型,支持的资源类型如下: DWS_CONNECTION、DIS_STREAM、CDM_CLUSTER、MRS_CLUSTER、MRS_HIVE_CONNECTION、MRS_SPARK_CONNECTION、GES_GRAPH、ROMA_INSTANCE
#{(Job.getNodeStatus("DQM")) == "success" ? "true" : "false"} 图2 设置条件 关于EL表达式的语法,您可以查看EL表达式参考;关于IF条件的使用,您可以查看IF条件判断教程。 配置节点属性。
String 集群id cluster_name String 集群名称 datasource_type String 数据源类型 HIVE数据源 DWS数据源 DLI数据源 expire_time String 超时时间 permissions Array of permissions
SUCCEEDED:成功。 FAILED:失败。 NEW:未被执行。
发现敏感数据 完成了敏感数据识别规则组定义后,就可以根据定义的规则来创建敏感数据识别任务,发现敏感数据,并将敏感数据同步到数据地图组件。 敏感数据发现任务运行后,为使该识别规则在静态脱敏任务中生效,必须在“敏感数据分布>手工修正”页面对任务中的识别规则进行“确认”,使规则状态变更为
cluster_id=dc425074-26b3-479c-9e2f-b103c0cdd90f&datasource_type=HIVE&parent_permission_set_id=78dea561c983c1157b4ef8c8c746f35f { "cluster_id
表4 CdmClusterEnterpriseProject 参数 参数类型 描述 cluster_id String 集群ID。 sys_tags Array of sys_tags objects 企业项目列表。
cluster_id 是 String 集群ID,获取方法请参见查询单个数据连接信息 查询Hive和DWS数据源操作信息时该数值为必填项,当数据源为DLI时无需填写。
cluster_id 是 String 集群id。