检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
作业是否为单任务作业。 请求示例 查询作业列表。 GET /v1/ff6b627b9d7b45b48f773be511c1a2b8/jobs 响应示例 成功响应 { "jobs": [ { "createTime": 1680783636000,
支持英文、汉字、数字、下划线, 2-64字符 resources 是 Array of ResourcePolicyItem objects 资源对象列表。资源对象包含 数据连接, 连接获取方法详见查询数据连接列表 members 是 Array of MemberPolicyItem objects
Studio控制台首页,选择对应工作空间的“数据安全”模块,进入数据安全页面。 单击左侧导航树中的“回收站”,进入回收站页面。 图1 进入回收站页面 在回收站页面,您可以通过切换页签,查看并还原已删除的权限集(包含空间权限集、权限集以及通用角色)、动态脱敏策略数据或密钥。 不同数据还原时的操作基本一致,后续步骤以还
支持英文、汉字、数字、下划线, 2-64字符 resources 是 Array of ResourcePolicyItem objects 资源对象列表。资源对象包含 数据连接, 连接获取方法详见查询数据连接列表 members 是 Array of MemberPolicyItem objects
Shell节点运行的输出结果不能大于30M,大于30M会报错。 主机连接 是 选择执行Shell脚本的主机。 须知: Shell或Python脚本可以在该ECS主机上运行的最大并发数由ECS主机的/etc/ssh/sshd_config文件中MaxSessions的配置值确定。请根据Shell或Python脚本
String 使用的作业参数,取值有original_version和current_version。 ignore_obs_monitor 否 Boolean 是否忽略obs监听,默认为true。 task_retrys 否 Array of task_retrys objects 作
响应Body参数 参数 参数类型 描述 data data object 删除的最终返回结果,返回成功删除的对象个数。 表5 data 参数 参数类型 描述 value Integer 成功删除的对象个数 状态码:400 表6 响应Body参数 参数 参数类型 描述 error_code String
工作空间的管理员可以配置当前工作空间的默认OBS转储路径。 选择“数据开发 > 下载中心”进入。 单击“配置OBS默认地址”进入“配置OBS默认路径”页面。 配置默认的OBS路径。 此处配置的OBS路径,是脚本开发或者单任务作业开发时测试运行结果的默认转储OBS路径。配置成功后,后续转储运行
使用配置文件 “数据格式”选择为“CDC场景”时配置,用于配置OBS文件。 否 OBS链接 选择OBS连接器信息。 obs_link OBS桶 选择OBS桶。 obs_test 配置文件 选择OBS的配置文件。 /obs/config.csv 最大消息数/poll 可选参数,每次向Kafka请求数据限制最大请求记录数。
周:每周一零点执行一次。 月:每月1号零点执行一次。 日 备份写入OBS连接 CDM通过该连接,将作业备份到OBS,需要用户提前在“连接管理”界面创建好OBS连接。 obslink OBS桶 存储备份文件的OBS桶。 cdm 备份数据目录 存储备份文件的目录。 /cdm-bk/ 恢复作业
创建资源名称为test的资源,资源类型为jar,资源文件所在OBS路径为obs://dlf-test/hadoop-mapreduce-examples-2.4.1.jar,资源主Jar包所依赖的JAR包、properties文件为obs://dlf-test/depend1.jar","obs://dlf-test/depend2
为jar,资源文件所在OBS路径为obs://dlf-test/hadoop-mapreduce-examples-2.4.1.jar,资源主Jar包所依赖的JAR包、properties文件为obs://dlf-test/depend1.jar","obs://dlf-test/depend2
tex_user_rds2hive”。 vertex_user_rds2obs(CDM Job节点):在节点属性中,选择创建数据集成作业中的CDM集群,并关联CDM作业“vertex_user_rds2obs”。 edge_friends_rds2hive(CDM Job节点):
单击子作业的打开图标,进入子作业的配置页面,配置规则信息。 基本信息:非必填项,保持默认即可。 来源对象: 规则类型:选择“表级规则”。 数据连接:选择在管理中心组件中创建的数据源连接。 数据对象:选择待统计的数据表。 其他参数保持默认即可。 规则模板: 模板名称:选择“表行数(DWS,
动态水印策略的唯一标识,DataArts Studio实例内的名称唯一。 为便于策略管理,建议名称中标明要添加水印的对象和水印内容。 *用户组/角色 指定当前工作空间成员中的用户、用户组或角色。当指定对象在数据开发组件中查询或导出敏感数据时,系统会对敏感数据添加动态水印,保护敏感数据不被泄露。 *数据源类型
新建数据库 数据连接创建完成后,您可以基于数据连接,通过可视化模式或SQL脚本方式新建数据库。 (推荐)可视化模式:您可以直接在DataArts Studio数据开发模块通过No Code方式,新建数据库。 SQL脚本方式:您也可以在DataArts Studio数据开发模块或对
移作业,也可以实现增量数据迁移。 这里以DWS导入到OBS为例,介绍DLF配合CDM实现增量迁移的流程: 获取CDM作业的JSON 修改JSON 创建DLF作业 获取CDM作业的JSON 进入CDM主界面,创建一个DWS到OBS的表/文件迁移作业。 在CDM“作业管理”界面的“表
character varying。 解决方案 这个问题,可以通过将目的端作业参数“扩大字符字段长度”选择“是”来解决,选择此选项后,再创建目的表时会自动将varchar类型的字段长度扩大3倍。 编辑CDM的表/文件迁移作业,目的端作业配置下“自动创表”选择“不存在时创建”,则高级属性下面
以回收对应空间下用户的数据权限。 在新版本模式下仅当使用企业版时(旧版本模式使用基础版及更高版本时即可支持),此处才支持进行“变更有效期”操作,详见变更有效期。 图10 回收权限 相关操作 编辑审批策略:在审批策略页面,单击对应策略操作栏中的“编辑”,即可修改审批策略各项参数。
系统自动填写队列所在的集群名称。 队列名称 无需填写, 系统自动填写当前的队列名称。 *策略名称 用于标识MRS Yarn队列权限策略,为便于策略管理,建议名称中包含授权对象。 策略描述 为更好地识别策略,此处加以描述信息。 策略状态 开启后当前策略生效。 审计日志 开启后可记录当前队列的操作日志,需要在数据源侧查看对应的审计日志。