检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
可能原因 当前用户未同步至DWS数据源,或者不具备DWS Database Access权限。 解决方案 您可以通过同步用户重新将当前登录用户同步到DWS数据源,然后为其授予DWS Database Access权限,再次进行联通性测试。 父主题: 数据安全
自动建表成功以后,单击确定作业即保存成功。 运行任务。 作业配置完毕后,单击作业开发页面左上角“启动”按钮,在弹出的启动配置对话框按照实际情况配置同步参数,单击“确定”启动作业。 图8 启动配置 表4 启动配置参数 链路 参数 说明 Apache Kafka - MRS Kafka 偏移量参数:支持选择最早、最新、起止时间。
1/{project_id}/clusters/{cluster_id}/cdm/job/{job_name}/status 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID,获取方法请参见项目ID和账号ID。 cluster_id 是 String 集群ID。
1/{project_id}/clusters/{cluster_id}/cdm/submissions 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID,获取方法请参见项目ID和账号ID。 cluster_id 是 String 集群ID。 表2
考配置作业调度任务(批处理作业)章节。 例如周期调度作业A,可设置其依赖作业为作业B,如图1所示进行配置。则仅当其依赖的作业B在某段时间内所有实例运行完成、且不存在失败实例时,才开始执行作业A。 依赖的作业B的“某段时间”,计算方法如下,详见后文设置依赖作业后的作业运行原理。 同
batchDeleteConsistencyTask 编辑对战作业 ConsistencyTask editConsistencyTask 启动调度对账作业 ConsistencyTask startScheduleConsistencyTask 停止对账作业 ConsistencyTask
同步”右侧的“同步”进行IAM用户同步。 当IAM用户的用户组的所属策略从MRS ReadOnlyAccess向MRS CommonOperations、MRS FullAccess、MRS Administrator变化时,由于集群节点的SSSD(System Security
"errorMessage":"Shell script job execute failed.", "failCount":0, "result":[ { "is_success":false, "exeTime":300.609 } ] } [2021/11/17 02:05:56 GMT+0800] [DEBUG]
如果选择界面没有待选择的模式或表空间,请确认对应连接里的账号是否有元数据查询的权限。 schema Where子句 该参数适用于整库迁移中的所有子表,配置子表抽取范围的Where子句,不配置时抽取整表。如果待迁移的表中没有Where子句的字段,则迁移失败。 该参数支持配置为时间宏变
可以进行批量发布。发布多个待发布项时,发布流程采用异步发布,可以看到发布任务的过程,最大的发布项个数为100。 单击发布后,系统会提示您“发布成功后,立即对发布包中的作业启动调度”。 对于暂时不发布的发布项,开发者、部署者和管理员可以进行撤销,支持批量撤销。 图1 选择发布 发布之后,您可以通过“发布包管理”查
迁移文件或对象时支持文件级增量迁移(通过配置跳过重复文件实现),但不支持断点续传。 例如要迁移3个文件,第2个文件迁移到一半时由于网络原因失败,再次启动迁移任务时,会跳过第1个文件,从第2个文件开始重新传,但不能从第2个文件失败的位置重新传。 文件迁移时,单个任务支持千万数量的文件,如果待
迁移文件或对象时支持文件级增量迁移(通过配置跳过重复文件实现),但不支持断点续传。 例如要迁移3个文件,第2个文件迁移到一半时由于网络原因失败,再次启动迁移任务时,会跳过第1个文件,从第2个文件开始重新传,但不能从第2个文件失败的位置重新传。 文件迁移时,单个任务支持千万数量的文件,如果待
Long 目录ID。 rule_name 否 String 质量作业名称。 schedule_status 否 Integer 调度状态,1表示未启动,2表示调度中,3表示正常结束,4表示手动停止,5表示调度异常。 schedule_period 否 Integer 调度周期,1表示分钟
e”。 toJobConfig.shouldClearTable 否 Boolean 导入前是否清空目标表的数据,如果设置为true,任务启动前会清除目标表中数据。 父主题: 目的端作业参数说明
clusterId,后续的Rest Client节点就可以用${clusterId}的方式引用到集群列表中的第一个集群的cluster Id。 响应消息体解析为参数传递定义时,传递的参数名(例如clusterId)在该作业的所有节点参数中需要保持唯一性,避免和其他参数同名。 图1 Rest Clien作业样例1 图2
clusterId,后续的Rest Client节点就可以用${clusterId}的方式引用到集群列表中的第一个集群的cluster Id。 响应消息体解析为参数传递定义时,传递的参数名(例如clusterId)在该作业的所有节点参数中需要保持唯一性,避免和其他参数同名。 图1 Rest Clien作业样例1 图2
用户名、密码和密钥对密码。 创建DIS以及对象存储类型连接的相关信息:包括用于创建DIS/对象存储类型数据连接所需的Access key、Secret Access Key。 数据存储安全 DataArts Studio通过加密算法对用户个人敏感数据加密后进行存储。对于用户敏感信
BizVersionManageVO object 业务版本管理,只读。 data_owner String 数据所有者。 data_owner_list String 数据所有者集合。 data_department String 数据域。 path String 路径信息。 level
系统默认的数据导出策略是“所有用户都可以”。 所有用户都可以:所有用户都能对SQL执行结果做“下载”或“转储”操作。 所有用户都不能:所有用户都不能对SQL执行结果做“下载”或“转储”操作。 仅工作空间管理员可以:只有工作空间管理员可以对SQL执行结果做“下载”或“转储”操作。 单击“保存”,对设置的配置项进行保存。
不满足其他条件时:表示传入“条件分支”的数据不满足其他所有分支的条件时,将执行该分支。 满足当前条件时:表示传入“条件分支”的数据满足指定的表达式时,将执行该分支。 不满足其他条件时:表示传入“条件分支”的数据不满足其他所有分支的条件时,将执行该分支。 表达式 当条件类型为“满足当前条件时”,需要根据表达式配置条件。