检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"] projectId = "{project_id}"
编排API 编排API简介 配置入口API算子 配置条件分支算子 配置并行处理算子 配置输出处理算子 API编排典型配置 父主题: 开发数据服务API
Redis到DCS的迁移,可以通过其他方式进行,请参见自建Redis迁移至DCS。 Redis MongoDB 消息系统 数据接入服务(DIS) 公测中:云搜索服务(CSS) 消息系统不支持作为目的端。 Apache Kafka DMS Kafka MRS Kafka 数据仓库:数据仓库服务(DWS),数据湖探索(DLI)
Each循环执行的节点,让CDM子作业循环执行,并配置节点属性参数。 配置MRS Spark SQL节点的属性参数,并关联已创建的脚本maxtime。 图3 配置MRS Spark SQL节点属性参数 配置For Each节点的属性参数,并关联已创建的CDM子作业。 图4 配置For Each节点参数
服务资源访问控制 配置队列权限 配置空间资源权限策略 配置目录权限(高级特性) 配置下载权限(高级特性) 父主题: 统一权限治理
作业委托 当“作业调度身份是否可配置”设置为“是”,该参数可见。 配置委托后,作业执行过程中,以委托的身份与其他服务交互。 作业优先级 自动匹配创建作业时配置的作业优先级,此处支持修改。 实例超时时间 配置作业实例的超时时间,设置为0或不配置时,该配置项不生效。如果您为作业设置了异
在弹出的创建策略窗口中,输入策略名称和描述,在扫描规则处选配置识别规则以及对应的脱敏算法。 您还可以打开高级设置,配置工作空间白名单、用户/用户组白名单、降级策略、规则扫描采样条数置信度等配置,如无特殊需求保持默认即可。 图2 配置展示层脱敏策略 策略配置完成后,单击确定,完成展示层脱敏的配置。 在数据开发组件页面,选择“配置管理
单任务作业支持SQL编辑器风格配置。单击“风格配置”,可以对编辑器、操作栏、注释模板进行配置、以及查询SQL脚本编辑器可使用的快捷键。 单任务SQL查询结果展示支持表格和列表两种展示方式。单击“风格配置”,在“编辑器配置”里面可以对SQL查询结果展示进行配置。 支持通过“责任人”和“
数据权限访问控制 配置空间权限集 配置权限集 配置角色 管理成员 配置行级访问控制 同步MRS Hive和Hetu权限 申请与审批权限(部分高级特性) 管理权限有效期(高级特性) 配置建库申请(高级特性) 启用细粒度认证 启用账号映射(高级特性) 配置未来表权限(高级特性) 父主题:
数据集成(离线作业) 离线作业概述 支持的数据源 新建离线处理集成作业 配置离线处理集成作业 配置作业源端参数 配置作业目的端参数 字段转换器配置指导 新增字段操作指导
100 <=40000 200 <=80000 300 > 80000 400 图1 配置节点并发数 单击“保存”,完成配置。 查看历史节点并发数 在数据开发主界面的左侧导航栏,选择“配置管理 > 配置”。 选择“节点并发数”。 在历史节点并发数界面,选择历史时间段。 单击“确定”。
and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"] projectId = "{project_id}"
Spark作业算子,配置算子相关参数,配置指导请参见MRS Spark。 配置调度周期。调度周期设置为天。 图3 配置调度周期(天) 配置天任务依赖分钟任务的依赖关系。 勾选上“最近”后,天任务作业只会依赖距离其定时运行时间最近的一个分钟任务作业实例。 图4 配置依赖属性 作业配置完成后,保存并提交版本。
and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"] projectId = "{project_id}"
进入CDM主界面,单击左侧导航上的“集群管理”,选择集群后的“作业管理”。 选择“整库迁移 > 新建作业”,进入作业参数配置界面。 图1 创建整库迁移作业 配置源端作业参数,根据待迁移的数据库类型配置对应参数,如表1所示。 表1 源端作业参数 源端数据库类型 源端参数 参数说明 取值样例 DWS MySQL
拟私有云、同子网、同安全组的不同实例默认网络互通;如果同虚拟私有云但是子网或安全组不同,还需配置路由规则及安全组规则,配置路由规则请参见如何配置路由规则章节,配置安全组规则请参见如何配置安全组规则章节。 此外,您还必须确保DWS集群与DataArts Studio工作空间所属的企
滤,但并非索引列,或列值不离散,查询会全表扫描,导致JDBC连接超时。 图1 非索引列 解决方案 优先联系DBA修改表结构,将需要过滤的列配置为索引列,然后重试。 如果由于数据不离散,导致还是失败请参考2~4,通过增大JDBC超时时间解决。 根据作业找到对应的MySQL连接名称,查找连接信息。
用户组列表,用户组名称逗号分隔(非必填项,但用户、用户组必须二选其一进行配置)。例如:"userGroup1,userGroup2"。 users 否 String 用户列表,用户名称逗号分隔(非必填项,但用户、用户组必须二选其一进行配置),例如:"user1,user2"。 conn_name
用户组列表,用户组名称逗号分隔(非必填项,但用户、用户组必须二选其一进行配置)。例如:"userGroup1,userGroup2"。 users 否 String 用户列表,用户名称逗号分隔(非必填项,但用户、用户组必须二选其一进行配置),例如:"user1,user2"。 conn_name
resources 否 Array of longs 资源ID数组。 export_mode 否 String 导出模式,null表示导出到本地文件系统,obs表示导出至obs,仅限于导出质量报告使用。 obs_service_type 否 String 业务类型,technology表示