检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
单击左侧导航树中的“空间资源权限”,进入空间资源权限页面。 图1 进入空间资源权限页面 单击空间资源权限页面的“新建” ,在弹出的策略配置页参考表1配置相关参数,配置完成单击“保存”,策略配置完成。 表1 配置空间资源权限策略参数说明 参数名 参数描述 *策略名称 标识空间资源权限策略,为便于策略管理,建议名称中包含资源对象和授权对象。
一致时,需配置路由规则及安全组规则以打通网络。配置路由规则请参见如何配置路由规则章节,配置安全组规则请参见如何配置安全组规则章节。 当CDM集群与其他云服务所在的区域一致、但VPC不一致时,可以通过对等连接打通网络。配置对等连接请参见如何配置对等连接章节。 注:如果配置了VPC对
的“数据开发”模块,进入数据开发页面。 在数据开发主界面的左侧导航栏,选择“配置管理 > 配置”。 选择“OBS桶”。 配置OBS桶的信息。 图1 配置OBS桶 单击“保存”,完成配置。 父主题: 配置
Where子句 “使用SQL语句”选择“否”时,显示该参数,表示配置抽取范围的Where子句,不配置时抽取整表。 该参数支持配置为时间宏变量,实现抽取指定日期的数据,详细说明请参见关系数据库增量迁移。 说明: 如果配置了时间宏变量,通过DataArts Studio数据开发调度CD
支持单次调度、周期调度和事件驱动调度,周期调度支持分钟、小时、天、周、月多种调度周期。调度周期配置为小时,系统支持按间隔小时和离散小时配置调度周期。 运维监控 支持对作业进行运行、暂停、恢复、终止等多种操作。 支持查看作业和其内各任务节点的运行详情。 支持配置多种方式报警,作业和任务发生错误时可及时通知相关人,保证业务正常运行。
配置Redis源端参数 第三方云的Redis服务无法支持作为源端。如果是用户在本地数据中心或ECS上自行搭建的Redis支持作为源端或目的端。 作业中源连接为从本地Redis导出的数据时,源端作业参数如表1所示。 表1 Redis作为源端时的作业参数 参数类型 参数名 说明 取值样例
的连接名。 mysql_link 数据库服务器 配置为要连接的数据库的IP地址或域名。 单击输入框后的“选择”,可获取用户的MySQL数据库实例列表。 192.168.0.1 端口 配置为要连接的数据库的端口。 3306 数据库名称 配置为要连接的数据库名称。 dbname 用户名
权限创建表/写入数据/删除表:read权限 配置权限后,在权限视角下支持您对所配置的权限进行编辑、同步或删除等操作。 图7 权限视角权限配置 用户配置:在权限集详情页面,单击“用户配置”进入用户配置页签。 用户配置的含义即为将权限配置中定义的数据权限,与此处的用户绑定起来。您可以
如果作业运行正常,单击“调度配置”,配置作业的调度策略。 图10 调度配置 说明: 2022/02/09至2022/02/28,每天1点00分执行一次作业。 依赖属性:可以配置为依赖其他作业运行,本例不涉及,无需配置。 跨周期依赖:可以选择配置为依赖上一周期或者不依赖,此处配置为不依赖即可。
接名。 dws_link 数据库服务器 配置为要连接的数据库的IP地址或域名。 单击输入框后的“选择”,可获取用户的实例列表。 192.168.0.1 端口 配置为要连接的数据库的端口。 不同的数据库端口不同,请根据具体情况配置。 数据库名称 配置为要连接的数据库名称。 dbname
配置API调用流控策略 操作场景 DataArts Studio数据服务的API流量控制基于指定规则对API的访问流量进行调节控制的限流策略,能够提供多种维度的后端服务保护功能。当前API流控支持通过用户、应用和时间段等不同维度限制API的调用次数。 为了提供持续稳定的服务,您需
配置调度日历 作业调度支持按照日历配置自定义工作日期进行周期调度。 调度日历配置完成后,在作业开发界面,在“调度配置”页签,选择周期调度,选择调度日历,即可按照调度日历所定义的工作日期进行调度。如果作业不在日历范围内是空跑,在日历范围内是正常执行。 使用调度日历功能后,在作业正常
单击作业目录中的,选择“显示复选框”。 图1 显示作业复选框 勾选需要批量配置的作业,单击 > 作业配置。 图2 作业配置菜单 配置作业的通用项。 图3 通用配置 表1 通用配置 参数 说明 节点状态轮询时间 设置所选作业的所有节点轮询时间(1~60秒),每隔x秒查询一次节点是否执行完成。
Kafka实例的连接信息中启用的安全协议为“SASL_SSL”时需要开启。 开启Kafka SASL_SSL,则数据加密传输,安全性更高,但性能会下降。 说明: 启用SSL认证后,Kafka会将Kafka Broker连接地址视做域名不断进行解析,导致性能消耗。建议修改CDM集群对应的ECS主机(通
配置输出处理算子 输出处理算子负责对API工作流的执行结果进行错误码映射、结果集映射和格式转换,以确定最终返回的数据格式。 表1 输出处理算子 参数 是否必选 说明 错误码映射 否 针对数据服务返回的错误码,支持映射为自定义信息。 例如,将“DLM.0”错误码映射为“OK”。 结果集映射
400 图1 配置节点并发数 单击“保存”,完成配置。 查看历史节点并发数 在数据开发主界面的左侧导航栏,选择“配置管理 > 配置”。 选择“节点并发数”。 在历史节点并发数界面,选择历史时间段。 单击“确定”。 查看历史节点并发数的时间区间最大为24小时。 父主题: 配置
Failed 未满足前提条件,服务器未满足请求者在请求中设置的其中一个前提条件。 413 Request Entity Too Large 由于请求的实体过大,服务器无法处理,因此拒绝请求。为防止客户端的连续请求,服务器可能会关闭连接。如果只是服务器暂时无法处理,则会包含一个Retry-After的响应信息。
配置HDFS源端参数 表1 HDFS作为源端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 源连接名称 由用户下拉选择即可。 hdfs_to_cdm 源目录或文件 “列表文件”选择为“否”时,才有该参数。 待迁移数据的目录或单个文件路径。 该参数支持配置为时间宏变量,且
名称 连接的名称,根据连接的数据源类型,用户可自定义便于记忆、区分的连接名。 dds_link 服务器列表 服务器地址列表,输入格式为“数据库服务器域名或IP地址:端口”。多个服务器列表间以“;”分隔。 192.168.0.1:7300;192.168.0.2:7301 数据库名称
配额,工作空间内调度作业将停止运行。 工作空间内购买的数据集成集群仍会继续计费。 启用工作空间:在“空间管理”页面,找到所需启用的工作空间,单击其所在行的状态按钮。在“启用”对话框中,如果确认启用,请单击“是”。 编辑工作空间:在“空间管理”页面,找到所需编辑的工作空间,单击其所