检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
发责任人、运维管理员设置为管理员角色。 开发者:开发者拥有工作空间内创建、管理工作项的业务操作权限。建议将任务开发、任务处理的用户设置为开发者。 运维者:运维者具备工作空间内运维调度等业务的操作权限,但无法更改工作项及配置。建议将运维管理、状态监控的用户设置为运维者。 访客:访客
是 “手动”选择为“连接串模式”时需要配置本参数。 “IP或域名”如果手动填写,必须写内网IP,端口必须为对资源组网段放开的端口(如需设置请参见设置安全组规则),否则可能导致网络连接不通。 表示通过内部网络访问集群数据库的访问地址,可填写为IP或域名。内网访问IP或域名地址在创建集
FTP。 数据连接名称 是 数据连接的名称,只能包含字母、数字、下划线和中划线,且长度不超过100个字符。 标签 否 标识数据连接的属性。设置标签后,便于统一管理。 说明: 标签的名称,只能包含中文、英文字母、数字和下划线,不能以下划线开头,且长度不能超过100个字符。 适用组件
d@@,-24*60*60)”。 脚本调试无误后,我们需要保存该脚本,脚本名称为“dli_partition_count”。在后续的作业中设置为定期执行该脚本(使用DLF作业开发和作业调度每天定时输出告警统计报表),实现定期输出告警统计报表。 创建CDM作业 方案的最后一步需要将OBS中的告警统计报表迁移到RDS
次提交行数。 100 单击“保存”回到连接管理界面,完成MySQL连接器的配置。 如果保存时出错,一般是由于MySQL数据库的安全设置问题,需要设置允许CDM集群的EIP访问MySQL数据库。 父主题: 使用教程
仅对脚本中未设置上述参数值的情况下生效,如脚本中已设置此参数值,则优先以读取人工设置的值传递至MRS。特别提醒:如MRS集群是安全模式,则不支持此设置方式,需提前将集群设置为非安全模式。 在数据开发主界面的左侧导航栏,选择“配置管理 > 配置”。 单击“默认项设置”,可设置“作业运行自动传递脚本名称”配置项。
t_type_开头,命名规则为“数据库名称_汇总表编码”)中复制的,复制节点后需手动配置该节点的“数据连接”和“数据库”参数,“数据库”需设置为事实表所在的数据库。 数据开发作业自动生成功能需在管理配置中心中勾选“创建数据开发作业”实现。 图14 按付款方式汇总统计节点属性 按费率汇总统计节点:为MRS
连接方式应该选择API连接还是代理连接? API连接仅支持在数据开发组件使用。 因此如无特殊需求,为保证数据架构、数据质量、数据目录、数据服务等组件能够使用连接,推荐配置为“通过代理连接”。 父主题: 管理中心
个映射。在每个映射中,您只需要为来源于当前映射的字段设置源字段,其他字段可以不设置。 如果表中的字段数据来源于同一个关系模型中的多个表,您可以新建一个映射。在该映射的“源表”中,您可以将多个表设置Join,然后再为表中的字段设置源字段。 本示例只需要新建一个映射。单击“新建”,新建一个映射,如图30。
Redis数据库索引 Redis分库的索引标识。 Redis的分库,相当于关系型数据库中的database。分库总数可以在Redis配置文件中设置,默认是16个,分库名称是一个整数(0~15),不是一个字符串。 0 认证类型 访问MRS的认证类型: SIMPLE:非安全模式选择Simple鉴权。
FTP/SFTP连接 介绍 通过FTP或SFTP连接,可以对FTP或SFTP服务器抽取或加载文件,支持CSV、二进制和JSON格式。 连接样例 { "links": [ { "link-config-values": {
创建CDM集群 CDM采用独立集群的方式为用户提供安全可靠的数据迁移服务,各集群之间相互隔离,不可相互访问。 CDM集群可用于如下场景: 用于创建并运行数据迁移作业。 作为管理中心组件连接数据湖时的Agent代理。 前提条件 已申请VPC、子网和安全组。CDM集群连接云上其它服务
连接名称 请求参数 表2 请求Header参数 参数名 是否必选 参数类型 说明 workspace 否 String 工作空间id。 如果不设置该参数,默认查询default工作空间下的数据。 如果需要查询其他工作空间的数据,需要带上该消息头。 响应参数 表3 Connection参数说明
是 “手动”选择为“连接串模式”时需要配置本参数。 “IP或域名”如果手动填写,必须写内网IP,端口必须为对资源组网段放开的端口(如需设置请参见设置安全组规则),否则可能导致网络连接不通。 表示通过内部网络访问集群数据库的访问地址,可填写为IP或域名。内网访问IP或域名地址在创建集
等信息。在节点监控页签,可以查看实时作业的运行日志。 同时,您可以查看当前作业版本、作业运行状态、启动、重跑、作业开发、是否显示指标监控、设置作业刷新频率等。 实时作业监控:禁用节点后恢复 您可以对实时作业中某个节点配置“禁用”后恢复运行,恢复运行时可以重新选择运行位置。 参考访问DataArts
请求消息体 是 填写Json格式的请求消息体。当“HTTP方法”为“POST”、“PUT”时,显示该配置项。 是否需要判断返回值 否 设置是否判断返回消息的值和预期的一致。当“HTTP方法”为“GET”时,显示该配置项。 YES:检查返回消息中的值是否和预期的一致。 NO:不
Redis连接固定选择为Redis。 数据连接名称 是 数据连接的名称,只能包含字母、数字、下划线和中划线,且长度不超过100个字符。 标签 否 标识数据连接的属性。设置标签后,便于统一管理。 说明: 标签的名称,只能包含中文、英文字母、数字和下划线,不能以下划线开头,且长度不能超过100个字符。 适用组件
当“作业调度身份是否可配置”设置为“是”,该参数可见。 配置委托后,作业执行过程中,以委托的身份与其他服务交互。 作业优先级 自动匹配创建作业时配置的作业优先级,此处支持修改。 实例超时时间 配置作业实例的超时时间,设置为0或不配置时,该配置项不生效。如果您为作业设置了异常通知,当作业实
ClickHouse)。 数据连接名称 是 数据连接的名称,只能包含字母、数字、下划线和中划线,且长度不超过100个字符。 标签 否 标识数据连接的属性。设置标签后,便于统一管理。 说明: 标签的名称,只能包含中文、英文字母、数字和下划线,不能以下划线开头,且长度不能超过100个字符。 适用组件
Hive。 数据连接名称 是 数据连接的名称,只能包含字母、数字、下划线和中划线,且长度不超过100个字符。 标签 否 标识数据连接的属性。设置标签后,便于统一管理。 说明: 标签的名称,只能包含中文、英文字母、数字和下划线,不能以下划线开头,且长度不能超过100个字符。 适用组件