检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置为要连接的数据库名称。 dbname 用户名 待连接数据库的用户。该数据库用户需要有数据表的读写权限,以及对元数据的读取权限。 cdm 密码 用户名密码。 - 使用Agent Agent功能待下线,无需配置。 - Agent Agent功能待下线,无需配置。 - 引用符号 可选参数,连接引用表名或列名
连接里的账号是否有元数据查询的权限。 该参数支持配置为时间宏变量,且一个路径名中可以有多个宏定义变量。使用时间宏变量和定时任务配合,可以实现定期同步新增数据,详细说明请参见使用时间宏变量完成增量同步。 该参数支持配置正则表达式,实现导出满足规则的所有数据库。 说明: 如果配置了时间宏变量,通过DataArts
本和开发SQL脚本创建和开发Flink SQL脚本。 脚本参数 否 关联的Flink SQL脚本如果使用了参数,此处显示参数名称,请在参数名称后的输入框配置参数值。参数值支持使用EL表达式。 若关联的Flink SQL脚本,脚本参数发生变化,可单击刷新按钮同步。 UDF Jar 否
写入数据的目标表名,单击输入框后面的按钮可进入表的选择界面。 该参数支持配置为时间宏变量,且一个路径名中可以有多个宏定义变量。使用时间宏变量和定时任务配合,可以实现定期同步新增数据,详细说明请参见使用时间宏变量完成增量同步。 说明: 如果配置了时间宏变量,通过DataArts Studio数据开发调度C
中转VPC及其子网 用于连通数据源和资源组网络的中间桥梁,本方案中需要使用云专线虚拟网关所配置的虚拟私有云和对应配置的子网。 查看方式: 登录云专线控制台,在左侧导航栏,选择“云专线 > 虚拟网关”,在列表中找到连通其他云所使用的虚拟网关,单击虚拟网关名称,查看关联的虚拟私有云和本端子网。
中转VPC及其子网 用于连通数据源和资源组网络的中间桥梁,本方案中需要使用虚拟专用网络VPN网关所配置的虚拟私有云和对应的子网。 查看方式: 登录虚拟专用网络控制台,在左侧导航栏,选择“虚拟专用网络 > VPN网关”,在列表中找到连通其他云所使用的VPN网关,单击VPN网关名称,查看关联的虚拟私有云和本端子网。
Elasticsearch服务器列表 配置为一个或多个Elasticsearch服务器的IP地址或域名,包括端口号,格式为“ip:port”,多个地址之间使用“;”分隔。 192.168.0.1:9200;192.168.0.2:9200 父主题: 配置连接参数
集群方式不支持开启安全模式的CloudSearch集群,请使用数据连接方式。 CloudSearch集群 是 选择“集群”时,才需要配置。 选择CloudSearch集群,该集群已在CloudSearch服务中创建好。目前仅支持使用5.5.1版本的集群。 CDM集群名称 是 选择“集群”时,才需要配置。
时间限定生成使用动态表达式:开关打开后,则使用动态时间表达式;如开关关闭,则默认使用原有的静态时间表达式。例如时间限定设置为最近30天:如果使用静态表达式,如果当前为9月,生成的最近30天的数据就是8月,即使当前到了10月,生成的数据还是8月,不能自动更新;如果使用动态表达式,当
作业范围 是 选择通知的范围。 单个作业:对单个作业发送通知。 所有作业:对所有作业发送通知。所有作业指当前已有的作业和后续新创建的作业会使用这个通知配置。 作业名称 是 选择作业。 通知类型 是 选择通知类型: 单个作业: 运行异常/失败:作业的状态为“运行异常”或“失败”时,发送通知。
用户名 需要配置MRS Manager的用户名和密码。 如果要创建MRS安全集群的数据连接,不能使用admin用户。因为admin用户是默认的管理页面用户,这个用户无法作为安全集群的认证用户来使用。您可以创建一个新的MRS用户,然后在创建MRS数据连接时,“用户名”和“密码”填写为新建的MRS用户及其密码。
关联的SQL脚本如果使用了参数,此处显示参数名称,请在参数名称后的输入框配置参数值。参数值支持使用EL表达式。 若关联的SQL脚本,脚本参数发生变化,可单击刷新按钮同步。 运行程序参数 否 为本次执行的作业配置相关优化参数(例如线程、内存、CPU核数等),用于优化资源使用效率,提升作业的执行性能。
条件时,将执行该分支。 表达式 当条件类型为“满足当前条件时”,需要根据表达式配置条件。 条件分支表达式由上游算子的节点编码和变量名组成,使用方法请参考变量表达式定义方法。 分支2 条件类型 选择条件类型。 满足当前条件时:表示传入“条件分支”的数据满足指定的表达式时,将执行该分支。
停止调度不会触发血缘关系的删除。 前提条件 已在数据架构组件中定义并发布过的逻辑实体与数据表、业务指标。 已配置元数据采集任务并成功运行,如何创建采集任务请参见创建采集任务。 资产总览 参考访问DataArts Studio实例控制台,登录DataArts Studio管理控制台。
关联的SQL脚本如果使用了参数,此处显示参数名称,请在参数名称后的输入框配置参数值。 说明: 若选择SQL语句方式,数据开发模块将无法解析您输入SQL语句中携带的参数。 数据连接 是 选择数据连接。 数据库 是 填写数据库名称,该数据库已创建好,建议不要使用默认数据库。 表2 高级参数
输入框后面的按钮可进入表的选择界面。 该参数支持配置为时间宏变量,且一个路径名中可以有多个宏定义变量。使用时间宏变量和定时任务配合,可以实现定期同步新增数据,详细说明请参见使用时间宏变量完成增量同步。 说明: 如果配置了时间宏变量,通过DataArts Studio数据开发调度C
按组批量启动作业会运行组内所有作业。如果开启了用户隔离功能,即使华为账号下的其他IAM用户无法查看到组内作业,按组批量启动作业依然会将组内作业运行,因此在用户隔离场景不建议使用按组批量启动作业功能。 批量运行作业 勾选一个或多个作业后,单击“运行”可批量启动作业。 批量删除作业 勾选一个或多个作业后,单击“删除”可批量删除作业。
作业执行时间,有可能与planTime同一个时间,也有可能晚于planTime(由于作业引擎繁忙等)。 eventData String 当作业使用事件驱动调度时,从通道获取的消息。 projectId String 当前数据开发模块所处项目ID。 表2 方法说明 方法 描述 示例 String
DAY)}*”(这是CDM支持的日期宏变量格式,详见时间宏变量使用解析)。 图1 文件过滤 配置作业定时自动执行,“重复周期”为1天。 这样每天就可以把昨天生成的文件都导入到目的端目录,实现增量同步。 文件增量迁移场景下,“路径过滤器”的使用方法同“文件过滤器”一样,需要路径名称里带有时间字
送至API网关专享版、ROMA-APIC、或不发布网关。 发布请求的发起者若非审核人,需要API的审核人完成申请的审核。 调用方法 请参见如何调用API。 URI POST /v1/{project_id}/service/apis/{api_id}/instances/{instance_id}/publish