检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Service,简称CTS)为用户提供了云账户下资源的操作记录,可以帮您记录相关的操作事件,便于日后的查询、审计和回溯。 表1 支持云审计的关键操作列表 操作名称 资源类型 事件名称 创建目录 Category createCategory 删除目录 Category deleteCategory 更新目录 Category
换用户,密码不会立即生效且作业会运行失败。 表1 CloudTable连接参数 参数名 说明 取值样例 名称 连接的名称,根据连接的数据源类型,用户可自定义便于记忆、区分的连接名。 cloudtable_link ZK链接地址 可通过CloudTable服务的集群管理界面获取该参数值。
用户可以对实时处理集成作业的监控指标设置告警策略。当监控指标在一定周期内多次触发告警策略的阈值时,系统将向用户发送告警通知。具体操作请参见创建告警规则和通知。 告警类型选择“指标”,云产品选择“数据治理中心-DataArts Studio作业”。 设置实时处理集成作业告警规则 参考访问DataArts S
SDK包和数据服务SDK包两种开发包,功能和差异如表1所示,您可以根据您的使用场景进行选择。 表1 DataArts Studio 不同SDK包对比 SDK包类型 功能 支持的组件 支持的语言 获取地址 REST API SDK包 REST API SDK是基于DataArts Studio REST
配置ClickHouse目的端参数 表1 ClickHouse作为目的端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 模式或表空间 待写入数据的数据库名称,支持自动创建Schema。单击输入框后面的按钮可选择模式或表空间。 schema 表名 写入数据的目标表名,单击输入框后面的按钮可进入表的选择界面。
['003']] 。 说明: 如果要让“00”“01”当成数字类型作为参数传递,需要配置为[["00"],["01"]];[[00],[01]];[['00'],['01']]。 如果要让“00”“01”当成字符类型作为参数传递,需要加上转义字符,例如:[["\"00\""],[
单击已开通实例卡片上的“购买增量包”。 进入购买DataArts Studio增量包页面,参见表1进行配置。 表1 配置数据集成的增量包 参数 说明 增量包类型 选择批量数据迁移增量包。 计费方式 选择按需计费。 可用区 第一次购买DataArts Studio实例或增量包时,可用区无要求。 再次购买DataArts
表1 添加队列资源参数说明 参数名 参数描述 *资源类型 选择MRS队列或者DLI队列。 *数据连接 选择队列所在的数据连接。如需新建数据连接,请参考创建DataArts Studio数据连接。 *集群名称 仅当资源类型为MRS队列时显示,无需填写, 系统自动匹配数据连接对应的集群名称。
或者更换用户,密码不会立即生效且作业会运行失败。 表1 MongoDB连接参数 参数名 说明 取值样例 名称 连接的名称,根据连接的数据源类型,用户可自定义便于记忆、区分的连接名。 mongodb_link 服务器列表 MongoDB服务器地址列表,输入格式为“数据库服务器域名或
DIS数据连接参数说明 表1 DIS连接 参数 是否必选 说明 数据连接类型 是 DIS连接固定选择为DIS。 数据连接名称 是 数据连接的名称,只能包含字母、数字、下划线和中划线,且长度不超过100个字符。 标签 否 标识数据连接的属性。设置标签后,便于统一管理。 说明: 标签
连接云搜索服务(CSS)时,相关参数如表1所示。 表1 云搜索服务(CSS)连接参数 参数名 说明 取值样例 名称 连接的名称,根据连接的数据源类型,用户可自定义便于记忆、区分的连接名。 css_link Elasticsearch服务器列表 配置为一个或多个Elasticsearch
配置MRS Hudi源端参数 作业中源连接为MRS Hudi连接时,源端作业参数如表1所示。 表1 MRS Hudi作为源端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 源连接名称 选择已配置的MRS Hudi连接。 hudi_from_cdm 数据库名称 输入或选择数据
ClickHouse源端参数 作业中源连接为MRS ClickHouse连接时,源端作业参数如表1所示。 表1 MRS ClickHouse作为源端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 源连接名称 选择已配置的MRS ClickHouse连接。 ck_from_cdm 模式或表空间 单击
Service,简称CTS)为用户提供了云账户下资源的操作记录,可以帮您记录相关的操作事件,便于日后的查询、审计和回溯。 表1 支持云审计的关键操作列表 操作名称 资源类型 事件名称 添加数据掩码 datamask createDataMask 查询数据掩码列表 datamask listDataMask 查询数据掩码
配置ClickHouse源端参数 参数类型 参数名 说明 取值样例 基本参数 模式或表空间 “使用SQL语句”选择“否”时,显示该参数,表示待抽取数据的模式或表空间名称。 单击输入框后面的按钮可进入模式选择界面,用户也可以直接输入模式或表空间名称。 如果选择界面没有待选择的模式或
配置Migration实时集成作业时,检测源端、目的端数据源与资源组的连通性报异常。 图1 连通性检测异常 解决方案 请根据异常项参考下表进行排查。 表1 网络不通排查方法 类型 异常项 方法 数据源 - CDM异常 实例状态检查异常 检查集群是否在及是否正常运行。 连通性检查异常 若CDM集群和数据源在同一个VP
业失败重试告警。 作业范围:根据实际需要选择,推荐选择“所有作业”,在当前已有的作业和后续新创建的作业运行异常/失败时都会发送通知。 通知类型:选择“运行异常/失败”,当作业的状态为“运行异常”或“失败”时,发送通知。 另外可以设置作业运行异常或者失败后、在作业未修复前,告警通知
配置策略参数 参数名 参数说明 *用户类型 选择为用户或用户组进行密级权限管控。 *用户名称 选择当前实例所有工作空间成员中的用户或用户组。 *密级 选择指定用户/用户组的指定密级,则指定用户/用户组仅能访问资产密级小于等于指定密级的资产。 *权限类别 当前仅支持数据地图中的数据预览权限。
OpenTSDB时,相关参数如表1所示。 表1 CloudTable OpenTSDB连接参数 参数名 说明 取值样例 名称 连接的名称,根据连接的数据源类型,用户可自定义便于记忆、区分的连接名。 TSDB_link OpenTSDB链接地址 OpenTSDB的ZK链接地址。 opentsdb-sp8afz7bgbps5ur
Loop内嵌对象 使用Loop内嵌对象可获取For Each节点数据集中的数据。 属性 表1 属性说明 属性 类型 描述 示例 dataArray String Loop.dataArray表示For Each节点“数据集”中定义的二维数组。 一般定义格式为#{Loop.dataArray[0][0]}、#{Loop