正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
认的管理页面用户,这个用户无法作为安全集群的认证用户来使用。您可以创建一个新的MRS用户,然后在创建MRS数据连接时,“用户名”和“密码”填写为新建的MRS用户及其密码。 说明: 如果CDM集群为2.9.0版本及之后版本,且MRS集群为3.1.0及之后版本,则所创建的用户至少需具
仅DWS、DLI数据源支持创建采集任务时添加数据分类,实现自动识别。另外,只可给数据表的列和OBS对象添加分类。 单击“下一步”,选择调度方式,支持单次调度和周期调度两种方式。 单次调度:超时时间表示如果任务运行的时长超过了设置的超时时间,任务会被认定运行失败。 周期调度的相关参数配置请参见表5。
10次,则会终止调度。 由于联邦用户在只有用户组信息,因此联邦用户无法同步。 由于数据源只会同步自身租户的用户信息,因此对于通过IP连接等方式非当前租户的数据源集群无法同步。 当前用户同步仅支持MRS Hive和DWS数据源,DWS数据源必须进行用户同步,MRS数据源可以按自身需
Studio数据血缘实现方案 数据血缘的产生: DataArts Studio数据血缘解析方案包含自动分析血缘和手动配置血缘两种方式。一般推荐使用自动血缘解析的方式,无需手动配置即可生成血缘关系,在不支持自动血缘解析的场景下,再手动配置血缘关系。 自动血缘解析,是由系统解析数据开发作业
} ] } 连接参数 参数 是否必选 类型 说明 linkConfig.deploymentMode 是 枚举 Redis部署方式: Single:表示单机部署。 Cluster:表示集群部署。 linkConfig.serverlist 是 String 服务器地址
单击左侧导航树中的“静态脱敏”,进入静态脱敏页面,在页面上方单击“新建”,创建静态脱敏任务。 图1 创建静态脱敏任务 在弹出的创建任务页面中填写任务名称和描述,单击“下一步”。 图2 基本信息配置 进行脱敏任务源、目标端配置。参数配置参考表1。 图3 配置脱敏任务 脱敏任务参数配置说明:
在场景开发完成后,如果您不再使用DataArts Studio及相关服务,请及时进行退订和资源删除,避免持续产生费用。 表1 相关服务退订方式 服务 计费说明 退订方式 DataArts Studio DataArts Studio计费说明 DataArts Studio实例仅支持包周期计费。
由于安全原因,导出连接时没有导出连接密码,需要在导入时自行输入。 仅企业版支持数据目录(分类、标签、采集任务)导出,专家版暂不支持。 导入文件时,OBS和本地方式均限制文件大小不超过10MB。 导出资源 参考访问DataArts Studio实例控制台,登录DataArts Studio管理控制台。
表前缀:表示存储异常数据的表的前缀。 表后缀:表示存储异常数据的表的后缀。 配置完成后单击保存配置。 (可选)质量规则的检查范围默认是全表,如需要精确定位分区查询数据,请填写where条件。 图8 where条件开关 查看关联质量规则的结果,如果显示成功,单击“确定”。如果显示失败,请查看失败原因,等问题处理后,再重新关联质量规则。
参考新建离线处理集成作业创建一个单任务数据迁移作业。 在键盘上按F12,打开创建好的单任务数据迁移作业,选择“network”页签。该任务请求方式为getPipeline。 图1 请求方式getPipeline 在“Preview”的jobBody里面的“value”字段获取JSON消息体的内容。 图2 JSON消息体内容
否 String 默认值:application/json;charset=UTF-8 可选,有Body体的情况下必选,没有Body体则无需填写和校验。 响应参数 状态码: 200 表4 响应Body参数 参数 参数类型 描述 data data object data,统一的返回结果的最外层数据结构。
是否必选 参数类型 描述 project_id 是 String 项目ID,获取方法请参见项目ID和账号ID。 id 是 String 实体ID,填写String类型替代Long类型。 表2 Query参数 参数 是否必选 参数类型 描述 limit 否 Integer 每页查询条数,即查询Y条数据。默认值50,取值范围[1
数据集成即云数据迁移(Cloud Data Migration,后简称CDM)服务,本文中的“云数据迁移”、“CDM”均指“数据集成”。 您可以通过以下方式之一进入CDM主界面: 登录CDM控制台,单击“集群管理”,进入到CDM主界面。 登录DataArts Studio控制台。选择对应工作空
where条件,导入前根据where条件删除目的表的数据。 toJobConfig.orientation 否 枚举 存储方式,此参数只有当数据库类型为DWS时启用,当需要自动创建DWS数据库表,指定表的数据存储方式: ROW:表的数据以行式存储。 COLUMN:表的数据以列式存储。 toJobConfig.isCompress
HASH:带列名,如“列名1=值1,列名2=值2”的形式。 STRING 高级属性 键分隔符 用来分隔关系型数据库的表和列名。 _ 值分隔符 以STRING方式存储时,列之间的分隔符。 ; 字段相同 “值存储类型”参数值为“HASH”显示该参数。 哈希键内有相同的字段。 是 父主题: 配置CDM作业源端参数
已在管理中心创建Ranger类型的数据连接,并确保已参考MRS Ranger数据连接参数说明填写正确的RangerAdmin业务IP和Ranger服务端口。 在管理中心测试Ranger数据连接时,不会校验Ranger业务IP和服务端口,即使填写错误也不会提示,因此建议进行人工检查。 已开启对应MRS集群的R
请确认Schema和SQL是否同时指定,仅指定其中一项后,再重试。 Cdm.0914 基于查询的导入方式时必须提供分区字段。 请指定分区字段后,再重试。 Cdm.0915 基于SQL的导入方式和ColumnList不能同时使用。 请确认两种是否同时使用,仅使用其中一项后,再重试。 Cdm
达式。例如“time”=“#{DateUtil.now()}”用来标识当前日期字符串。 约束限制 如果在字段映射界面,CDM通过获取样值的方式无法获得所有列(例如从HBase/CloudTable/MongoDB导出数据时,CDM有较大概率无法获得所有列),则可以单击后选择“添加
选择需要循环执行的子作业。 子作业参数 否 仅当循环执行的子作业配置了作业参数后,出现该参数。参数名即子作业中定义的变量,参数值按如下原则填写: 当循环执行的子作业需要根据父作业的变量读取替换时,则本参数为可配置为EL表达式,一般配置为#{Loop.current[0]}或#{Loop
标签键(key)的最大长度为36个字符,标签值(value)的最大长度为43个字符。 (可选)在标签列表中,单击标签操作列“删除”,删除CDM集群标签。 通过以下两种方式筛选出所配置标签的资源。 在标签管理服务中,选择资源搜索条件,单击“搜索”即可筛选出所配置标签的资源。 在集群列表中,单击标签搜索,筛选出所配置标签的资源。