检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Studio作业”。 设置实时处理集成作业告警规则 参考访问DataArts Studio实例控制台,登录DataArts Studio管理控制台。 在DataArts Studio控制台首页,选择对应工作空间的“数据开发”模块,进入数据开发页面。 在数据开发主界面的左侧导航栏,选择“运维调度
content 是 String 脚本内容,最大支持4M。 directory 否 String 脚本所在目录路径。 通过DataArts Studio管理控制台 > 数据开发,左侧列表选择“数据开发 > 脚本开发”。在脚本的目录树上,可以查看到当前已经创建的目录,默认在根目录/。 connectionName
态),需要增加MRS Hive配置的白名单,需要配置以下配置项参数,单击保存,滚动重启后让配置生效。请在MRS服务的Hive组件的集群运维管理页面,在基础配置里面配置该参数。具体操作如下: 登录FusionInsight Manager,选择“集群 > 服务 > Hive > 配置
在导出结果中如果需要包含特殊字符,如引号本身,可以使用转义字符(反斜杠 \ )来表示。 仅支持设置一个字符。默认值是英文反斜杠(\)。 常用转义字符的场景: 假设两个引用字符之间的数据内容存在第三个引用字符,则在第三个引用字符前加上转义字符,从而避免字段内容被分割。 假设数据内
content 是 String 脚本内容,最大支持4M。 directory 否 String 脚本所在目录路径。 通过DataArts Studio管理控制台 > 数据开发,左侧列表选择“数据开发 > 脚本开发”。在脚本的目录树上,可以查看到当前已经创建的目录,默认在根目录/。 connectionName
已新建连接,详情请参见创建CDM与数据源之间的连接。 CDM集群与待迁移数据源可以正常通信。 操作步骤 进入CDM主界面,单击左侧导航上的“集群管理”,选择集群后的“作业管理”。 选择“表/文件迁移 > 新建作业”,进入作业配置界面。 图1 新建表/文件迁移的作业 选择源连接、目的连接: 作业名称:
一个或多个已有的标签,或者输入一个新的标签名称后按回车键。您也可以前往DataArts Studio数据目录模块的“标签管理”页面添加新的标签,详情请参见管理资产标签,然后再返回此页面,就可以在标签的下拉列表中选择新添加的标签。 关系建模的数据标签不支持热发布修改,修改标签需要先
单击“功能配置”页签。 配置“数据表更新方式”选择为“依据DDL更新模板”或“重建数据表”。 不更新:不更新数据库中的表。 依据DDL更新模板:依据DDL模板管理中配置的DDL更新模板,更新数据库中的表,但能否更新成功是由底层数仓引擎的支持情况决定的。由于不同类型的数仓支持的更新表的能力不同,在数据
Each节点与EL表达式 要想使用好For Each节点,您必须对EL表达式有所了解。EL表达式用法请参考EL表达式。 下面为您展示For Each节点常用的一些EL表达式。 #{Loop.dataArray} :For循环节点输入的数据集,是一个二维数组。 #{Loop.current}:由
description String 描述。 is_physical Boolean 是否为物理表。 frequent Boolean 是否为常用。 top Boolean 分层治理。 level String 数据治理分层。 枚举值: SDI: 贴源数据层 DWI: 数据整合层 DWR:
Studio实例,单击实例卡片上的“进入控制台”,进入概览页面。 选择“空间管理”页签,在工作空间列表中,找到所需要的工作空间,单击工作空间的“数据开发”,系统跳转至数据开发页面。 在数据开发模块,单击“配置管理 > 配置”,单击“默认项配置”。 “多IF策略”可设置为“逻辑与”或者“逻辑或”。
Each节点与EL表达式 要想使用好For Each节点,您必须对EL表达式有所了解。EL表达式用法请参考EL表达式。 下面为您展示For Each节点常用的一些EL表达式。 #{Loop.dataArray} :For循环节点输入的数据集,是一个二维数组。 #{Loop.current}:由
description String 描述。 is_physical Boolean 是否为物理表。 frequent Boolean 是否为常用。 top Boolean 分层治理。 level String 数据治理分层。 枚举值: SDI: 贴源数据层 DWI: 数据整合层 DWR:
说明 分类类型 即规则所属分类,支持内置(按模板添加)和自定义添加。 密级 对配置的数据进行等级划分。如果现有的分级不满足需求,请进入数据密级管理页面进行设置,详情请参见新建数据密级。 分类模板 分类类型选择“内置”,呈现此参数。如果选择“内置”,用户可以根据实际需要选择系统内置的敏
选择维度建模的逆向数据库。 数据连接 选择所需要的数据连接。 如需从其他数据源逆向数据库到关系模型中,需要先在DataArts Studio管理中心创建一个数据连接,以便连接数据源。创建数据连接的操作,请参见配置DataArts Studio数据连接参数。 数据库 选择数据库。 队列
CDM集群创建时,需要注意:虚拟私有云、子网、安全组与MRS集群保持一致,确保网络互通。 建立Hive的数据连接 开发Hive SQL前,我们需要在“管理中心 > 数据连接”模块中建立一个到MRS Hive的连接,数据连接名称为“hive1009”。创建MRS Hive连接的操作请参见MRS
”,而不是“CDM作业实际启动时间-偏移量”。 table 导入模式 导入数据到DWS时,用户可以指定导入模式。 COPY模式,源数据经过管理节点后,复制到DWS的DataNode节点。 UPSERT模式,数据发生主键或唯一约束冲突时,更新除了主键和唯一约束列的其他列数据。 CO
可见并生效。 前提条件 第三方平台的动态脱敏策略需要发布到Kafka消息队列,且消息格式满足要求,详见参考:Kafka消息格式要求。 已在管理中心创建MapReduce服务(MRS Kafka)类型的数据连接,请参考创建DataArts Studio数据连接。注意,Kafka应为
员审核,审核通过后,时间周期创建完成。 如果当前用户已被添加为审核人,则可以勾选“自助审批”,单击“确认提交”后,状态显示为“已发布”。 管理时间周期 在数据指标控制台,单击左侧导航树中的“指标开发”,选择“时间周期”页签,进入时间周期页面。 图3 时间周期页面 您可以根据实际需要选择如下操作。
description String 描述。 is_physical Boolean 是否为物理表。 frequent Boolean 是否为常用。 top Boolean 分层治理。 level String 数据治理分层。 枚举值: SDI: 贴源数据层 DWI: 数据整合层 DWR: