检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置Hudi目的端参数 表1 MRS Hudi作为目的端时的作业参数 类别 配置项 配置说明 推荐配置 基本参数 数据库名称 输入或选择写入数据的数据库名称。单击输入框后面的按钮可进入数据库选择界面。 dbadmin 表名 单击输入框后面的按钮可进入表的选择界面。 该参数支持配置
Studio控制台首页,选择对应工作空间的“数据质量”模块,进入数据质量页面。 选择“业务指标监控 > 规则管理”。 单击“新建”,在弹出的对话框中,参见表2配置相关参数,新建规则。 表2 配置业务规则参数 参数名 说明 规则名称 业务规则的名称,只能包含中文、英文字母、数字、“_”,且长度为1~64个字符。 描述
周期调度作业支持设置调度周期符合条件的作业为依赖作业。设置依赖作业的操作详情请参考配置作业调度任务(批处理作业)章节。 例如周期调度作业A,可设置其依赖作业为作业B,如图1所示进行配置。则仅当其依赖的作业B在某段时间内所有实例运行完成、且不存在失败实例时,才开始执行作业A。 依赖的作业B的“
配置Doris目的端参数 表1 Doris作为目的端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 模式或表空间 待写入数据的数据库名称,支持自动创建Schema。单击输入框后面的按钮可选择模式或表空间。 schema 表名 写入数据的目标表名,单击输入框后面的按钮可进入表的选择界面。
问控制页面。 图1 进入行级访问控制页面 单击“新建”,进入新建行级访问控制策略页面,参数配置参考表1。 图2 新建行级访问控制策略参数配置 创建行级访问控制策略参数配置说明: 表1 配置策略参数 参数名 参数说明 *策略名称 行级访问控制策略的标识,同一个数据表上不能有同名的行访问控制策略。
权限创建表/写入数据/删除表:read权限 配置权限后,在权限视角下支持您对所配置的权限进行编辑、同步或删除等操作。 图7 权限视角权限配置 用户配置:在权限集详情页面,单击“用户配置”进入用户配置页签。 用户配置的含义即为将权限配置中定义的数据权限,与此处的用户绑定起来。您可以
DWS写入优化 可通过在DWS的目的端配置中修改写入相关配置,且可以通过单击高级配置的“查看编辑”按钮,添加高级属性。 图2 添加高级属性 表3 DWS写入优化参数 参数名 类型 默认值 说明 写入模式 enum UPSERT DWS的写入模式,可在目的端配置中设置,实时处理集成作业推荐使用COPY
查看并修改CDM集群配置 操作场景 CDM集群已经创建成功后,您可以查看集群基本信息,并修改集群的配置。 查看集群基本信息: 集群信息:集群版本、创建时间、项目ID、实例ID和集群ID等。 节点配置:集群规格、CPU和内存配置等信息。 网络信息:网络配置。 支持修改集群的以下配置: 消息通
选择写Hoodie模式,默认选“是”表示全量模式,“否”表示微批模式。 全量模式为异步分片写入Hoodie,适用于一次全量写入场景。 微批模式为异步分批写入Hoodie,适用于对入库时间SLA要求较为严格的场景,以及对资源消耗较小,对MOR表存储类型在线进行压缩的场景。 说明: 运行-失败重试期间不允许修改此模式。
/bucket/dir”。 obs://bucket/dir/test.txt 属性配置 需要集成的表名,多个表名使用英文逗号“,”分开,请务必配置,不要有空格,默认无需配置。 - 父主题: 配置连接参数
日期和时间模式 EL表达式中的日期和时间可以按用户指定的格式进行显示,日期和时间格式由日期和时间模式字符串指定。日期和时间模式字符串由A到Z、a到z的非引号字母组成,字母的含义如表1所示。 表1 字母含义 字母 描述 示例 G 纪元标记 AD y 年 2001 M 年中的月份 July
端软件包到待安装客户端节点的指定目录。以待安装客户端的用户登录将要安装客户端的节点,并解压客户端软件包后,执行install命令进行安装,详细内容请参考安装客户端(3.x及之后版本)。 MRS 3.x之前版本集群在集群创建后,在主Master节点默认安装有客户端,安装目录为“/opt/client”。
字段映射界面无法显示所有列怎么处理? 问题描述 在使用CDM从HBase/CloudTable导出数据时,在字段映射界面HBase/CloudTable表的字段偶尔显示不全,无法与目的端字段一一匹配,造成导入到目的端的数据不完整。 原因分析 由于HBase/CloudTable无
一致时,需配置路由规则及安全组规则以打通网络。配置路由规则请参见如何配置路由规则章节,配置安全组规则请参见如何配置安全组规则章节。 当CDM集群与其他云服务所在的区域一致、但VPC不一致时,可以通过对等连接打通网络。配置对等连接请参见如何配置对等连接章节。 注:如果配置了VPC对
审批,因此,需要先添加审核人。只有工作空间管理员角色的用户才具有添加审核人的权限。 管理配置中心:数据架构中提供了丰富的自定义选项,统一通过配置中心提供,您需要根据自己的业务需要进行自定义配置。 数据调研:基于现有业务数据、行业现状进行数据调查、需求梳理、业务调研,输出企业业务流程以及数据主题划分。
阳一区域部署上线。 图2 权限页签详情 在“列属性”页签,可查看数据表的列属性,给数据列添加或删除分类、标签和密级,并编辑描述。 图3 管理列属性 在“血缘”页签,可查看数据表的血缘关系,包括血缘和影响。如何配置数据血缘请参见通过数据目录查看数据血缘关系。数据开发作业配置了支持自
设置节点执行的超时时间,如果节点配置了重试,在超时时间内未执行完成,该节点将会再次重试。 失败重试 是 节点执行失败后,是否重新执行节点。 是:重新执行节点,请配置以下参数。 超时重试 最大重试次数 重试间隔时间(秒) 否:默认值,不重新执行节点。 说明: 如果作业节点配置了重试,并且配置了超时时间,该节点执行超时后,系统支持再重试。
hive表清理数据模式 “导入前清空数据”设置为“是”时,呈现此参数。 选择Hive表清理数据模式。 LOAD_OVERWRITE模式:将生成一个临时数据文件目录,使用Hive的load overwrite语法将临时目录加载到Hive表中。 TRUCATE模式:只清理分区下的数据文件,不删除分区。
如何选择增量包 DataArts Studio采用基础包+增量包的计费模式。如果购买的基础包无法满足您的使用需求,则您需要额外购买增量包。 DataArts Studio增量包 当前DataArts Studio支持的增量包如表1所示。 表1 增量包介绍 增量包类型 增量包说明 购买场景说明
其它页签、关闭所有页签。 Python脚本运行的输出结果不能大于30M,大于30M会报错。 查看脚本执行结果时,双击任意一行的一个字段,可以查看该行的结果详情,支持复制字段名称。 脚本执行历史结果可以进行权限管控,可设置为“仅自己可见”或“所有用户可见”,默认配置项请参见脚本执行历史展示。