检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
紧张导致迁移时间过长。 数据模型 数据迁移时，对于不同的数据结构，迁移速度也会受到一定影响。例如： 对于表迁移，宽表的迁移速度较慢，字符串类型越多（字段大小）迁移速度越慢。 对于文件而言，总大小相同时，大文件迁移较快，多个小文件迁移较慢。 对于消息而言，消息内容越多，所占带宽越高，每秒事务（TPS）越低。
添加订阅 购买技术资产数量增量包 单击已开通实例卡片上的“购买增量包”。 进入购买DataArts Studio增量包页面，按照如下配置： 增量包类型：选择技术资产数量增量包。 计费方式：当前仅支持套餐包。 增量包规格：请根据您的业务情况选择合适的增量包规格。 购买时长：表示此套餐包的有效时长。
配置权限集前，已在管理中心创建数据仓库服务（DWS）、数据湖探索（DLI）、MapReduce服务（MRS Hive）和MapReduce服务（MRS Ranger）类型的数据连接，请参考创建DataArts Studio数据连接。 配置权限集前，已参考授权dlg_agency委托为dlg_agency委托配置权限。
Service，简称CTS）为用户提供了云账户下资源的操作记录，可以帮您记录相关的操作事件，便于日后的查询、审计和回溯。 表1 支持云审计的关键操作列表 操作名称 资源类型 事件名称 创建作业 job createJob(api) 修改作业 job editJob(api) 保存作业 job saveJob 删除作业
添加订阅 购买数据模型数量增量包 单击已开通实例卡片上的“购买增量包”。 进入购买DataArts Studio增量包页面，按照如下配置： 增量包类型：选择数据模型数量增量包。 计费方式：当前仅支持套餐包。 增量包规格：请根据您的业务情况选择合适的增量包规格。 购买时长：表示此套餐包的有效时长。
根据“作业名称”、“责任人”、“CDM作业”、“调度身份”或“节点类型”筛选作业 - 根据“作业是否配置通知”、“调度状态”、“作业标签”或“下次计划时间”范围，筛选作业 对于未配置通知的作业，系统支持可以通知类型（例如运行异常/失败）进行筛选，以便批量设置告警通知。 批量配置作业
在数据开发主界面的左侧导航栏，选择“数据开发 > 作业开发”。 在作业目录中，右键单击目录名称，选择“新建作业”。 选择作业类型和模式。“作业类型”选择“实时处理”，“模式”选择“单任务-Flink JAR”。其他参数按照实际进行配置即可。 单击“确定”，进入作业画布界面。 配置Flink
数据安全API概览 表1 数据安全API类型 类型 说明 权限管理接口 权限管理接口。 识别规则接口 识别规则接口。 规则分组接口 规则分组接口。 数据权限查询接口 数据权限查询接口。 数据密级接口 数据密级接口。 权限应用接口 权限应用接口。 敏感数据分布接口 敏感数据分布接口。
章节进行切换。 约束与限制 当前开发态细粒度认证仅支持DWS、代理模式的MRS Hive和MRS SPARK类型数据源，调度态细粒度认证仅支持代理模式的MRS Hive类型数据源。 仅DAYU Administrator、Tenant Administrator或者数据安全管理员有权限配置细粒度认证状态。
OpenSource ClickHouse数据连接参数说明 表1 OpenSource ClickHouse数据连接 参数 是否必选 说明 数据连接类型 是 OpenSource ClickHouse连接固定选择为MapReduce服务（OpenSource ClickHouse）。 数据连接名称
单击“添加路由”，输入本地IDC自建数据库的公网IP（例如14.x.x.x/32）。 图4 添加路由1 图5 添加路由2 （可选）MRS类型数据源还需要进行以下操作打通网络。 实时网络连接创建完成并绑定资源组后，单击右侧“更多 > 修改主机信息”，按照输入框提示的格式填写MRS集群所有节点的IP和域名。
支持从Hive导出数据，使用JDBC接口抽取数据。 Hive作为数据源，CDM自动使用Hive数据分片文件进行数据分区。 表1 Hive作为源端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 读取方式 包括HDFS和JDBC两种读取方式。默认为HDFS方式，如果没有使用WHERE条件做数据过滤
“生成元数据”重新生成新的元数据xml文件。 生成的元数据xml文件，属性（Property）中的数据复合类型（Cardinality），目前仅支持填写为“single”类型，不支持自定义。 生成元数据功能本身，支持一次生成多对点表和边表的元数据xml文件。但考虑到Import
据治理达到以下目标： 数据标准化、模型标准化 统一统计口径，提供高质量数据报告 数据质量监控告警 统计每天收入 统计某月收入 统计不同支付类型收入占比 流程简介 本入门指导将参考如表1所示的流程，实现示例场景的数据治理。 表1 DataArts Studio数据治理流程 主流程 说明
配置Hive源端参数 作业中源连接为Hive连接时，源端作业参数如表1所示。 表1 Hive作为源端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 数据库名称 输入或选择数据库名称。单击输入框后面的按钮可进入数据库选择界面。 default 表名 输入或选择Hive表名
}，参数名称需要设置为dlf.xxx。 参数值 是 参数值当前支持常量和EL表达式，不支持系统函数。例如支持123，abc；如果参数是字符串类型需要加上英文的双引号（""），如"05"。 关于EL表达式的使用，请参见表达式概述。 描述 否 参数说明。 配置完一个环境变量后，您还可以进行新增、修改或删除等操作。
同时，可通过在Hudi的目的端配置中单击“Hudi表属性全局配置”或在映射后的单表“表属性编辑”中，添加优化参数。 图1 添加自定义属性 表1 Hudi写入优化参数 参数名 类型 默认值 说明 hoodie.sink.flush.tasks int 1 Hudi flush数据时的并发数，默认为1，即顺序写入。当H
c19175d736f05b1945dab4675df19311834ede0d9b1978b11b50c86687baf85c 完成请求消息入参准备。 表2 参数 参数类型 参数说明 使用示例 path参数 路径参数，作为url的一部分，直接替换url中{}标识的参数。 参数：param = xxx 原url
、ElasticSearch连接器、Kafka连接器，或者目的端为HBase连接器。 添加完字段后，请确保自定义入库时间字段与目的端表字段类型相匹配。 单击“下一步”配置任务参数，一般情况下全部保持默认即可。 单击“保存并运行”，回到作业管理的表/文件迁移界面，在作业管理界面可查看作业执行进度和结果。
、ElasticSearch连接器、Kafka连接器，或者目的端为HBase连接器。 添加完字段后，请确保自定义入库时间字段与目的端表字段类型相匹配。 单击“下一步”配置任务参数，一般情况下全部保持默认即可。 单击“保存并运行”，回到作业管理的表/文件迁移界面，在作业管理界面可查看作业执行进度和结果。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
