检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
采集Hudi元数据前，需要先在Hudi表开启“同步hive表配置”，然后才能通过采集MRS Hive元数据的方式采集Hudi表的元数据。 如果需要采集Hive分区表的元数据，需要在MRS集群内的HiveServer（角色）->自定义下的“hive.server.customized.
DataArts Studio支持连接哪些数据源？ DataArts Studio支持对接如DLI、DWS、MRS Hive等云服务，也支持对接如MySQL、Oracle等传统数据库，支持程度各有不同，详情请参见DataArts Studio支持的数据源章节。 DataArts
API连接方式下，Spark SQL和HIve SQL脚本支持配置指定参数和参数值。代理连接不支持。 单击右上角的，设置相关脚本的环境变量。举例如下所示： 设置Hive SQL脚本的环境变量： --hiveconf hive.merge.mapfiles=true; --hiveconf mapred
动态水印指在数据的访问过程中，动态地在数据的查询访问请求返回结果集中注入水印的方式。本章主要介绍如何实现数据开发动态水印功能，最终在数据开发组件中转储或下载敏感数据时，系统动态注入数据水印。 在数据安全组件开启数据开发动态水印功能并创建动态水印策略后，当策略中指定的用户组或角色在数据开发组件中
ClickHouse目的端参数 作业中目的连接为MRS ClickHouse连接时，目的端作业参数如表1所示。 当作业源端为MRS ClickHouse、DWS及Hive时： 若int及float类型字段为null时，创建MRS ClickHouse表格时字段类型需设置为nullable()，否则写入到MRS
支持本地存储，仅MRS Hive、MRS Hudi支持存算分离场景。 仅MRS Hive支持Ranger场景。 不支持ZK开启SSL场景。 MRS HDFS建议使用的版本： 2.8.X 3.1.X MRS HBase建议使用的版本： 2.1.X 1.3.X MRS Hive、MRS Hudi暂不支持2
支持本地存储，仅MRS Hive、MRS Hudi支持存算分离场景。 仅MRS Hive支持Ranger场景。 不支持ZK开启SSL场景。 MRS HDFS建议使用的版本： 2.8.X 3.1.X MRS HBase建议使用的版本： 2.1.X 1.3.X MRS Hive、MRS Hudi暂不支持2
支持本地存储，仅MRS Hive、MRS Hudi支持存算分离场景。 仅MRS Hive支持Ranger场景。 不支持ZK开启SSL场景。 MRS HDFS建议使用的版本： 2.8.X 3.1.X MRS HBase建议使用的版本： 2.1.X 1.3.X MRS Hive、MRS Hudi暂不支持2
是否支持批量调度作业？ 如何备份CDM作业？ 如何解决HANA集群只有部分节点和CDM集群网络互通？ 如何使用Java调用CDM的Rest API创建数据迁移作业？ 如何将云下内网或第三方云上的私网与CDM连通？ CDM是否支持参数或者变量？ CDM迁移作业的抽取并发数应该如何设置？ CDM是否支持动态数据实时迁移功能？
说明： 算法使用前必须先配置密钥，此算法才能正常使用。 hive列加密 调用MRS提供的Hive列加密功能来实现对Hive数据列的加解密，支持AES和SMS4两种加密算法。 算法注意事项如下： 仅当脱敏任务的目标源为Hive时，此算法才能正确生效。 列加密只支持存储在HDFS上的
、中划线、下划线和点号，且长度小于等于128个字符。同一个作业中节点名称不能重复。 type 是 String 节点类型： HiveSQL： 执行Hive SQL脚本 SparkSQL： 执行Spark SQL脚本 DWSSQL：执行DWS SQL脚本 DLISQL：执行DLI SQL脚本
连接管理能力由管理中心统一提供，相关接口已不再维护，推荐使用管理中心API进行连接管理。 功能介绍 创建一个新连接，当前支持的连接类型有DWS、DLI、SparkSQL、HIVE、RDS、CloudTable。 调试 您可以在API Explorer中调试该接口，支持自动认证鉴权。 URI URI格式 POST
再次选择“连接管理 > 新建连接”，新建MRS Hive连接。连接器类型选择“MRS Hive”，然后单击“下一步”配置连接参数，参数说明如表2所示。配置完成后，单击“保存”回到连接管理界面。 图1 配置MRS Hive连接 表2 MRS Hive连接参数 参数名 说明 取值样例 名称
并同步到OBS和MRS Hive中。 图4 配置CDM节点 CDM节点说明： vertex_user_rds2hive（CDM Job节点）：在节点属性中，选择创建数据集成作业中的CDM集群，并关联CDM作业“vertex_user_rds2hive”。 vertex_user_rds2obs（CDM
CDM在Hive中自动建表时，Hive表与源表的字段类型映射关系参见表1、表2、表3及表4。例如使用CDM将MySQL整库迁移到Hive，CDM在Hive上自动建表，会将Oracle的YEAR字段映射到Hive的DATE。 针对DECIMAL类型，源端数据源长度超过Hive长度可能导致精度丢失。
在“连接管理”页签中，单击“新建连接”，分别创建Oracle数据连接和MRS Hive数据连接，详情请参见新建Oracle数据连接和新建MRS Hive数据连接。 在“表/文件迁移”页签中，单击“新建作业”，创建数据迁移作业。 配置Oracle源端参数、MRS hive目的端参数，并配置传递参数，参数形式为 ${
数据安全支持权限清单查看，通过表名展示当前实例下拥有表权限的工作空间用户、用户组和角色（包含空间权限集、权限集和角色）。 约束与限制 表-角色页签暂不支持展示存算分离MRS Hive的URL权限策略。 当前暂不支持在表权限视图页面直接对权限进行配置、回收。 查看表权限的拥有者 在DataArts Studio控制台首
920/cdm/job/jdbc2hive 响应示例 状态码： 500 服务内部错误，具体返回错误码请参考错误码。 { "errCode" : "Cdm.0100", "externalMessage" : "Job[jdbc2hive] doesn't exist." }
如何查看套餐包的剩余时长？ 套餐包的剩余时长需要在官网查询。 您可以进入华为云官网，在用户名下拉列表中选择“费用中心”，然后进入“订单管理 - 续费管理”查看对应套餐包的剩余时长。 父主题： 咨询与计费
开启数据服务集群LTS日志转储 功能介绍 开启数据服务集群LTS日志转储。 调用方法 请参见如何调用API。 URI PUT /v1/{project_id}/service/instances/{instance_id}/lts-log-dump 表1 路径参数 参数 是否必选
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
