检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
径，您也可以联系管理员获取此文件。使用集群配置前需在集群配置管理中配置此参数。 linkConfig.hiveVersion 是 枚举 Hive版本： HIVE_1_X HIVE_3_X linkConfig.user 否 String 登录Manager平台的用户名，使用集群配置时不用配置
MRS Hive SQL 功能 通过MRS Hive SQL节点执行数据开发模块中预先定义的Hive SQL脚本。 MRS Hive SQL节点的具体使用教程，请参见开发一个Hive SQL作业。 MRS Hive SQL节点不支持Hive的事务表。 参数 用户可参考表1，表2和表3配置MRS
创建了Hive到DWS类型的连接，进行CDM传输任务失败时如何处理？ 问题描述 创建了Hive到DWS类型的连接，进行CDM传输任务失败。 解决方案 建议清空历史数据后再次尝试该任务。在使用CDM迁移作业的时候需要配置清空历史数据，然后再做迁移，可大大降低任务失败的概率。 父主题：
Hive连接参数说明 目前CDM支持连接的Hive数据源有以下几种： MRS Hive FusionInsight Hive Apache Hive 作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户，密码不会立即生效且作业会运行失败。 MRS Hive 用户具有MRS
Manager的用户密码。 - 开启LDAP认证 通过代理连接的时候，此项可配置。 当MRS Hive对接外部LDAP开启了LDAP认证时，连接Hive时需要使用LDAP账号与密码进行认证，此时必须开启此参数，否则会连接失败。 否 LDAP用户名 当“开启LDAP认证”参数选择为“是”时，此参数是必选项。
配置Hive源端参数 支持从Hive导出数据，使用JDBC接口抽取数据。 Hive作为数据源，CDM自动使用Hive数据分片文件进行数据分区。 表1 Hive作为源端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 读取方式 包括HDFS和JDBC两种读取方式。默认为HD
配置Hive源端参数 作业中源连接为Hive连接时，源端作业参数如表1所示。 表1 Hive作为源端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 数据库名称 输入或选择数据库名称。单击输入框后面的按钮可进入数据库选择界面。 default 表名 输入或选择Hive表名
配置Hive目的端参数 支持快速导入数据到MRS的Hive。 表1 Hive作为目的端时的作业参数 类别 参数名 说明 取值样例 基本参数 数据库 输入或选择写入数据的数据库名称。单击输入框后面的按钮可进入数据库选择界面。 default 表名 输入或选择写入数据的目标表名。单击输入框后面的按钮可进入表的选择界面。
C存储格式。 ORC hive表清理数据模式 “导入前清空数据”设置为“是”时，呈现此参数。 选择Hive表清理数据模式。 LOAD_OVERWRITE模式：将生成一个临时数据文件目录，使用Hive的load overwrite语法将临时目录加载到Hive表中。 TRUCATE模
CDM集群进行创建。 数据集成配置 Hive版本 HIVE_3_X 适用组件勾选数据集成后，呈现此参数。 Hive的版本。根据服务端Hive版本设置。 说明： HIVE_3_X支持Hive服务端版本为3.x的连接，HIVE_2_X支持Hive服务端版本为2.x的连接。使用不匹配的
数据连接：建立Hive的数据连接创建的连接。 开发Hive SQL作业 Hive SQL脚本开发完成后，我们为Hive SQL脚本构建一个周期执行的作业，使得该脚本能定期执行。 创建一个数据开发模块空作业，作业名称为“job_hive_sql”。 图2 创建job_hive_sql作业
] } 参数说明 参数 是否必选 类型 说明 fromJobConfig.hive 否 String 待抽取数据的数据源，作业源端为Hive时，这里为“hive”。 fromJobConfig.database 否 String 待抽取数据的数据库，例如“default”。
密钥(SK) - 数据集成配置 Hive版本 HIVE_3_X 适用组件勾选数据集成后，呈现此参数。 Hive的版本。根据服务端Hive版本设置。 说明： HIVE_3_X支持Hive服务端版本为3.x的连接，HIVE_2_X支持Hive服务端版本为2.x的连接。使用不匹配的
密钥(SK) - 数据集成配置 Hive版本 HIVE_3_X 适用组件勾选数据集成后，呈现此参数。 Hive的版本。根据服务端Hive版本设置。 说明： HIVE_3_X支持Hive服务端版本为3.x的连接，HIVE_2_X支持Hive服务端版本为2.x的连接。使用不匹配的
建。 当Hive权限同步触发后，会同步权限至Hetu端Ranger，策略命名格式为“catalog名_schema名+表名+列名”。系统定义的Hive与Hetu间的策略映射关系如表2所示。 表2 Hive与Hetu的策略映射关系 Hive Hetu 资源映射关系 hive数据源 Hetu
Hive迁移作业长时间卡顿怎么办？ 问题描述 Hive迁移作业长时间卡顿怎么办？ 解决方案 为避免Hive迁移作业长时间卡顿，可手动停止迁移作业后，通过编辑Hive连接增加如下属性设置： 属性名称：hive.server2.idle.operation.timeout 值：10m
驱动管理”页面，上传了MySQL数据库驱动。 在MRS Hive上创建Hive分区表 在MRS的Hive上使用下面SQL语句创建一张Hive分区表，表名与MySQL上的表trip_data一致，且Hive表比MySQL表多建三个字段y、ym、ymd，作为Hive的分区字段。SQL语句如下： 1 create
为什么执行完HIVE任务什么结果都不显示？ 可能原因 执行完HIVE任务结果不显示，可能是由于连接方式引起的。 解决方案 清理缓存数据，采用直连方式，数据就可以显示出来了。 父主题： 数据开发
"toJobConfig.hive", "value": "hive" }, { "name": "toJobConfig.database",
示例场景说明 本示例是一个DataArts Studio全流程入门教程，旨在介绍如何在DataArts Studio平台完成端到端的全流程数据运营。 本案例基于某市的出租车出行数据，选择MRS Hive作为数据湖底座，使用DataArts Studio实施全流程数据治理。期望通过实施数据治理达到以下目标：
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
