检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
设置在默认数据库中，查询其他用户表的权限 在“视图名称”的表格中单击“Hive读写权限”。 在数据库列表中单击指定的数据库名称，显示数据库中的表。 在指定表的“权限”列，勾选“查询”。 设置在默认数据库中，导入数据到其他用户表的权限 在“视图名称”的表格中单击“Hive读写权限”。 在数据库列表
) 类型的列可以存储 Int8 类型值，而没有值的行将存储 NULL。 嵌套类型 nested nested 嵌套的数据结构就像单元格内的表格。嵌套数据结构的参数（列名和类型）的指定方式与CREATE TABLE查询中的指定方式相同。每个表行都可以对应于嵌套数据结构中的任意数量的行。
JOIN b ON aid=bid; 配置描述 在Spark Driver端的“spark-defaults.conf”配置文件中添加如下表格中的参数。 表1 参数说明 参数 描述 默认值 spark.sql.adaptive.enabled 自适应执行特性的总开关。 注意：AQ
CDL作业数据DDL变更说明 DDL变更操作包括创建数据库/表、变更表字段类型、变更表字段名称、表列增/删等数据表结构变化操作。当前CDL仅支持从PgSQL同步数据到Hudi的DDL变更，所有DDL变更操作顺序为： 停止CDL任务。 Hudi侧执行DDL变更。 源端库进行DDL变更。 本章节适用于MRS
Kafka作为一个消息发布-订阅系统，为整个大数据平台多个子系统之间数据的传递提供了高速数据流转方式。 Kafka可以实时接受来自外部的消息，并提供给在线以及离线业务进行处理。 Kafka与其他组件的具体的关系如下图所示： 图1 与其他组件关系 父主题： Kafka
器。也可以参考切换MRS租户资源调度器切换调度器。 调度器类型可登录Manager，在Yarn服务“全部配置”页面搜索“yarn.resourcemanager.scheduler.class”参数进行查询。 在“租户资源管理”页签左侧租户列表，单击目标的租户，切换到“资源”页签
使用oozieuser用户，登录Oozie WebUI页面：https://oozie角色的ip地址:21003/oozie 。 Oozie的WebUI界面中，可在页面表格根据jobid查看已提交的工作流信息。 父主题： 使用Oozie客户端提交作业
使用oozieuser用户，登录Oozie WebUI页面：https://oozie角色的ip地址:21003/oozie 。 Oozie的WebUI界面中，可在页面表格根据jobid查看已提交的工作流信息。 父主题： 使用Oozie客户端提交作业
动匹配源和目的字段。 如果字段映射顺序不匹配，可通过拖拽字段调整。 CDM的表达式已经预置常用字符串、日期、数值等类型的字段内容转换，详细请参见字段转换。 单击“下一步”配置任务参数，一般情况下全部保持默认即可。 该步骤用户可以配置如下可选功能： 作业失败重试：如果作业执行失败，
部数据成为脏数据。 配置转换字段类型，与原始数据实际类型不同，全部数据成为脏数据。例如将字符串类型转换为数值类型。 长整型时间转换 原始数据包含NULL值，不做转换处理。 配置输入字段列数，大于原始数据实际包含的字段列数，全部数据成为脏数据。 遇到类型转换错误，当前数据保存为脏数据。
对接OBS场景中，spark-beeline登录后指定loaction到OBS建表失败 问题 对接OBS ECS/BMS集群，spark-beeline登录后，指定location到OBS建表报错失败。 图1 错误信息 回答 HDFS上ssl.jceks文件权限不足，导致建表失败。
部数据成为脏数据。 配置转换字段类型，与原始数据实际类型不同，全部数据成为脏数据。例如将字符串类型转换为数值类型。 长整型时间转换 原始数据包含NULL值，不做转换处理。 配置输入字段列数，大于原始数据实际包含的字段列数，全部数据成为脏数据。 遇到类型转换错误，当前数据保存为脏数据。
通过“CSV文件输入”算子，生成两个字段A和B。 源文件如下： 配置“更新域”算子，当发现值为test时，更新值，在test后面加上good。 转换后，输出A和B，结果如下： 父主题： Loader转换类算子
变更计费模式 变更计费模式概述 按需转包年/包月
JOIN b ON aid=bid; 配置描述 在Spark Driver端的“spark-defaults.conf”配置文件中添加如下表格中的参数。 表1 参数说明 参数 描述 默认值 spark.sql.adaptive.enabled 自适应执行特性的总开关。 注意：AQ
> 添加角色”，添加角色例如flinkrole。在“权限”的表格中选择“HDFS > File System > hdfs://hacluster/”，勾选“Read”、“Write”和“Execute”，单击“权限”表格中“服务”返回。选择“Yarn > Scheduler Queue
在服务中选择“--”，表示除服务以外其他类型的审计日志。 在“操作结果”中，用户可选择所有、成功、失败和未知来查询审计日志。 单击手动刷新当前页面，也可在修改审计表格显示的列。 单击“导出全部”，可一次性导出所有审计信息，可导出“TXT”或者“CSV”格式。 查看审计日志（MRS 3.x之前版本） 在MRS
函数，那么，在安全模式与普通模式互转时，需要充分评估可能的风险。 操作示例 以Hive客户端安装用户登录安装客户端的节点。 执行以下命令，切换到客户端安装目录，配置环境变量并认证用户。 cd 客户端安装目录 source bigdata_env kinit Hive业务用户 执行以下命令登录Hive客户端。
hive.manageFilesourcePartitions=false后，查不到数据（但是实际在Hive查询中是有数据的）。 原因分析 转换格式失败，spark-sql使用其内置的Metastore，而不是Hive中使用的Metastore，所以读取元数据时失败，spark-s
从零开始使用Spark SQL Spark提供类似SQL的Spark SQL语言操作结构化数据，本章节提供从零开始使用Spark SQL，创建一个名称为src_data的表，然后在src_data表中每行写入一条数据，最后将数据存储在“mrs_20160907”集群中。再使用SQ
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
