检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
map 是 无 数据处理规则 将字段值输出到Hive表中。 如果指定了一个或多个列为分区列，则在作业配置第四步“输出设置”页面上，会显示“分割程序”属性，该属性表示使用多少个处理器去对分区数据进行处理。 如果没有指定任何列为分区列，则表示不需要对输入数据进行分区处理，“分割程序”属性默认隐藏。
map 是 无 数据处理规则 将字段值输出到Hive表中。 如果指定了一个或多个列为分区列，则在作业配置第四步“输出设置”页面上，会显示“分割程序”属性，该属性表示使用多少个处理器去对分区数据进行处理。 如果没有指定任何列为分区列，则表示不需要对输入数据进行分区处理，“分割程序”属性默认隐藏。
应的executor将成为数据处理的瓶颈，所以在执行Producer程序时，数据平均发送到每个partition可以提升处理的速度。 在partition数据均匀分布的情况下，同时提高partition和executor个数，将会提升Spark处理速度（当partition个数和
发生连接数告警时，表示连接到HiveServer的session数过多，将会导致无法建立新的连接。 可能原因 连接HiveServer的客户端过多。 处理步骤 增加Hive最大连接数配置。 登录MRS集群详情页面，选择“组件管理”。 选择“Hive > 服务配置”，将“基础配置”切换为“全部配置”。
宽的利用率不足，因此存在性能提升空间。使用成熟的向量化的c++加速库后，数据采用向量化格式存在内存中，可以提高带宽利用率，并通过批量的列数处理获得加速效果。 通过开启Spark Native引擎特性，获得SparkSQL的性能加速。 使用约束 Scan算子当前支持的数据类型为：B
加载Impala数据 功能简介 本小节介绍了如何使用Impala SQL向已有的表employees_info中加载数据。从本节中可以掌握如何从集群中加载数据。 样例代码 -- 从本地文件系统/opt/impala_examples_data/目录下将employee_info.
strategy为TIME_ELAPSED时，value指定的值代表每[value]天会触发一次TTL。 resolveConflictsBy属性用来处理TTL策略冲突，比如dt=2023/05/01分区同时命中以下两条TTL策略： 策略A：call ttl_policy_save(table
待补齐的块数超过阈值 HDFS存储数据丢失，HDFS可能会进入安全模式，无法提供写服务。丢失的块数据无法恢复。 1000 主NameNode RPC处理平均时间 14021 NameNode RPC处理平均时间超过阈值 NameNode无法及时处理来自HDFS客户端、依赖于HDFS的上层服务、D
JDBCServer接口介绍 简介 JDBCServer是Hive中的HiveServer2的另外一个实现，它底层使用了Spark SQL来处理SQL语句，从而比Hive拥有更高的性能。 JDBCServer是一个JDBC接口，用户可以通过JDBC连接JDBCServer来访问Sp
加载数据到Hive表中 功能介绍 本小节介绍了如何使用HQL向已有的表employees_info中加载数据。从本节中可以掌握如何从本地文件系统、MRS集群中加载数据。以关键字LOCAL区分数据源是否来自本地。 样例代码 -- 从本地文件系统/opt/hive_examples_
加载Hive数据 功能介绍 本小节介绍了如何使用HQL向已有的表employees_info中加载数据。从本节中可以掌握如何从集群中加载数据。 样例代码 -- 从本地文件系统/opt/hive_examples_data/目录下将employee_info.txt加载进employees_info表中
告警，且按照告警参考处理无效。 问题现象 集群出现告警“ALM-43006 JobHistory进程堆内存使用超出阈值”并且按照指导处理以后，运行一段时间又会出现同样的告警。 原因分析 可能存在JobHistory内存泄露问题，需要安装相应的补丁修复。 处理步骤 适当调大JobHistory进程堆内存。
FORMAT CSV" < /opt/data 数据表需提前创建好。 CSV格式数据导出 导出数据为CSV格式的文件，可能存在CSV注入的安全风险，请谨慎使用。 clickhouse client --host 主机名/ClickHouse实例IP地址 --database 数据库名
用户需要在HBase中对指定的数据库或表设置权限，才能够创建表、查询数据、删除数据、插入数据、更新数据以及授权他人访问HBase表。 仅开启了Kerberos认证的集群（安全模式）支持创建HBase角色。 如果当前组件使用了Ranger进行权限控制，须基于Ranger配置相关策略进行权限管理，具体操作可参考添加HBase的Ranger访问权限策略。
如果需要从远端HDFS恢复数据，需满足以下条件： 需准备一个用于恢复数据的备集群，且该集群已完成数据备份，详细操作请参见备份CDL业务数据。如果主集群部署为安全模式，且主备集群不是由同一个FusionInsight Manager管理，则必须配置系统互信，请参见配置MRS集群间互信。如果主集群部署为普通模式，则不需要配置互信。
/opt/hadoopclient 执行以下命令，配置环境变量。 source bigdata_env 根据集群认证模式，完成HetuEngine客户端登录。 安全模式：执行以下命令，完成用户认证并登录HetuEngine客户端。 kinit hetu_test hetu-cli --catalog hive
加载Impala数据 功能简介 本小节介绍了如何使用Impala SQL向已有的表employees_info中加载数据。从本节中可以掌握如何从集群中加载数据。 样例代码 -- 从本地文件系统/opt/impala_examples_data/目录下将employee_info.
恢复数据后可能导致元数据与业务数据无法匹配，HDFS进入安全模式且HDFS服务启动失败。 前提条件 如果需要从远端HDFS恢复数据，需要准备备集群，且已完成数据备份，详细操作请参见备份HDFS NameNode元数据。如果主集群部署为安全模式，且主备集群不是由同一个FusionInsight
计分析。JDBCServer包含一个长时运行的Spark任务，在beeline中执行的语句都会交给该任务执行。 开启Kerberos认证的安全集群启动示例： cd $SPARK_HOME/bin ./beeline -u 'jdbc:hive2://ha-cluster/default;user
、删除数据、插入数据、更新数据以及授权他人访问HBase表。 本章节适用于MRS 3.x及之后版本。 仅开启了Kerberos认证的集群（安全模式）支持创建HBase角色。 如果当前组件使用了Ranger进行权限控制，须基于Ranger配置相关策略进行权限管理，具体操作可参考添加HBase的Ranger访问权限策略。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
