检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Spark Streaming企业级能力增强 配置Spark Streaming对接Kafka时数据后进先出功能 配置Spark Streaming对接Kafka可靠性 配置Structured Streaming使用RocksDB做状态存储 父主题： 使用Spark/Spark2x
FE实例IP地址 执行命令后输入数据库登录用户密码。 Doris FE的查询连接端口，可以通过登录Manager，单击“集群 > 服务 > Doris > 配置”，查询Doris服务的“query_port”参数获取。 Doris FE实例IP地址可通过登录MRS集群的Manager界面，单击“集群
icast功能： (可选）服务端HMaster默认已开启并配置该特性，当节点上生效网卡除管理IP与业务IP挂载网卡外还存在其余网卡时，还需登录FusionInsight Manager界面，选择“集群 > 服务 > HBase > 配置 > 全部配置 > HMaster（角色） >
此功能用于从服务端限定Hive任务的最大map数，避免HiveSever服务过载而引发的性能问题。 操作步骤 进入Hive服务配置页面： MRS 3.x之前版本，单击集群名称，登录集群详情页面，选择“组件管理 > Hive > 服务配置”，单击“基础配置”下拉菜单，选择“全部配置”。 若集群详情页面没有“组件管理”页
修改核心表属性，设置表级别优先级。 以客户端安装用户登录安装了HBase客户端的节点，并配置环境变量。 cd HBase客户端安装目录 source bigdata_env 若集群已启用Kerberos认证（安全模式），需执行以下命令认证用户。 kinit 组件业务用户 执行以下命令登录HBase客户端并修改表描述：
Impala常见配置参数 本章节适用于MRS 3.x及后续版本。 参数入口 在Manager系统中，选择“集群 > 服务 > Impala > 配置”，选择“全部配置”。在搜索框中输入参数名称。 参数说明 下表仅列举了部分常用参数，实际参数以Manager页面为准，参数详情请参见官网https://docs
batchNum=10 表1 配置说明表 配置名称 默认值 含义 loadBalancerIPList - 必填参数，配置为LoadBalance的IP列表。 登录Manager，选择“集群 > 服务 > ClickHouse > 实例”，查看所有ClickHouseBalancer实例对应的业务IP地址。
batchNum=10 表1 配置说明表 配置名称 默认值 含义 loadBalancerIPList - 必填参数，配置为LoadBalance的IP列表。 登录Manager，选择“集群 > 服务 > ClickHouse > 实例”，查看所有ClickHouseBalancer实例对应的业务IP地址。
保存配置，重启Spark服务。 登录Spark客户端节点，执行如下命令： cd 客户端安装目录 source bigdata_env source Spark/component_env 安全模式执行以下命令，普通模式无需执行： kinit test，输入密码完成认证（首次登录需要修改密码） 使
写成功之后，会将旧数据移除到回收站，并且同时限制该目录不能为Hive元数据库中已经存在的数据库路径。 进入Hive服务配置页面： MRS 3.x之前版本，单击集群名称，登录集群详情页面，选择“组件管理 > Hive > 服务配置”，单击“基础配置”下拉菜单，选择“全部配置”。 若集群详情页面没有“组件管理”页
(state=42000,code=40000) 原因分析 创建的新用户没有Hive组件的操作权限。 解决方案 MRS Manager界面操作： 登录MRS Manager页面，选择“系统配置 > 角色管理 > 添加角色”。 输入角色名称。 在“权限”区域选择Hive，出现Hive管理员权限和Hive表的读写权限。
MRS集群管理员已明确业务需求，并准备一个Kafka管理员用户（属于kafkaadmin组，普通模式不需要）。 已安装Kafka客户端。 操作步骤 以客户端安装用户，登录已安装Kafka客户端的节点。 切换到Kafka客户端安装目录，例如“/opt/client”。 cd /opt/client 执行以下命令，配置环境变量。
被全部删除。在spark2.3版本中，增加了对未指定表达式的分区动态匹配的支持，此种语法与Hive的动态分区匹配语法行为一致。 配置参数 登录FusionInsight Manager系统，选择“集群 > 待操作集群的名称 > 服务 > Spark2x > 配置”，单击“全部配置”，搜索以下参数。
将MapReduce程序的分析结果移动到数据分析结果目录，并将数据文件的权限设置成660。 为了满足每天分析一次的需求，需要每天重复执行一次1.a～1.b。 业务实现。 登录客户端所在节点，新建“dataLoad”目录，作为程序运行目录，后面编写的文件均保存在该目录下。例如“/opt/client/Oozie/
MRS集群管理员已明确业务需求，并准备一个Kafka管理员用户（属于kafkaadmin组，普通模式不需要）。 已安装Kafka客户端。 操作步骤 以客户端安装用户，登录已安装Kafka客户端的节点。 切换到Kafka客户端安装目录，例如“/opt/client”。 cd /opt/client 执行以下命令，配置环境变量。
CLUSTER关键字的表监控查询。 复制表数据同步 数据同步菜单路径 MRS 3.2.0之前版本：登录FusionInsight Manager，选择“集群 > 服务 > ClickHouse > 数据同步状态”。 MRS 3.2.0及之后版本，登录FusionInsight Manager，选择“集群 > 服务
被全部删除。在spark2.3版本中，增加了对未指定表达式的分区动态匹配的支持，此种语法与Hive的动态分区匹配语法行为一致。 配置参数 登录FusionInsight Manager系统，选择“集群 > 服务 > Spark2x > 配置”，单击“全部配置”，搜索以下参数。 参数
安全模式集群为rangeradmin，普通模式集群为admin）登录Ranger管理界面为用户添加Hive权限控制策略。 选择“集群 > 服务 > Ranger”，单击“Ranger Web UI”右侧的超链接登录Ranger WebUI页面。 安全模式集群需单击页面右上角的用户名，在下拉框中单击“Log
jar），如果没有请参考Sqoop1.4.7适配MRS 3.x集群章节中的步骤3下载对应mysql包。 sqoop export（HDFS到MySQL） 登录客户端所在节点。 执行如下命令初始化环境变量。 source /opt/client/bigdata_env 使用sqoop命令操作sqoop客户端。
权限后，可通过show create table查看表结构。 操作步骤 进入Hive服务配置页面： MRS 3.x之前版本，单击集群名称，登录集群详情页面，选择“组件管理 > Hive > 服务配置”，单击“基础配置”下拉菜单，选择“全部配置”。 若集群详情页面没有“组件管理”页
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
