检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
将场景说明中的原日志文件放置在HDFS系统中。 本地新建两个文本文件，分别将log1.txt及log2.txt中的内容复制保存到input_data1.txt和input_data2.txt。
") sk := os.Getenv("CLOUD_SDK_SK") projectId := "{project_id}" auth := basic.NewCredentialsBuilder().
操作步骤 登录FusionInsight Manager，选择“系统 > 权限 > 角色”。 单击“添加角色”，然后在“角色名称”和“描述”输入角色名字与描述。 设置角色“配置资源权限”请参见表1。
MRS 3.x及之后版本的Impala客户端节点（Euler2.9及以上操作系统）需要安装Python2版本，具体请参考Impala客户端安装Python2。 操作步骤 以客户端安装用户，登录安装客户端的节点。 执行以下命令，切换到客户端安装目录。
云数据迁移服务（CDM）可以请轻松将外部数据源（关系数据库、对象存储服务、文件系统服务等）加载到Hive分区表。 本实践为您演示使用CDM云服务将MySQL数据导入到MRS集群内的Hive分区表中。
如果使用select *，会大大加重系统的压力。 通过limit限制查询返回的数据量，节省计算资源、减少网络开销。 如果返回的数据量过大，客户端有可能出现内存溢出等服务异常。
登录FusionInsight Manager系统，具体请参见访问FusionInsight Manager（MRS 3.x及之后版本）。 选择“集群 > 待操作集群名称 > 服务 > Loader”。
MRS 3.x及之后版本的Impala客户端节点（Euler2.9及以上操作系统）需要安装Python2版本，具体请参考Impala客户端安装Python2。 操作步骤 以客户端安装用户，登录安装客户端的节点。 执行以下命令，切换到客户端安装目录。
图1 Hive结构 约束与限制 需要在Manager的“系统 > 权限 > 用户”界面上创建一个LDAP中已存在的同名用户，并添加“hive”和“hadoop”用户组，该用户用于HiveServer的健康检查。 本章节配置说明适用于MRS 3.1.0及之后版本。
如果MRS集群开启了Kerberos认证，登录FusionInsight Manager页面，选择“系统 > 权限 > 用户”，添加一个人机用户sparkuser，用户组（hadoop、hive），主组（hadoop）。
登录FusionInsight Manager系统，具体请参见访问集群Manager。 选择“集群 > 服务 > Loader”。 单击“LoaderServer(节点名称，主)”打开“Loader WebUI”界面。
登录FusionInsight Manager系统，具体请参见访问集群Manager。 选择“集群 > 服务 > Loader”。 单击“LoaderServer(节点名称，主)”打开“Loader WebUI”界面。
当HDFS上存储了大量的文件和文件夹时，这两个section的加载就会非常耗时，影响HDFS文件系统的启动时间。
/user/example/output/part-r-0000 输出结果保存在HDFS文件系统中，可以通过命令将其下载到本地进行查看。
登录FusionInsight Manager系统，具体请参见访问FusionInsight Manager（MRS 3.x及之后版本）。 选择“集群 > 待操作集群名称 > 服务 > Loader”。
修改集群节点机架信息对系统的影响 修改主机机架名称，将影响HDFS的副本存放策略、Yarn的任务分配及Kafka的Partition存储位置。修改后需重启HDFS、Yarn和Kafka，使配置信息生效。
命令中如果携带认证密码信息可能存在安全风险，在执行命令前建议关闭系统的history命令记录功能，避免信息泄露。 登录MRS管理控制台。 选择“现有集群”，单击集群名称进入集群详情页面。 选择“组件管理 > Ranger > 服务配置”，修改RangerAdmin配置。
资源异常 ALM-12006 节点故障 ALM-12007 进程故障 ALM-12010 Manager主备节点间心跳中断 ALM-12011 Manager主备节点同步数据异常 ALM-12012 NTP服务异常 ALM-12014 设备分区丢失 ALM-12015 设备分区文件系统只读
") sk := os.Getenv("CLOUD_SDK_SK") projectId := "{project_id}" auth := basic.NewCredentialsBuilder().
Execution特性后，Spark SQL能自动处理数据倾斜场景，对倾斜的分区，启动多个task进行处理，每个task读取若干个shuffle输出文件，再对这部分任务的Join结果进行Union操作，以达到消除数据倾斜的效果 配置参数 登录FusionInsight Manager系统
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
