检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
--指定写入的是Hudi表。 'path' = 'obs://XXXXXXXXXXXXXXXXXX/', --指定Hudi表的存储路径。
新建Thrift客户端，访问ThriftServer，进行根据指定namespace获取tablename以及创建表、删除表的操作。 操作步骤 登录FusionInsight Manager，选择“集群 > 服务 > HBase > 配置 > 全部配置”，搜索并修改ThriftServer实例的配置参数“hbase
查询Hive person表的数据。 根据person表数据的key值去table2表做查询。 把前两步相应的数据记录做相加操作。 把上一步骤的结果写到table2表。 运行前置操作 安全模式下Spark Core样例代码需要读取两个文件（user.keytab、krb5.conf）。user
新建Thrift客户端，访问ThriftServer，进行根据指定namespace获取tablename以及创建表、删除表的操作。 操作步骤 登录FusionInsight Manager，选择“集群 > 服务 > HBase > 配置 > 全部配置”，搜索并修改ThriftServer实例的配置参数“hbase
ZooKeeper服务异常 HDFS服务异常 Yarn服务异常 DBService服务异常 Hive服务异常 HetuEngine缺少HSBroker实例 处理步骤 检查KrbServer服务状态。 在FusionInsight Manager首页，选择“运维 > 告警 > 告警”。 在告警列表中，查看是否有“ALM-25500
现请求超时。 可能原因 该节点HBase实例内存使用率过大，或配置的堆内存不合理，或HBase存在大量的IO操作，导致进程GC频繁。 处理步骤 检查GC时间 在FusionInsight Manager首页，选择“运维 > 告警 > 告警”，选中“告警ID”为“19007”的告警
产生告警的主机名。 磁盘名 产生告警的磁盘名。 对系统的影响 如果IO持续飙高，会对业务操作产生影响，导致业务受损。 可能原因 磁盘老化。 处理步骤 更换磁盘。 在FusionInsight Manager界面，选择“运维 > 告警 > 告警”。 查看该告警的详细信息，查看定位信息中对
DataNode数据目录创建失败。 DataNode数据目录与系统关键目录（“/”或“/boot”）使用同一磁盘。 DataNode数据目录中多个目录使用同一磁盘。 处理步骤 查看告警原因和产生告警的DataNode节点信息。 在MRS集群详情页面，单击“告警管理”，在告警列表中单击此告警。 在“告警详情”区域
enable=true 关闭Ranger鉴权：spark.ranger.plugin.authorization.enable=false 操作步骤 登录Manager页面，选择“系统 > 权限 > 角色”。 单击“添加角色”，然后“角色名称”和“描述”输入角色名字与描述。 设置角色“配置资源权限”请参见表1。
x及之后版本的Impala客户端节点（Euler2.9及以上操作系统）需要安装Python2版本，具体请参考Impala客户端安装Python2。 操作步骤 以客户端安装用户，登录安装客户端的节点。 执行以下命令，切换到客户端安装目录。 cd /opt/hadoopclient 执行以下命令配置环境变量。
如何让不同的业务程序分别用不同的Yarn队列？ 答： 在Manager页面上创建一个新的租户，然后将不同的集群业务用户绑定至不同的租户。 操作步骤 登录FusionInsight Manager，单击“租户资源”。 在左侧租户列表，选择父租户节点然后单击，打开添加子租户的配置页面，参见表1为子租户配置属性。
设计DAG 操作场景 合理的设计程序结构，可以优化执行效率。在程序编写过程中要尽量减少shuffle操作，合并窄依赖操作。 操作步骤 以“同行车判断”例子讲解DAG设计的思路。 数据格式：通过收费站时间、车牌号、收费站编号...... 逻辑：以下两种情况下判定这两辆车是同行车 如果两辆车都通过相同序列的收费站，
如果设置的作业需要使用指定YARN队列功能，该用户需要已授权有相关YARN队列的权限。 设置任务的用户需要获取该任务的执行权限，并获取该任务对应的连接的使用权限。 操作步骤 设置作业基本信息 登录“Loader WebUI”界面。 登录FusionInsight Manager系统，具体请参见访问集群Manager。
前提条件： 确保本端和远端集群的数据节点上分别部署至少一个HSFabric实例。 确保本端和远端集群的HSFabric实例所在节点的网络互通。 操作步骤： 开放本域数据源。通过创建Virtual Schema方式来对远端访问请求屏蔽本域的物理数据源的真实Schema信息、实例信息，远端使用Virtual
如果集群已开启Kerberos认证，已在Manager界面创建1个人机用户并关联到hadoop和hive用户组，主组为hadoop。 操作步骤 下载并安装Hudi客户端，具体请参考安装MRS客户端章节。 使用客户端安装用户登录客户端节点，执行如下命令进入客户端目录。 cd /opt/hadoopclient
介绍loader-tool工具的使用方法。 前提条件 已安装并配置Loader客户端，具体操作请参见使用客户端运行Loader作业。 操作步骤 使用安装客户端的用户登录客户端所在节点。 执行以下命令，进入Loader客户端的loader-tool工具目录。例如，Loader客户端
ouse的入库性能。 使用分区替换或增加的方式写入数据 为避免目标表写入脏数据导致的删改，先将数据写入临时表，再从临时表写入目标表。 操作步骤如下： 创建一张与目标表table_dest结构、分区键、排序键、主键、存储策略、引擎都一致的临时表table_source。 先把数据写
相关的代码示例，可以帮助客户更好地理解和实践这些方法。通过使用本代码样例，客户可以有效地降低业务失败的概率，提升用户体验和业务质量。 操作步骤 先获取clickhouse-example样例代码工程。 代码获取地址：https://github.com/huaweicloud/h
max_suppkey)) ) c group by s_name order by numwait desc, s_name limit 100; 操作步骤 分析业务。 从业务入手分析是否可以简化SQL，例如可以通过合并表去减少嵌套的层级和Join的次数。 如果业务需求对应的SQL无法简化，则需要配置DRIVER内存：
本章节适用于MRS 3.x及后续版本。 前提条件 完成了Loader客户端的安装与配置，具体操作请参见使用命令行运行Loader作业。 操作步骤 使用安装客户端的用户登录客户端所在节点，具体操作请参见使用命令行运行Loader作业。 执行以下命令，进入“backup.propert
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
