检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
断开HDFS文件系统连接。 hdfsDisconnect(fs); 准备运行环境 在节点上安装客户端,例如安装到“/opt/client”目录。 Linux中编译并运行程序 进入Linux客户端目录,运行如下命令导入公共环境变量: cd/opt/client sourcebigdata_env
“overwrite”是可选参数,如果未配置,则默认值为“false”。 DELETE 删除文件。 NA 配置描述 必须定期调用迁移工具,并需要在客户端的“hdfs-site.xml”文件中进行以下配置。 表3 参数描述 参数 描述 默认值 dfs.auto-data-movement.policy
class); kryo.register(AggrateValue.class); } } 您可以在Spark客户端对spark.kryo.registrationRequired参数进行配置,设置是否需要Kryo注册序列化。 当参数设置为true时,如
class); kryo.register(AggrateValue.class); } } 您可以在Spark客户端对spark.kryo.registrationRequired参数进行配置,设置是否需要Kryo注册序列化。 当参数设置为true时,如
serviceDiscoveryMode=hsfabric 说明: XXX:驱动名,请以实际样例代码中的内容为准。 catalog、schema分别是JDBC客户端要连接的catalog和schema名称。 HSFabric_IP:HSFabric_Port是HSFabric的URL,多个URL以逗号隔开。例如:“192
view”来改变允许使用的物化视图个数。 开启物化视图“重写缓存” Session级别: 参考快速使用HetuEngine访问Hive数据源在HetuEngine客户端执行set session rewrite_cache_enabled=true System级别: 使用用于访问HetuEngine W
直接丢弃,不进行处理。 如果Streaming应用中使用了state函数,则不允许开启对接Kafka可靠性功能。 配置描述 在Spark客户端的“spark-defaults.conf”配置文件中进行设置。 表1 参数说明 参数 说明 默认值 spark.streaming.Kafka
配置quota的目录Znode使用率超出阈值”左侧下拉菜单,在“定位信息”的“服务目录”中获取告警的Znode路径。 以集群用户登录ZooKeeper客户端,删除告警对应Znode下的无用数据。 登录FusionInsight Manager,选择“集群 > 待操作集群的名称 > 服务 > 告
示列统计信息: DESC FORMATTED src a 使用限制:当前统计信息收集不支持针对分区表的分区级别的统计信息。 在Spark客户端的“spark-defaults.conf”配置文件中进行表1设置。 表1 参数介绍 参数 描述 默认值 spark.sql.cbo.enabled
serviceDiscoveryMode=hsfabric 说明: XXX:驱动名,请以实际样例代码中的内容为准。 catalog、schema分别是JDBC客户端要连接的catalog和schema名称。 HSFabric_IP:HSFabric_Port是HSFabric的URL,多个URL以逗号隔开。例如:“192
ZooKeeper Znode数量使用率超出阈值”左侧下拉菜单,在“定位信息”的“服务目录”中获取告警的Znode路径。 以集群用户登录ZooKeeper客户端,删除告警对应Znode下的无用数据。 登录FusionInsight Manager,选择“集群 > 待操作集群的名称 > 服务 > ZooKeeper
a1.txt,input_data2.txt到此目录,命令如下。 在Linux系统HDFS客户端使用命令hdfs dfs -mkdir /tmp/input 在Linux系统HDFS客户端使用命令hdfs dfs -put local_filepath /tmp/input 开发思路
serviceDiscoveryMode=hsbroker 说明: XXX:驱动名,请以实际样例代码中的内容为准。 catalog、schema分别是JDBC客户端要连接的catalog和schema名称。 HSBroker_IP:HSBroker_Port,是HSBroker的URL,多个URL以逗号隔开。例如:“192
serviceDiscoveryMode=hsfabric 说明: XXX:驱动名,请以实际样例代码中的内容为准。 catalog、schema分别是JDBC客户端要连接的catalog和schema名称。 HSFabric_IP:HSFabric_Port是HSFabric的URL,多个URL以逗号隔开。例如:“192
serviceDiscoveryMode=hsbroker 说明: XXX:驱动名,请以实际样例代码中的内容为准。 catalog、schema分别是JDBC客户端要连接的catalog和schema名称。 HSBroker_IP:HSBroker_Port是HSBroker的URL,多个URL以逗号隔开。例如:“192
”中,查看告警对应Znode是否被写入较多数据。 是,执行3。 否,执行4。 图1 资源使用(按二级Znode) 登录ZooKeeper客户端,删除告警对应Znode下的无用数据。 登录FusionInsight Manager,选择“集群 > 待操作集群的名称 > 服务 > Z
class); kryo.register(AggrateValue.class); } } 您可以在Spark客户端对spark.kryo.registrationRequired参数进行配置,设置是否需要Kryo注册序列化。 当参数设置为true时,如
节点间网络互通异常”或“节点故障”等告警。 是,节点间网络不互通,请联系运维人员修复。 否,节点间网络互通,检查结束。 检查弹性伸缩是否关闭 登录华为云管理控制台界面,选择对应集群,单击“弹性伸缩”。 查看当前集群的弹性伸缩策略是否是关闭状态。 否,请跟业务方确认是否可以关闭,如果可以请关
ght_Impala_***/***_Impalad/etc/llama-site.xml 重启impalad实例。 登录到impala客户端所在的节点上,source环境变量,然后执行如下命令。 impala-shell -i {impalad实例ip:port} -Q request_pool=root
MAC系统暂不支持该功能访问MRS,请参考通过弹性公网IP访问MRS集群Manager内容访问MRS。 操作前请提前准备以下信息: 准备一个SSH客户端用于创建SSH隧道,例如使用开源SSH客户端Git。请下载并安装。 已创建好集群,并准备pem格式的密钥文件或创建集群时的密码。 用户本地环境可以访问互联网。