检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Spark的Shuffle过程需要写本地磁盘，Shuffle是Spark性能的瓶颈，I/O是Shuffle的瓶颈。配置多个磁盘则可以并行的把数据写入磁盘。如果节点中挂载多个磁盘，则在每个磁盘配置一个Spark的localDir，这将有效分散Shuffle文件的存放，提高磁盘I/O的效率。如果只有一个磁盘，配置了多个目录，性能提升效果不明显。
以下代码片段在com.huawei.bigdata.hbase.examples包的“HBaseSample”类的testCreateTable方法中。 public void testCreateTable() { LOG.info("Entering testCreateTable
户跨域使用。集群配置互信具体操作步骤请参考集群互信管理章节。 多集群互信场景下，以符合跨域访问的用户身份，使用从其中一个manager系统中获取到的用于Kerberos安全认证的keytab文件和principal文件，以及多个Manager系统各自的客户端配置文件，可实现一次认
障，请联系华为云技术支持处理。 登录FusionInsight Manager。 选择“主机”并单击故障主机的“主机名称”，在“实例”列表中单击DataNode，选择“更多 > 退服”。 该主机下若存在DataNode、NodeManager、RegionServer和Click
创建高查询性能的CarbonData表 操作场景 本章节根据超过50个测试用例总结得出建议，帮助用户创建拥有更高查询性能的CarbonData表。 表1 CarbonData表中的列 Column name Data type Cardinality Attribution msname String 3千万 dimension
yyy-mm-dd_hh-mm-ss>.[编号].log.zip”。最多保留最近的20个压缩文件，压缩文件保留个数可以在Manager界面中配置。 表1 Flume日志列表 日志类型 日志文件名 描述 运行日志 /flume/flumeServer.log FlumeServer运行环境信息日志。
以下代码片段在com.huawei.bigdata.hbase.examples包的“HIndexExample”类的listIndicesIntable方法中。 public void listIndicesIntable() { LOG.info("Entering Listing Hindex
然后根据相关过滤器调整退避时间（单次退避最长时间为50000ms）。 请参考修改集群服务配置参数，进入HDFS的“全部配置”页面，在搜索框中输入参数名称。 表1 NameNode ECN配置 参数 描述 缺省值 dfs.pipeline.ecn 进行该配置后，DataNode能够向客户端发送阻塞通知。
将需要执行的命令参数添加到配置项“hive.security.authorization.sqlstd.confwhitelist.append”中。 单击保存并重启HiveServer后即可。如下图所示： 方案2： 登录Manager界面，修改Hive参数。 MRS Manager界面操作：登录MRS
然后根据相关过滤器调整退避时间（单次退避最长时间为50000ms）。 请参考修改集群服务配置参数，进入HDFS的“全部配置”页面，在搜索框中输入参数名称。 表1 NameNode ECN配置 参数 描述 缺省值 dfs.pipeline.ecn 进行该配置后，DataNode能够向客户端发送阻塞通知。
配置ClickHouse默认用户密码 登录集群Manager页面，选择“集群 > 服务 > ClickHouse > 配置 > 全部配置”。 在搜索栏中搜索参数“users.default.password”，并修改参数密码，如图1所示： 图1 修改默认用户密码 登录安装客户端的节点，执行以下命令，切换到客户端安装目录。
示例 运行日志 <yyyy-MM-dd HH:mm:ss> <Log Level> <产生该日志的线程名字> <产生该日志的类名> <log中的 message> [2024-05-22 10:37:10.000] [INFO ] [job-status-refresh-task-
选择“集群 > 服务 > Yarn”，单击“ResourceManager WebUI”后的链接进入Yarn原生页面。 根据告警“定位信息”中的任务名找到异常任务，查找并记录作业的“application ID”，是否可以在Yarn页面上查看到作业日志。 图1 作业的“application
选择“集群 > 服务 > Yarn”，单击“ResourceManager WebUI”后的链接进入Yarn原生页面。 根据告警“定位信息”中的任务名找到异常任务，查找并记录作业的“application ID”，是否可以在Yarn页面上查看到作业日志。 图1 作业的“application
x及之后版本）。然后选择“集群 > 待操作的集群名称 > 服务 > Hive > 配置 > 全部配置”。 修改Hive配置： MRS 3.x之前版本：在搜索框中输入参数名称，搜索“templeton.protocol.type”，修改参数值为HTTPS或者HTTP，修改后重启Hive服务即可使用对应的协议。
以下代码片段在com.huawei.bigdata.hbase.examples包的“HBaseSample”类的testMultiSplit方法中。 public void testMultiSplit() { LOG.info("Entering testMultiSplit
以下代码片段在com.huawei.bigdata.hbase.examples包的“HBaseSample”类的testMultiSplit方法中。 public void testMultiSplit() { LOG.info("Entering testMultiSplit
以下代码片段在com.huawei.bigdata.hbase.examples包的“HBaseSample”类的testMultiSplit方法中。 public void testMultiSplit() { LOG.info("Entering testMultiSplit
些配置。 代码样例 此代码片段在com.huawei.bigdata.kafka.example.security包的LoginUtil类中。 /** * 用户自己申请的机机账号keytab文件名称 */ private static final
存堆大小是1GB。 操作步骤 通过调大如下的参数来进行AM调优。 参数入口： 在Yarn客户端的“mapred-site.xml”配置文件中调整如下参数。“mapred-site.xml”配置文件在客户端安装路径的conf目录下，例如“/opt/client/Yarn/config”。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
