检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
d”的值设置为“false”。 设置方法：如果未启动beeline，则执行beeline --entireLineAsCommand=false命令；如果已启动beeline，则在beeline中执行!set entireLineAsCommand false命令。 设置完成后，
在Linux环境下可以使用storm命令行完成拓扑的提交。 前提条件 已安装Storm客户端。 当客户端所在主机不是集群中的节点时，需要在客户端所在节点的hosts文件中设置主机名和IP地址映射。主机名和IP地址请保持一一对应。 已执行打包Strom应用业务步骤，打出source.jar。 操作步骤 提交拓扑（
尽力避免OOM。 配置描述 提供两种不同的数据汇聚功能配置选项，两者在Spark JDBCServer服务端的tunning选项中进行设置，设置完后需要重启JDBCServer。 表1 参数说明 参数 说明 默认值 spark.sql.bigdata.thriftServer.useHdfsCollect
37:21088” - hive.metastore.sasl.enabled MetaStore服务是否使用SASL安全加固。表权限功能需要设置为“true”。 true hive.metastore.kerberos.principal Hive组件中MetaStore服务的Pr
tion)方法创建Connection对象。传递的参数为上一步创建的Configuration。 Connection封装了底层与各实际服务器的连接以及与ZooKeeper的连接。Connection通过ConnectionFactory类实例化。创建Connection是重量级
tion)方法创建Connection对象。传递的参数为上一步创建的Configuration。 Connection封装了底层与各实际服务器的连接以及与ZooKeeper的连接。Connection通过ConnectionFactory类实例化。创建Connection是重量级
tion)方法创建Connection对象。传递的参数为上一步创建的Configuration。 Connection封装了底层与各实际服务器的连接以及与ZooKeeper的连接。Connection通过ConnectionFactory类实例化。创建Connection是重量级
tion)方法创建Connection对象。传递的参数为上一步创建的Configuration。 Connection封装了底层与各实际服务器的连接以及与ZooKeeper的连接。Connection通过ConnectionFactory类实例化。创建Connection是重量级
tion)方法创建Connection对象。传递的参数为上一步创建的Configuration。 Connection封装了底层与各实际服务器的连接以及与ZooKeeper的连接。Connection通过ConnectionFactory类实例化。创建Connection是重量级
价格详情 购买集群 自定义购买MRS集群 快速购买MRS集群 04 使用 根据业务发展需要，您可以随时扩容/缩容集群、升级Master节点规格、设置弹性伸缩策略。除此之外，您还可以实时查看监控指标及审计日志，以便及时了解集群和节点的健康状态。 如何创建集群 自定义购买集群 创建存算分离集群
普通模式或者使用密码认证方式时，登录使用的用户。 keytab登录方式，则不需要设置该参数。 bar authentication.password 使用密码认证方式时，登录使用的用户密码。 普通模式或者keytab登录方式，则不需要设置该参数。 用户需要对密码加密，加密方法： 进入“encrypt
address=5006：需要换成3获取到的For JDK1.4.x对应的调试端口。 设置调试断点。 在IDEA代码编辑窗口左侧空白处单击鼠标左键设置相应代码行断点，如图4所示，在SparkPi.scala的29行设置断点。 图3 设置断点 启动调试。 在IDEA菜单栏中选择“Run > Debug
使用HBase过滤器Filter 功能简介 HBase Filter主要在Scan和Get过程中进行数据过滤，通过设置一些过滤条件来实现，如设置RowKey、列名或者列值的过滤条件。 代码样例 以下代码片段在com.huawei.bigdata.hbase.examples包的“
应用任务结束时间变长。 新应用提交后长时间无法运行。 可能原因 NodeManager节点资源过小。 队列最大资源容量设置过小，AM最大资源百分比设置过小。 监控阈值设置过小。 处理步骤 检查NodeManager节点资源 在FusionInsight Manager界面，选择“集群
间操作，则把超时时间设置长一点；如果是短时间操作，则把超时时间设置短一点。而重试次数可以设置为：“(hbase.client.retries.number)*60*1000(ms)”。刚好大于“hbase.client.operation.timeout”设置的超时时间。 父主题：
对于Join操作，由于集群配置不理想和Tez资源设置不合理导致该问题。 处理步骤 可以在beeline上设置配置参数进行解决。 设置以下属性以优化性能（建议在集群级别进行更改） 设置hive.auto.convert.sortmerge.join = true 设置hive.optimize.bucketmapjoin
“下载路径”选择“远端主机”。 将“主机IP”设置为B集群的主Master节点IP地址，设置“主机端口”为“22”，并将“存放路径”设置为“/tmp”。 如果使用SSH登录B集群的默认端口“22”被修改，请将“主机端口”设置为新端口。 “存放路径”最多可以包含256个字符。 “登录用户”设置为“root”。
操作场景 loader-tool工具支持通过作业模板或参数选项的方式，对连接器或者作业进行创建、更新、查询、删除等操作。 本文将以“从SFTP服务器导入数据到HDFS”的作业为例，通过引用作业模板的方式，介绍loader-tool工具的使用方法。 前提条件 已安装并配置Loader客户
如何使用PySpark连接MRS Spark？ 问： 如何在ECS服务器上用PySpark连接内网开启Kerberos认证的MRS Spark集群？ 答： 将Spark的“spark-defaults.conf”文件中“spark.yarn.security.credentials
由于MRS集群节点的NTP时间不同步导致集群访问OBS时鉴权失败 问题现象 集群访问OBS上报403异常。 原因分析 集群Master节点NTP时间与集群外节点的NTP服务器时间不同步，时间相差超过15min，导致集群访问OBS时鉴权失败，上报403异常。 处理步骤 以root用户登录集群主Master节点。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
