检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
/opt/client/bigdata_env命令配置环境变量。 执行kinit admin命令。 执行zkCli.sh -server ZooKeeper节点业务IP地址:2181连接ZooKeeper。 执行deleteall /recovering删除垃圾数据。然后执行quit退出ZooKeeper连接。
确保集群安装完成，包括HDFS、Yarn、Spark和Kafka。 将kafka的Broker配置参数“allow.everyone.if.no.acl.found”的值修改为“true”(普通集群不需配置)。 创建Topic。 {zkQuorum}表示ZooKeeper集群信息，格式为IP:port。 $KA
不输出至taskmanager.log，无法使用Web页面进行查看相应日志信息。 修改客户端的配置文件“conf/logback.xml”，在文件中添加如下日志配置信息，加粗标注部分根据需要进行修改。 <appender name="TEST" class="ch.qos
不输出至taskmanager.log，无法使用Web页面进行查看相应日志信息。 修改客户端的配置文件“conf/logback.xml”，在文件中添加如下日志配置信息，加粗标注部分根据需要进行修改。 <appender name="TEST" class="ch.qos
图2 sparkPi作业 作业类型选择“SparkSubmit”。 作业名称为“sparkPi”。 执行程序路径配置为OBS上存放程序的地址。例如：obs://sparkpi/program/spark-examples_2.11-2.1.0.jar。 运行程序参数选择“--class”，值填写“org
其中在Session对象的参数里，设置IoTDBServer所在的节点IP、端口、用户名和密码。 待连接的IoTDBServer所在的节点IP地址，可通过登录FusionInsight Manager界面，选择“集群 > 服务 > IoTDB > 实例”查看。 RPC端口可通过登录FusionInsight
退服和入服MRS角色实例 MRS集群支持将数据存储在不同Core节点，某个Core或Task节点出现问题时，可能导致整个集群状态显示为“异常”，用户可以在MRS指定角色实例退服，使退服的角色实例不再提供服务。 在排除故障后，可以将已退服的角色实例入服。 MRS集群支持退服、入服的角色实例包括：
确定”，如图3所示。 图3 添加用户 在MRS Manager界面选择“系统设置 > 用户管理”，在用户名中选择opentsdbuser，修改密码后，在右侧“操作”列中选择“更多 >下载认证凭据”下载认证凭据，保存后解压得到用户的user.keytab文件与krb5.conf文件
登录FusionInsight Manager页面，选择“集群 > 服务 > ClickHouse > 配置 > 全部配置 > 可靠性”，修改以下参数： 参数 参数说明 profiles.default.insert_quorum 默认值为0，指的不开启副本间强一致， 取值范围：0-9或者auto或者all。
Presto > 服务配置（将“基础配置”切换为“全部配置”） > Coordinator > 自定义 > resourceGroupAlarm”修改每个资源组的阈值。 收集故障信息。 根据故障信息中的HostName登录到集群节点，在presto客户端根据附加信息中的Reource Group查询排队数。
service/DB/gs_ctl-current.log，报如下错误。 检查发现/tmp权限不正确，正确的权限应该为777。 解决办法 修改/tmp权限为777。 重新启动DBService组件。 父主题： 使用DBservice
优化元数据预先缓存的能力： 登录FusionInsight Manager界面，选择“集群 > 服务 > ClickHouse > 配置 > 全部配置”，修改以下参数。 参数 值 参数说明 merge_tree_metadata_cache.continue_if_corrupted true
待操作集群的名称 > Presto”，找到“线程数 (Coordinator)”或“线程数 (Worker)”配置，单击default后的“修改”，将阈值调大（如：增大原数值的20%）。 查看本告警是否恢复。 是，操作结束。 否，执行6。 升级Coordinator规格或扩容Worker节点组。
>下载认证凭据”，如图5所示。保存后解压得到用户的user.keytab文件与krb5.conf文件。用于在样例工程中进行安全认证。 图5 下载认证凭据 参考信息 如果修改了组件的配置参数，需重新下载客户端配置文件并更新运行调测环境上的客户端。 父主题： 准备Hive应用开发环境
场景：在Spark客户端的“{客户端安装目录}/Spark/spark/conf/spark-defaults.conf”配置文件中进行设置，修改如下参数： 参数 说明 默认值 spark.sql.legacy.correlated.scalar.query.enabled 设置为t
datanode.du.reserved”或者“dfs.datanode.du.reserved.percentage”。 配置描述 请参考修改集群服务配置参数，进入HDFS的“全部配置”页面，在搜索框中输入参数名称。 表1 参数描述 参数 描述 默认值 dfs.datanode.du
不输出至taskmanager.log，无法使用Web页面进行查看相应日志信息。 修改客户端的配置文件“conf/logback.xml”，在文件中添加如下日志配置信息，加粗标注部分根据需要进行修改。 <appender name="TEST" class="ch.qos
heck.log”，可以看到gaussdb异常。 图1 gaussdb异常 检查发现“/tmp”权限不对。 图2 /tmp权限 解决办法 修改/tmp的权限。 chmod 1777 /tmp 等待实例状态恢复。 父主题： 使用DBservice
输；Kafka 2.4.0及之后版本，Kafka内核支持从follower副本消费数据，在跨机房、机架的场景中，会大大降低数据传输量，减轻网络带宽压力。社区开放了ReplicaSelector接口来支持此特性，MRS Kafka中默认提供两种实现此接口的方式。 RackAware
开发HBase应用 HBase样例程序开发思路 创建Configuration 创建Connection 创建HBase表 删除HBase表 修改HBase表 插入HBase数据 删除HBase数据 使用Get读取HBase数据 使用Scan读取HBase数据 使用HBase过滤器Filter
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
