检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置流式读取Spark Driver执行结果 配置场景 在执行查询语句时，返回结果有可能会很大（10万数量以上），此时很容易导致JDBCServer OOM（Out of Memory）。因此，提供数据汇聚功能特性，在基本不牺牲性能的情况下尽力避免OOM。 配置描述 提供两种不同
Manager界面，重启HBase服务。 配置phoenix客户端参数(未开启Kerberos认证集群可跳过此步骤)。 配置phoenix连接时使用的认证信息。进入$PHOENIX_HOME/bin，编辑hbase-site.xml文件，需配置参数如表 1 Phoenix参数配置所示。 表2 Phoenix参数配置
密方式，请参考配置Flume加密传输数据采集任务。 前提条件 已安装Flume客户端。 已成功安装集群及Flume服务。 确保集群网络环境安全。 操作步骤 配置Flume角色客户端参数。 使用FusionInsight Manager界面中的Flume配置工具来配置Flume角色客户端参数并生成配置文件。
S租户章节。 配置ClickHouse SQL防御使用约束 防御规则默认动态生效时间为1分钟。 拦截和熔断规则会中断SQL查询，请根据实际业务配置合理的值。 ClickHouse相关规则配置后，需要重新登录客户端生效。 配置ClickHouse SQL防御规则 登录FusionInsight
参考Kafka客户端使用实践，登录到Kafka客户端安装目录。 以Kafka客户端安装用户，登录Kafka安装客户端的节点。 执行以下命令，切换到客户端安装目录。 cd /opt/client 执行以下命令配置环境变量。 source bigdata_env 如果当前集群已启用Kerb
同步MRS集群配置 某个新的配置需要同时下发到集群所有服务，或修改某项配置后导致多个不同服务的“配置状态”为“配置过期”或“失败”时，表示这些服务的配置参数值未同步且未生效，集群管理员可以对集群执行同步配置功能，并在同步配置后重启相关服务实例，使所有服务启用新的配置参数。 前提条件
【Hue WebUI】登录Hue WebUI报错无权限 现象描述 开启Kerberos认证的集群，使用admin用户登录Hue WebUI，报错“无权限或无法连接到hive server，请检查当前用户的hive权限以及hue的hive配置是否正确。”或“No available
如何使用IDEA远程调试 问题 在Spark二次开发中如何使用IDEA远程调试？ 回答 以调试SparkPi程序为例，演示如何进行IDEA的远程调试。 打开工程，在菜单栏中选择“Run > Edit Configurations”。 在弹出的配置窗口中用鼠标左键单击左上角的“+”
warehouse.dir配置 保存并重启Hive服务。 （可选）安装客户端，具体请参考安装MRS集群客户端。如果集群已安装客户端请执行4。 更新客户端配置文件。 执行以下命令修改客户端Hive配置文件目录下的“hivemetastore-site.xml”。 vim 客户端安装目录/Hive
储。 图1 HBase冷热分离原理图 配置HBase冷热数据分离存储 通过在Manager界面修改HBase配置开启冷热分离特性，支持将冷数据存储在OBS，热数据存储在HDFS中。 参考配置Guardian服务对接OBS章节对接OBS。 登录FusionInsight Manager，选择“集群
配置JobHistory本地磁盘缓存 配置场景 JobHistory可使用本地磁盘缓存spark应用的历史数据，以防止JobHistory内存中加载大量应用数据，减少内存压力，同时该部分缓存数据可以复用以提高后续对相同应用的访问速度。 配置参数 登录FusionInsight Manager系统，选择“集群
Yarn常用配置参数 队列资源分配 Yarn服务提供队列给用户使用，用户分配对应的系统资源给各队列使用。完成配置后，您可以单击“刷新队列”按钮或者重启Yarn服务使配置生效。 参数入口： 用户可在Manager系统中，选择“租户资源 > 动态资源计划 > 队列配置”。 参数说明以
监控指标转储配置”，查看监控转储配置页面配置的FTP用户名、密码、端口、转储模式、公钥是否与服务器端配置一致。 是，执行5。 否，执行4。 填入正确的配置信息，然后单击“确定”，并检查告警是否恢复。 是，执行完毕。 否，执行5。 单击“系统设置 > 监控指标转储配置”，查看“FT
修改集群名称、IAM用户同步等功能，集群的运行状态也将无法监控。 注册华为云并实名认证 如果用户已注册华为云，可直接登录管理控制台，访问MRS服务。如果用户没有登录管理控制台的账号，请先注册华为云。注册成功后，该账号可访问华为云的所有服务，包括MRS服务。 打开华为云网站。 单击“注册”，根据提示信息完成注册。
配置MRS集群作业消息通知 MRS联合消息通知服务（SMN），采用主题订阅模型，提供一对多的消息订阅以及通知功能，能够实现一站式集成多种推送通知方式（短信和邮件通知）。通过配置作业消息通知可以实现您在作业执行成功或作业执行失败时能立即接收到通知。 登录管理控制台。 单击“服务列表”选择“管理与监管
warehouse.dir配置 保存配置，然后单击“集群 > 服务”，在服务列表中重启Hive服务。 更新客户端配置文件。 登录Hive客户端所在的节点，执行以下命令修改Hive客户端配置文件目录下的“hivemetastore-site.xml”。 vi 客户端安装目录/Hive/co
单击“立即购买”创建集群。 当集群开启Kerberos认证时，需要确认是否需要开启Kerberos认证，若确认开启请单击“继续”，若无需开启Kerberos认证请单击“返回”关闭Kerberos认证后再创建集群。 集群创建成功后关闭安全通信 登录MRS管理控制台。 在现有集群列表中，单击待关闭安全通信的集群名称。
用户也可以使用MySQL连接软件或者在Doris WebUI界面连接数据库。 创建Resource。 使用配置委托方式创建Resource 登录FusionInsight Manager界面，选择“集群 > 服务 > Doris > 配置 > 全部配置 > FE（角色） > OBS”，配置以下参数并单击“保存”保存配置：
Connection closed”。 图1 SFTP服务报错 回答 该报错是由于未启用SFTP服务导致。 处理步骤 执行以下命令修改sshd_config配置，并保存退出。 cd /etc/ssh vi sshd_config Subsystem sftp /usr/libexe
配置描述 登录Manager，选择“集群 > 待操作集群的名称 > 服务 > Spark2x > 配置”，单击“全部配置”，搜索并修改以下参数。 表1 参数说明 参数 说明 默认值 spark.proxyserver.hash.enabled 是否使用Hash算法连接ProxyServer。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
