检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
r页面,选择“集群 > 服务 > ClickHouse > 配置 > 全部配置 > ClickHouseServer(角色) > 引擎”,修改如下参数: 参数 参数说明 kafka_auth_mode ClickHouse连接Kafka的认证方式,参数值选择NoAuth。 选择“集群
YARN支持在新的ApplicationAttempt启动时,保留之前Container的状态,因此运行中的作业可以继续无故障的运行。 图1 AM作业保留 配置描述 参考修改集群服务配置参数进入Yarn服务参数“全部配置”界面,在搜索框中输入参数名称。 根据表1,对如下参数进行设置。 表1 AM作业保留相关参数
日志说明 日志级别默认为INFO,可以通过调整日志打印级别(DEBUG,INFO,WARN,ERROR,FATAL)来显示更详细的信息。可以通过修改log4j.properties文件来实现,如: hbase.root.logger=INFO,console log4j.logger.org
YARN支持在新的ApplicationAttempt启动时,保留之前Container的状态,因此运行中的作业可以继续无故障的运行。 图1 AM作业保留 配置描述 参考修改集群服务配置参数进入Yarn服务参数“全部配置”界面,在搜索框中输入参数名称。 根据表1,对如下参数进行设置。 表1 AM作业保留相关参数
rn时,由于使用了SSL安全加密,需要确保Curl命令所支持的SSL协议在集群中已添加支持。若不支持,可对应修改集群中SSL协议。例如,若Curl仅支持TLSv1协议,修改方法如下: 登录FusionInsight Manager页面,选择“集群 > 待操作集群的名称 > 服务 >
EXPLAIN 语法 EXPLAIN [ ( option [, ...] ) ] statement 其中选项可以是以下选项之一: FORMAT { TEXT | GRAPHVIZ | JSON } TYPE { LOGICAL | DISTRIBUTED | VALIDATE
否,执行4。 请确认并排查该客户端是否存在进程连接泄露的情况。 单击“连接数(按客户端IP)”中的,进入“阈值设置”页面,单击“操作”下的“修改”。参考“集群 > 待操作集群的名称 > 服务 > ZooKeeper > 配置 > 全部配置 > quorumpeer”中参数“ max
否,执行4。 单击指定用户左侧的,检查该用户所在的用户组和角色分配的权限是否满足本次业务需求。若不满足,则需创建新角色并绑定用户,也可以直接修改用户的用户组或角色权限。 参见创建用户(MRS 3.x及之后版本),创建本次业务所需要的用户,同时关联业务所需要的用户组或者角色信息。 登录互信系统的FusionInsight
udi数据的交互式快速查询场景。 HetuEngine跨源功能简介 出于管理和信息收集的需要,企业内部会存储海量数据,包括数目众多的各种数据库、数据仓库等,此时会面临数据源种类繁多、数据集结构化混合、相关数据存放分散等困境,导致跨源查询开发成本高,跨源复杂查询耗时长。 HetuE
Spark Structured Streaming状态操作样例程序(Scala) 功能介绍 在Spark结构流应用中,跨批次统计每个session期间发生了多少次event以及本session的开始和结束timestamp;同时输出本批次被更新状态的session。 代码样例
Spark Structured Streaming状态操作样例程序(Scala) 功能介绍 在Spark结构流应用中,跨批次统计每个session期间发生了多少次event以及本session的开始和结束timestamp;同时输出本批次被更新状态的session。 代码样例
息(MRS 3.1.2及之后版本)。 前提条件 使用Kafka客户端时:已安装客户端,例如安装目录为“/opt/client”,以下操作的客户端目录只是举例,请根据实际安装目录修改。 使用KafkaUI时:已创建具有KafkaUI页面访问权限的用户,如需在页面上进行相关操作,例如
> 配置Independent”。 打开或关闭Independent属性,根据提示输入密码,单击“确认”完成身份验证。 身份验证通过后,等待修改OMS配置完成,单击“完成”结束操作。 关闭Independent属性功能后: 已拥有这个属性的业务用户可以在右上角用户名下取消Indep
在数据入库/湖后,对于发生变化的表/分区进行主动refresh更新impala元数据 在非Impala引擎(Hive,Spark等)新建、修改表,需要在Impala侧执行Invalidate metadata <table>同步表schema信息,需要查询该表时才会同步全量元数据
值(默认90%)。 如果无对应图表,可单击右侧下拉三角,选择“定制”并勾选对应项,单击“确定”。 是,执行3。 否,执行6。 联系运维人员修改对应进程的内存使用配置。 重启上报告警对应的进程。 等待10分钟,观察界面告警是否清除。 是,处理完毕。 否,执行6。 收集故障信息。 在FusionInsight
请求。 URL连接介绍 多租户模式 多租户模式的客户端读取ZooKeeper节点中的内容,连接对应的ProxyServer服务。连接字符串为: 安全模式下: Kinit认证方式下的客户端URL如下所示: jdbc:hive2://<zkNode1_IP>:<zkNode1_Port>
useTicketCache=false storeKey=true debug=true; }; 文件内容中的test@<系统域名>为示例,实际操作时请做相应修改。 在Linux环境中添加样例工程运行所需的classpath,例如: export YARN_USER_CLASSPATH=
集群操作指导 MapReduce服务 MRS 创建MRS集群 04:11 创建MRS集群 MapReduce服务 MRS 修改服务配置参数 04:01 MRS修改服务配置参数指导 MapReduce服务 MRS 配置MRS集群弹性伸缩 03:44 配置MRS集群弹性伸缩 MapReduce服务
登录FusionInsight Manager界面,查看右上角任务。 查看当前集群是否存在正在运行的任务。 是,等待任务运行结束。 否,检查结束。 检查集群是否有非标修改组件配置的操作 询问客户是否有做过相关操作。 查看该客户档案,是否有记录相关非标操作。 是,需要详细评估补丁跟非标配置的兼容性。 否,检查结束。
TABLE AS操作 使用CREATE TABLE时不支持partitioned_by和bucketed_by 不支持使用alter table修改column 描述 创建包含SELECT查询结果的新表。 使用CREATE TABLE创建空表。 使用IF NOT EXISTS子句时,如果表已经存在则不会报错。