检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置ClickHouse元数据预先缓存到内存 本章节适用于MRS 3.3.1-LTS及之后版本。 操作场景 在业务表数量以及表数据量比较大的场景下,滚动重启过程中加载元数据比较耗时,可通过RocksDB将元数据预先缓存到内存,从而提高元数据的加载效率。 开启表元数据预先缓存能力
配置Yarn模式下Spark动态资源调度 操作场景 对于Spark应用来说,资源是影响Spark应用执行效率的一个重要因素。当一个长期运行的服务(比如JDBCServer),如果分配给它多个Executor,可是却没有任何任务分配给它,而此时有其他的应用却资源紧张,这就造成了很大的资源浪费和资源不合理的调度。
如果Windows开发环境中使用IBM JDK,不支持在Windows环境中直接运行应用程序。 需要在运行样例代码的本机hosts文件中设置访问节点的主机名和公网IP地址映射,主机名和公网IP地址请保持一一对应。 在本地Windows环境中调测Doris应用 单击IDEA右边Maven窗口的“Reimport
集群业务用户绑定至不同的租户。 操作步骤 登录FusionInsight Manager,单击“租户资源”。 在左侧租户列表,选择父租户节点然后单击,打开添加子租户的配置页面,参见表1为子租户配置属性。 表1 子租户参数一览 参数名 描述 集群 显示上级父租户所在集群。 父租户资源
通过JDBC方式实现查询HetuEngine SQL任务 功能简介 通过JDBC连接方式,组装对应的SQL发送到HetuServer执行,并能查询对应的SQL语句执行进度和状态。 import io.XXX.jdbc.XXXResultSet; import java.sql.Connection;
目的端NameService名称:修改备集群的NameService名称。 目的端NameNode IP地址:修改备集群NameNode业务平面IP地址,支持主节点或备节点。 目的端路径:修改备集群保存备份数据的HDFS目录。不支持填写HDFS中的隐藏目录,例如快照或回收站目录;也不支持默认的系统目录,例如
创建Yarn角色 操作场景 该任务指导MRS集群管理员创建并设置Yarn的角色。Yarn角色可设置Yarn管理员权限以及Yarn队列资源管理。 如果当前组件使用了Ranger进行权限控制,须基于Ranger配置相关策略进行权限管理。对于MRS 3.x及后续版本集群,具体操作可参考
配置Yarn模式下Spark动态资源调度 操作场景 对于Spark应用来说,资源是影响Spark应用执行效率的一个重要因素。当一个长期运行的服务(比如JDBCServer),若分配给它多个Executor,可是却没有任何任务分配给它,而此时有其他的应用却资源紧张,这就造成了很大的资源浪费和资源不合理的调度。
jar),如果没有请参考Sqoop1.4.7适配MRS 3.x集群章节中的步骤3下载对应mysql包。 sqoop export(HDFS到MySQL) 登录客户端所在节点。 执行如下命令初始化环境变量。 source /opt/client/bigdata_env 使用sqoop命令操作sqoop客户端。 sqoop
ALM-50219 当前查询执行线程池等待队列的长度超过阈值 告警解释 系统每30秒周期性检查当前查询执行线程池等待队列的长度超过阈值,当检查到该值超出阈值(默认值为20)时产生该告警。 当前查询执行线程池等待队列的长度低于阈值时,告警清除。 告警属性 告警ID 告警级别 是否可自动清除
径。 文件必须以原子方式放置在给定的目录中,这在大多数文件系统中可以通过文件移动操作实现。 Socket Source host:连接的节点ip,必填 port:连接的端口,必填 不支持 - Rate Source rowsPerSecond:每秒产生的行数,默认值1 rampU
径。 文件必须以原子方式放置在给定的目录中,这在大多数文件系统中可以通过文件移动操作实现。 Socket Source host:连接的节点ip,必填 port:连接的端口,必填 不支持 - Rate Source rowsPerSecond:每秒产生的行数,默认值1 rampU
径。 文件必须以原子方式放置在给定的目录中,这在大多数文件系统中可以通过文件移动操作实现。 Socket Source host:连接的节点ip,必填 port:连接的端口,必填 不支持 - Rate Source rowsPerSecond:每秒产生的行数,默认值1 rampU
创建CDL数据同步任务作业 操作场景 CDLService WebUI提供可视化的作业编排页面,用户可快速创建CDL作业,实现实时数据入湖。 前提条件 开启Kerberos认证的集群需已创建具有CDL管理操作权限的用户。 操作步骤 使用具有CDL管理操作权限的用户或admin用户
否,执行11。 收集故障信息。 在FusionInsight Manager首页,选择“运维 > 日志 > 下载”。 在“服务”中勾选待操作集群的如下节点信息。 ZooKeeper HDFS 单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟,单击“下载”。
目前Hudi集成在Spark2x中,用户从Manager页面下载Spark2x客户端即可,例如客户端安装目录为:“/opt/client”。 使用root登录客户端安装节点,执行如下命令: cd /opt/client 执行source命令加载环境变量: source bigdata_env source Hudi/component_env
径。 文件必须以原子方式放置在给定的目录中,这在大多数文件系统中可以通过文件移动操作实现。 Socket Source host:连接的节点ip,必填 port:连接的端口,必填 不支持 - Rate Source rowsPerSecond:每秒产生的行数,默认值1 rampU
已在Manager界面添加人机用户,例如:iceberguser,且该用户属于hadoop和hive用户组,主组为hadoop。 操作步骤 使用root登录客户端安装节点,执行如下命令: cd 客户端安装目录 执行以下命令环境变量并认证用户: source bigdata_env kinit 创建的业务用户(
调用SpringBoot接口访问HBase/Phoenix应用安全认证 操作场景 为了运行MRS产品HBase/Phoenix组件的SpringBoot接口样例代码,需要完成下面的操作。 该章节内容适用于MRS 3.3.0及之后版本。 前提条件 已获取样例工程运行所需的配置文件及
distinct出现次数超过2就进行“提示”的规则。 图1 添加HetuEngine SQL防御规则 登录安装有HetuEngine客户端的节点,执行以下命令,切换到客户端安装目录。 cd /opt/hadoopclient 执行以下命令,配置环境变量。 source bigdata_env