检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
准备Manager应用开发环境 准备Manager应用开发和运行环境 配置并导入Manager样例工程 父主题: Manager管理开发指南
op/data1/)的用户自有数据。 登录MRS管理控制台。 在集群详情页面,选择“节点管理”。 单击待更换磁盘的“节点名称”进入弹性云服务器管理控制台,单击“关机”。 联系华为云支持人员在后台更换磁盘。 在弹性云服务器管理控制台,单击“开机”,将已更换磁盘的节点开机。 执行fdisk
service命令。 关闭防火墙服务。 例如,EulerOS环境下执行systemctl stop firewalld.service命令。 父主题: 集群管理类
此工具会初始化Carbon环境和预读取表的元数据到JDBCServer,所以更适合在多主实例、静态分配模式下使用。 父主题: Spark运维管理
<jobid>”)中。 /taskmanagers 任务管理员信息。 /taskmanagers/<taskmanagerid>/metrics 任务管理员的度量信息。 /taskmanagers/<taskmanagerid>/log 任务管理员的日志信息。 /taskmanagers/<
<jobid>”)中。 /taskmanagers 任务管理员信息。 /taskmanagers/<taskmanagerid>/metrics 任务管理员的度量信息。 /taskmanagers/<taskmanagerid>/log 任务管理员的日志信息。 /taskmanagers/<
<jobid>”)中。 /taskmanagers 任务管理员信息。 /taskmanagers/<taskmanagerid>/metrics 任务管理员的度量信息。 /taskmanagers/<taskmanagerid>/log 任务管理员的日志信息。 /taskmanagers/<
为了运行MRS产品Spark2x组件的Python3接口样例代码,需要完成下面的操作。 操作步骤 客户端机器必须安装有Python3,其版本不低于3.6。 在客户端机器的命令行终端输入python3可查看Python版本号。如下显示Python版本为3.8.2。 Python 3.8.2 (default, Jun 23
为了运行MRS产品Spark2x组件的Python3接口样例代码,需要完成下面的操作。 操作步骤 客户端机器必须安装有Python3,其版本不低于3.6。 在客户端机器的命令行终端输入python3可查看Python版本号。如下显示Python版本为3.8.2。 Python 3.8.2 (default, Jun 23
如果业务需要保证高可用和高性能。 参考修改集群服务配置参数进入Kafka服务全部配置页面,在服务端配置如表1中参数。 表1 服务端高可用性和高性能参数说明 参数 默认值 说明 unclean.leader.election.enable true 是否允许不在ISR中的副本被选举为Leader,如果设置为true,可能会造成数据丢失。
Manager,单击“主机”,查看并记录所有主机的业务IP。 以root用户登录1记录的节点,在所有节点都执行以下命令,在“/usr/bin/”目录下添加“python3”的软连接。 cd /usr/bin ln -s python3 python 重新启动HetuEngine计算实例。 父主题: HetuEngine故障排除
根据官方建议和实践经验,在维度基数小于1万的时候,对维度字段做LowCardinality编码,导入性能会有略微下降,查询性能提升明显,数据存储空间下降明显。 在默认的情况下,声明了LowCardinality的字段会基于数据生成一个全局字典,并利用倒排索引建立Key和位置的对应关系。如果数据的基数大于
果,可通过over.window.interval配置该功能,配置如下: 表1 FlinkSQL OVER窗口数据超期退窗功能 参数名称 默认值 说明 over.window.interval -1 相邻2条数据的时间间隔,超过该时间间隔,OVER注册超期触发器,单位毫秒。 -1:不开启该功能。
参数说明 参数 描述 默认值 spark.sql.adaptive.enabled 自适应执行特性的总开关。 注意:AQE特性与DPP(动态分区裁剪)特性同时开启时,SparkSQL任务执行中会优先执行DPP特性,从而使得AQE特性不生效。集群中DPP特性是默认开启的,因此开启AQE特性的同时,需要将DPP特性关闭。
> IndexServer2x的Full GC次数”,单击“确定”,查看IndexServer2x进程的Full GC次数是否大于阈值(默认12)。 是,执行3。 否,执行6。 图1 IndexServer2x的Full GC次数 在FusionInsight Manager首页,选择“集群
不同用户授予不同权限控制,主要介绍下面两个部分: 集群运维管理员控制列表(Admin Acl) 该功能主要用于指定YARN集群的运维管理员,其中,MRS集群管理员列表由参数“yarn.admin.acl”指定。集群运维管理员可以访问ResourceManager WebUI,还能
影响其他用户正常访问集群的Manager管理界面。 在MRS管理控制台为MRS的Manager界面绑定了EIP后,通过弹性公网IP列表界面无法直接解绑EIP。 如需解绑,可通过调用EIP服务的相关API接口进行解绑: 登录EIP管理控制台,在EIP列表中查看并记录需要解绑的公网IP地址对应的ID信息。
e表的列。 输入与输出 输入:需要输出的字段。 输出:ClickHouse表。 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 数据库名 配置ClickHouse表所在的数据库。 string 是 default 表名 配置数据写入ClickHouse对应的表名。
“增加常量字段”算子,用于直接生成常量字段。 输入与输出 输入:无 输出:常量字段 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 配置字段 配置常量字段相关信息: 输出字段名:配置字段名。 类型:配置字段类型。 时间格式:字段类型为“DATE”或“TIME”或“T
session所在的节点IP sessionId session的ID startTime session开始连接的时间 finishTime session结束连接的时间 duration session连接时长 totalExecute 在该session上执行的SQL数 表5 sql常用信息 参数 描述