检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
参数说明 描述 yarn-session.sh -at,--applicationType <arg>:为Yarn application自定义类型。 -D <property=value>:动态参数配置。 -d,--detached:关闭交互模式,启动一个分离的Flink YARN session。
单击“创建恢复任务”。 在“任务名称”填写恢复任务的名称。 选择恢复源。 在“恢复配置”,勾选待恢复数据的元数据组件。 设置恢复参数。 在“路径类型”,选择一个备份目录的类型。 选择不同的备份目录时,对应设置如下: “LocalDir”:表示备份文件保存在主管理节点的本地磁盘上。选择此参数值,还需要
[编号].gz”。 默认最多保留最近的10个压缩文件,压缩文件保留个数可以在Manager界面中配置。 表1 ClickHouse日志列表 日志类型 日志文件名 描述 ClickHouse相关日志 /var/log/Bigdata/clickhouse/clickhouseServer/clickhouse-server
/v1.1/{project_id}/clusters/{cluster_id}/tags/action 表1 路径参数 参数 是否必选 参数类型 描述 cluster_id 是 String 参数解释: 集群ID。如果指定集群ID,则获取该集群做过补丁更新的最新版本元数据。获取方法,请参见获取集群ID。
开启Ranger鉴权后查询大宽表耗时较长。 Ranger不支持禁用OBS鉴权策略。 influxdb生成的parquet文件timestamp类型为纳秒类型,Hive读取报错。 外置RDS MYSQL场景开启添加列优化执行alter cascade操作分区表由于库中分区量较大导致MYSQL异常。
e WebUI”后的链接,进入HSConsole界面。 在“计算实例”页签,在待操作的实例所属租户所在行的“操作”列单击“配置”。 在“自定义配置”单击“增加”添加如下参数。 表1 容错执行参数 参数 取值示例 参数文件 描述 retry-policy TASK coordinator
arkThriftServerJavaExample 通过JDBC访问Spark SQL的Java/Scala示例程序。 本示例中,用户自定义JDBCServer的客户端,使用JDBC连接来进行表的创建、数据加载、查询和删除。 sparknormal-examples/Spark
实例”,查看并记录“FlinkServer (主)”和“FlinkServer (备)”的业务IP。 以root用户登录主FlinkServer节点,用户密码为安装前用户自定义,请咨询系统管理员。 执行以下命令检查备FlinkServer节点是否可达。 ping 备FlinkServer IP地址 是,执行6。 否,执行4。
产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 JDBCServer2x进程堆内存使用率过高,会影响JDBCServer2x进程运行的性能,甚至造成内存溢
产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Trigger condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 上报DataNode块数超过阈值告警时,表示该DataNode节点上块数太多,继续写入可能会由于磁盘空间不足导致写入HDFS数据失败。
统就会自动细粒度关联数据存储源的权限,不需要感知表的存储路径,无需进行二次授权。 Ranger页面OBS授权对象只能针对Manager中自定义的用户组,内置用户组不支持,用户组仅由数字0~9、字母a~Z、下划线或#组成,且最大长度为52个字符,否则将导致策略添加失败。 启用Ker
产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 JDBCServer2x进程直接内存使用率过高,会影响JDBCServer2x进程运行的性能,甚至造成内存
Manager,选择“系统 > 权限 > 用户”,单击“添加用户”,进入添加用户页面,配置以下参数: 用户名:输入需要创建的用户名称。 用户类型:选择用户类型,包括“人机”和“机机”。 集群已启用Kerberos认证(安全模式)推荐选择“人机”。 集群未启用Kerberos认证(普通模式)推荐选择“机机”。
[编号].log.zip”。最多保留最近的100个压缩文件,压缩文件保留个数可以在Manager界面中配置。 表1 HDFS日志列表 日志类型 日志文件名 描述 运行日志 hadoop-<SSH_USER>-<process_name>-<hostname>.log HDFS系统
不能与系统或操作系统中已有的用户名相同。 如果用户名称中包含其他特殊字符(例如“.”、“@”等)可能导致同步IAM用户失败。 设置“用户类型”,可选值包括“人机”和“机机”。 “人机”用户:用于在FusionInsight Manager的操作运维场景,以及在组件客户端操作的场
持orc、rc(RCFile)、parquet三种格式。 rc格式目前只支持查看数据。 -c 打印当前元信息中列的信息。 列信息包含类名、类型、序号。 -d 打印数据文件中的数据,可通过“'limit=x'”限制数据量。 数据为当前指定的数据文件内容,通过limit限制数据量时一次只能指定一个数据量大小。
protocol”的值,同时修改“producer.properties”中的“bootstrap.servers”的值,确保security.protocol协议类型和bootstrap.servers中的端口号匹配。 父主题: Kafka应用开发常见问题
r/om/sbin 执行以下命令,配置定时备份Manager告警、审计或者服务审计信息。 ./setNorthBound.sh -t 信息类型 -i 远程服务器IP -p 服务器使用的SFTP或FTP端口 -u 用户名 -d 保存信息的路径 -c 时间间隔(分钟) -m 每个保存文件的信息记录数
"number_reserved_container":2 } ] } 表1 all application参数 参数属性 参数类型 参数描述 applicationlist array applicationID的数组。 queue String application队列名称。
FlinkCheckpointJavaExample Flink异步Checkpoint机制的Java/Scala示例程序。 本工程中,程序使用自定义算子持续产生数据,产生的数据为一个四元组(Long,String,String,Integer)。数据经统计后,将统计结果打印到终端输出。