检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
--force 其中--remove-brokers表示要删除的BrokerId列表,多个间用逗号分隔,--force参数为可选参数,表示忽略磁盘使用率告警,强制生成迁移方案, -enable-az-aware为可选参数,表明生成均衡方案时,开启跨AZ特性,使用此参数时,请务必保证集群已开启跨AZ特性。
MRS集群服务常用端口列表 在自定义购买MRS集群时,如果集群为LTS版本类型,则可以定制组件端口(默认选择为“开源”)。 “组件端口”参数选择“开源”时,组件端口默认值请参考“开源默认端口”列。 “组件端口”参数选择“定制”时,组件端口默认值请参考“定制默认端口”列。 如果仅有
vemeta数据库) 修改Hive元数据可能会导致Hive数据解析错误,Hive无法正常提供服务。 禁止对Hive的元数据表手动进行insert和update操作 修改Hive元数据可能会导致Hive数据解析错误,Hive无法正常提供服务。 严禁修改Hive私有文件目录hdfs:
更多编程语言的SDK代码示例,请参见API Explorer的代码示例页签,可生成自动对应的SDK代码示例。 状态码 状态码 描述 204 操作成功。 错误码 请参见错误码。 父主题: 标签管理接口
Flink Kafka样例程序开发思路 场景说明 假定某个Flink业务每秒就会收到1个消息记录。 基于某些业务要求,开发的Flink应用程序实现功能:实时输出带有前缀的消息内容。 数据规划 Flink样例工程的数据存储在Kafka组件中。向Kafka组件发送数据(需要有Kafk
op/hdfs/data2/mapred/local、/hadoop/hdfs/data3/mapred/local等,不存在的目录会自动忽略。 JAVA开发时,申请资源须在finally释放 申请的HDFS资源需要在try/finally中释放,而不能只在try语句之外释放,否则会导致异常情况下的资源泄漏。
使用Flume服务端从Kafka采集日志保存到HDFS 该任务指导用户使用Flume服务端从Kafka的Topic列表(test1)采集日志保存到HDFS上“/flume/test”目录下。 本配置默认集群网络环境是安全的,数据传输过程不需要启用SSL认证。如需使用加密方式,请参
如果使用其他集群用户访问Manager,第一次访问时需要修改密码。新密码需要满足集群当前的用户密码复杂度策略。请咨询管理员。 默认情况下,在登录时输入5次错误密码将锁定用户,需等待5分钟自动解锁。 注销用户退出Manager时移动鼠标到右上角 ,然后单击“注销”。 父主题: 访问集群Manager
<brokers> <subscribe-type> <topic> <checkpointDir> 其中配置示例如下: 如果报没有权限读写本地目录的错误,需要指定“spark.sql.streaming.checkpointLocation”参数,且用户必须具有该参数指定的目录的读、写权限。
StateStore 负责检查Impala的所有进程健康状态管理进程,进程名为statestored,当有Impalad的进程因硬件失败、网络错误、软件原因或者其他原因下线时,StateStore负责通知到其他的Impalad进程,避免请求分发到不可用的节点上。 Impala Catalog
Server中使用该函数,执行SQL语句。 SELECT addDoubles(1,2,3); 若重新连接客户端再使用函数出现[Error 10011]的错误,可执行reload function;命令后再使用该函数。 在Hive Server中删除该函数,执行SQL语句。 DROP FUNCTION
x版本集群还支持在Manager页面上直接查看实例节点上实际的环境变量、角色配置等配置文件内容,以供运维人员在需要快速排查实例对应配置项是否配置错误或者查看部分隐藏类型的配置项。 查看已修改的组件配置参数 登录集群Manager页面。 选择“集群 > 配置”。 根据操作场景,选择对应操作页面:
/tmp/test 客户端常见使用问题 问题一:当执行HDFS客户端命令时,客户端程序异常退出,报“java.lang.OutOfMemoryError”的错误。 该问题是由于HDFS客户端运行时所需的内存超过了HDFS客户端设置的内存上限(默认为128MB)。可以通过修改“<客户端安装路径>/H
程序会打印高于或等于所设置级别的日志,设置的日志等级越高,打印出来的日志就越少。 表2 日志级别 级别 描述 ERROR ERROR表示错误日志输出。 WARN WARN表示当前事件处理存在异常信息。 INFO INFO表示系统及各事件正常运行状态信息。 DEBUG DEBUG表示系统及系统调试信息。
使用Flume服务端从Kafka采集日志保存到HDFS 操作场景 该任务指导用户使用Flume服务端从Kafka的Topic列表(test1)采集日志保存到HDFS上“/flume/test”目录下。 本章节适用于MRS 3.x及之后版本。 本配置默认集群网络环境是安全的,数据传
更多编程语言的SDK代码示例,请参见API Explorer的代码示例页签,可生成自动对应的SDK代码示例。 状态码 状态码 描述 204 操作成功。 错误码 请参见错误码。 父主题: 标签管理接口
更多编程语言的SDK代码示例,请参见API Explorer的代码示例页签,可生成自动对应的SDK代码示例。 状态码 状态码 描述 200 可用区信息 错误码 请参见错误码。 父主题: 可用区
配置Flink通过IAM委托访问OBS 参考配置MRS集群通过IAM委托对接OBS完成存算分离集群配置后,即可在Flink客户端访问OBS并行文件系统并运行作业。 Flink对接OBS 使用安装客户端的用户登录Flink客户端安装节点。 执行如下命令初始化环境变量。 source
网络读信息 读包错误率 统计采集周期内该主机上该网口的读包错误率。 0.5% 读包丢包率 统计采集周期内该主机上该网口的读包丢包率。 0.5% 读吞吐率 统计周期内网口的平均读吞吐率(MAC层)。 80% 网络写信息 写包错误率 统计采集周期内该主机上该网口的写包错误率。 0.5%
签发Flink证书样例 将该样例代码生成generate_keystore.sh脚本,放置在Flink客户端的bin目录下。 #!/bin/bash KEYTOOL=${JAVA_HOME}/bin/keytool KEYSTOREPATH="$FLINK_HOME/conf/"