检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
选择“现有集群”,选中一个运行中的集群并单击集群名称。进入集群详情页面。 选择“弹性伸缩”页签。 在已有弹性伸缩策略右边单击“删除”按钮,在弹出的对话框中单击“确定”。 开启或关闭已有弹性伸缩策略 登录MRS管理控制台。 选择“现有集群”,选中一个运行中的集群并单击集群名称。进入集群详情页面。
bytes参数,使得replica.fetch.max.bytes的值大于等于message.max.bytes,使得不同Broker上的Partition的Replica可以同步到全部消息。 保存配置,查看集群是否存在配置过期的服务,如果存在,需重启对应服务或角色实例使配置生效。 修改消费者业务应用中fetch
发布时间 2020-07-06 解决的问题 MRS 2.0.6.1 修复问题列表: MRS Manager 优化补丁机制 解决偶现获取监控指标为空的问题 解决DLF+Presto查询时字段中包含换行符,数据和文件显示问题。 补丁兼容关系 无 安装补丁的影响 安装MRS 2.0.6.1补丁期间会重启MRS
图1 创建工程 在“New Project”页面选择“Java”,然后配置工程需要的JDK和其他Java库。如图2所示。配置完成后单击“Next”。 图2 配置工程所需SDK信息 在会话框中填写新建的工程名称。然后单击Finish完成创建。 图3 填写工程名称 父主题: 准备MapReduce应用开发环境
HBase的compaction动作完成,即触发HBase文件合并,方法如下: 方法1:使用HBase shell客户端,在客户端手动执行major_compact操作。 方法2:编写HBase客户端代码,调用HBaseAdmin类中的compact方法触发HBase的compaction动作。
SecurityKafkaWordCount。 当Streaming DataFrame/Dataset中有新的可用数据时,outputMode用于配置写入Streaming接收器的数据。 public class SecurityKafkaWordCount { public static
安装补丁 安装补丁 将从OBS路径中下载的补丁(MRS_3.1.0_TROS_Tools_patch_20240430.tar.gz)工具放至主OMS节点的“/home/omm”目录下。 执行如下命令下载补丁,如果已存在,可跳过此步骤。 wget ${补丁下载地址} 补丁下载地址请参考补丁下载地址。
-job的租户id为1中获取的tenantID。 curl -k -i --basic -u admin:{密码} -X DELETE 'https://{omsIp}:28443/web/api/v2/clusters/1/tenants/{launcher-job的租户id}'
库文件夹同级的目录“src/main/resources”下,具体步骤请参考在Linux调测程序。 使用root用户登录安装了集群客户端的节点。 cd /opt/client source bigdata_env 创建输入Topic和输出Topic,与样例代码中指定的Topic名
使用root登录客户端安装节点,执行如下命令: cd 客户端安装目录 执行以下命令环境变量并认证用户: source bigdata_env kinit 创建的业务用户(未开启Kerberos认证的用户请跳过该操作) 将以下参数添加到“Spark/spark/conf/spark-defaults.conf”文件中并保存:
运行作业。 Flink对接OBS 使用安装客户端的用户登录Flink客户端安装节点。 执行如下命令初始化环境变量。 source 客户端安装目录/bigdata_env 配置好Flink客户端,具体配置参考从零开始使用Flink的步骤1至步骤4。 启动session。 普通集群(未开启Kerberos认证)
EL Hue的访问日志级别。 DEBUG ERROR WARN INFO DEBUG HANDLER_AUDITSLOG_LEVEL Hue的审计日志级别。 DEBUG ERROR WARN INFO DEBUG HANDLER_ERRORLOG_LEVEL Hue的错误日志级别。
protocol", protocol)”注释掉。 当Streaming DataFrame/Dataset中有新的可用数据时,outputMode用于配置写入Streaming接收器的数据。其默认值为“append”。 public class SecurityKafkaWordCount
// 创建和hbase的连接通道 Connection connection = ConnectionFactory.createConnection(hbConf); // 声明表的描述信息 TableName
internalReleaseLease(FSNamesystem.java:3937) 根因分析:被上传的文件损坏,因此会上传失败。 验证办法:cp或者scp被拷贝的文件,也会失败,确认文件本身已损坏。 解决办法 文件本身损坏造成的此问题,采用正常文件进行上传。 父主题: 使用HDFS
Tag 参数 是否必选 参数类型 描述 key 是 String 参数解释: 标签的键。 约束限制: 不涉及 取值范围: 最大长度128个字符,不能为空字符串。 同一资源的key值不能重复。 标签的key值可以包含任意语种字母、数字、空格和_.:=+-@,但首尾不能含有空格,不能以_sys_开头。
在Linux环境调测程序 编译并生成Jar包,并将Jar包复制到与依赖库文件夹同级的目录“src/main/resources”下,具体步骤请参考在Linux调测程序。 使用root用户登录安装了集群客户端的节点。 cd /opt/client source bigdata_env kinit
库文件夹同级的目录“src/main/resources”下,具体步骤请参考在Linux调测程序。 使用root用户登录安装了集群客户端的节点。 cd /opt/client source bigdata_env 创建输入Topic和输出Topic,与样例代码中指定的Topic名
节点上(通常是集群外的某个节点),启动时先在集群中启动AppMaster进程,进程启动后要向Driver进程注册信息,注册成功后,任务才能继续。从AppMaster日志中可以看出,无法连接至Driver,所以任务失败。 解决办法 请检查Driver进程所在的IP是否可以ping通。
y.kerberos.login.keytab :”配置项错误,未进行安全配置。 解决办法 从MRS上下载用户的keytab认证文件,并放置到Flink客户端所在节点的某个目录下。 在“flink-conf.yaml”文件中配置: keytab路径。 security.kerberos