检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
开源版本中HBase对于系统表ACL做了过滤,ACL信息不会同步至备集群,通过新加一个过滤器org.apache.hadoop.hbase.replication.SystemTableWALEntryFilterAllowACL,允许ACL信息同步至备集群,用户可以通过配置hbase.replication
once语义: # checkpoint的语义 execution.checkpointing.mode: EXACTLY_ONCE 通过查看监控信息定位Back Pressure点 Flink提供了很多的监控指标,根据这些指标可以分析任务过程中的性能状况及瓶颈。 【示例】配置采样的样本数和时间间隔:
utput”。 服务配置参数:使用默认值即可,如需手动配置作业相关参数,可参考运行Flink作业。 图4 添加Flink作业 确认作业配置信息后,单击“确定”,完成作业的新增,并等待运行完成。 方式2:通过集群客户端提交作业。 使用root用户登录集群客户端节点,进入客户端安装目录。
BAD_RECORDS_LOGGER_ENABLE false 若设置为true,则将创建Bad Records日志文件,其中包含Bad Records的详细信息。 BAD_RECORDS_ACTION FAIL 以下为Bad Records的四种操作类型: FORCE:通过将Bad Records存储为NULL来自动校正数据。
on重排,这个操作称为shuffle。 由于shuffle类算子存在节点之间的网络传输,因此对于数据量很大的RDD,应该尽量提取需要使用的信息,减小其单条数据的大小,然后再调用shuffle类算子。 常用的有如下几种: combineByKey() : RDD[(K, V)] =>
0x12000059699f69e1 查看HDFS日志获取应用运行情况 可以查看HDFS的namenode日志了解应用运行情况,并根据日志信息调整应用程序。 父主题: 调测HDFS应用
<DEFAULT_PARTITION> 查看MapReduce日志获取应用运行情况。 您可以查看MapReduce日志了解应用运行情况,并根据日志信息调整应用程序。 父主题: 调测MapReduce应用
“冷却时间”:20分钟 单击“确定”。 勾选“我同意授权MRS服务根据以上策略自动进行节点扩容/缩容操作。”。 单击“确定”,等待弹性伸缩集群设置完成。 参考信息 在添加规则时,可以参考表1配置相应的指标。 混合集群的支持分析集群和流式集群的所有指标。 表1该表中不同数值类型取值精度如下: 整型:整数。
<DEFAULT_PARTITION> 查看MapReduce日志获取应用运行情况。 您可以查看MapReduce日志了解应用运行情况,并根据日志信息调整应用程序。 父主题: 调测MapReduce应用
Broker节点的主机名及端口,可通过集群FusionInsight Manager界面中选择“集群 > 服务 > Kafka > 实例”查看Broker实例信息。 SECURITY_PROTOCOL为连接Kafka的协议类型,在本示例中,配置为“PLAINTEXT”。 确认“WordCountDemo
参考参考:在IAM服务创建策略及委托。 配置OBS权限控制映射关系 在MRS控制台,选择“现有集群”并单击集群名称。 在“概览”页签的基本信息区域,单击“OBS权限控制”右侧的“单击管理”。 单击“添加映射”,并参考表1配置相关参数。 表1 添加OBS权限控制映射关系 参数 说明
会生成id,其他操作id为空。 约束限制: 不涉及 取值范围: 不涉及 默认取值: 不涉及 message String 参数解释: 错误信息。 约束限制: 不涉及 取值范围: 不涉及 默认取值: 不涉及 statement String 参数解释: 执行的SQL语句。 约束限制:
时配置弹性伸缩策略。 登录MRS管理控制台。 在购买包含有Task类型节点组件的集群时,参考自定义购买MRS集群配置集群软件配置和硬件配置信息后,在“高级配置”页签的弹性伸缩栏,打开对应Task节点类型后的开关按钮,即可进行弹性伸缩规则及资源计划的配置或修改。 图1 创建集群时配置弹性伸缩
支持使用"-fs"选项,用于指定客户端默认的文件系统地址。 审计日志 冷热数据迁移工具支持以下操作的审计日志。 工具启动状态 行为类型及参数详细信息和状态 工具完成状态 对于启用审计日志工具,在“<HADOOP_CONF_DIR>/log4j.property”文件中添加以下属性。 autodatatool
fprintf(stderr, "hdfsUtime- SUCCESS!, Set time success for %s\n",file); 获取文件信息。 hdfsFileInfo *fileInfo = NULL; if((fileInfo = hdfsGetPathInfo(fs, file))
fprintf(stderr, "hdfsUtime- SUCCESS!, Set time success for %s\n",file); 获取文件信息。 hdfsFileInfo *fileInfo = NULL; if((fileInfo = hdfsGetPathInfo(fs, file))
在FusionInsight Manager“主页”页签的集群名称后单击,单击“下载客户端”下载集群客户端。 在“下载集群客户端”弹窗中填写集群客户端下载信息。 图3 下载集群客户端 “选择客户端类型”中选择“完整客户端”。 “选择平台类型”必须与待安装节点的架构匹配,以“x86_64”为例。
FusionInsight Manager界面中单击“集群 > 服务 > Kafka > 实例”查看Broker在Linux中调测程序实例信息。 SECURITY_PROTOCOL为连接Kafka的协议类型,在本示例中,配置为“PLAINTEXT”。 确认“WordCountDemo
支持使用"-fs"选项,用于指定客户端默认的文件系统地址。 审计日志 冷热数据迁移工具支持以下操作的审计日志。 工具启动状态 行为类型及参数详细信息和状态 工具完成状态 对于启用审计日志工具,在“<HADOOP_CONF_DIR>/log4j.property”文件中添加以下属性。 autodatatool
默认取值: 不涉及 safe_mode_kerberos_exclude_components Array of strings 参数解释: 安全模式kerberos排除组件列表。 约束限制: 不涉及 取值范围: 不涉及 默认取值: 不涉及 表7 NodeConstraints 参数