检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
RPC响应时间的P99超过阈值 告警解释 系统每30秒周期性检测每个HBase服务的RegionServer实例的RPC请求响应时间的P99。当检测到某个RegionServer上的RPC请求响应时间的P99连续10次超出阈值时产生该告警。 当RegionServer实例的RPC请求
k,在2h内生成1千万条请求事件数据,请求事件的时间取值范围为{当前时间-1h 至 当前时间},并为每条请求事件随机生成0-5条展示事件,展示事件的时间取值范围为{请求事件时间 至请求事件时间+5m },为每条展示事件随机生成0-5条点击事件,点击事件的时间取值范围为{展示事件时间
k,在2h内生成1千万条请求事件数据,请求事件的时间取值范围为{当前时间-1h 至 当前时间},并为每条请求事件随机生成0-5条展示事件,展示事件的时间取值范围为{请求事件时间 至请求事件时间+5m },为每条展示事件随机生成0-5条点击事件,点击事件的时间取值范围为{展示事件时间
HBase jar包冲突列表 Jar包名称 描述 hbase-client-2.2.3-*.jar 连接HBase服务必须的jar包。 zookeeper-*.jar 连接ZooKeeper服务必须的jar包。 解决方案 使用MRS集群内的ZooKeeper包“zookeeper*
修改此参数值为“1.0”。 当客户业务侧发送过多超大请求会导致服务端处理慢,导致请求积压过载,当过大请求可以被认为是异常请求时,可以在Manager界面的HBase配置中调整RegionServer以下参数拒绝对应请求。 表3 请求拒绝相关参数调整 参数名称 参数描述 调整策略 hbase
MapReduce样例工程介绍 MRS样例工程获取地址为https://github.com/huaweicloud/huaweicloud-mrs-example,切换分支为与MRS集群相匹配的版本分支,然后下载压缩包到本地后解压,即可获取各组件对应的样例代码工程。 当前MRS提供以下MapReduce相关样例工程:
MRS集群组件如何管理和使用第三方jar包 MRS集群内部分组件支持使用自定义的第三方jar包来满足组件的定制化需求,如果用户应用在使用组件时调用了第三方jar包,可放置到每个节点上指定目录中,重启组件后该目录下的jar会被相应的组件程序自动加载。 放置目录为:组件安装节点的“<集群安装目录>/third_lib/<组件名>”目录。
HBase HBase jar包冲突列表 Jar包名称 描述 hbase-client-2.2.3-*.jar 连接HBase服务必须的jar包。 zookeeper-*.jar 连接ZooKeeper服务必须的jar包。 解决方案 使用MRS集群的ZooKeeper包“zookeeper*
String 队列的内在状态(自身状态)。表示队列的有效状态为OPEN或CLOSED。CLOSED状态的队列不接受任何新的allocation请求。 eopen_state String 队列的外在状态(父队列状态)。有效状态为队列自身状态及其父队列状态的组合。CLOSED状态的队列不接受任何新的allocation请求。
状态码 请求发送以后,您会收到响应,包含状态码、响应消息头和消息体。 状态码是一组从1xx到5xx的数字代码,状态码表示了请求响应的状态,完整的状态码列表请参见状态码。 对于管理员创建IAM用户接口,如果调用后返回状态码为“201”,则表示请求成功。 响应消息头 对应请求消息头,
Key)加密调用请求。 Token认证:通过Token认证通用请求。 AK/SK认证 AK/SK签名认证方式仅支持消息体大小12M以内,12M以上的请求请使用Token认证。 AK/SK既可以使用永久访问密钥中的AK/SK,也可以使用临时访问密钥中的AK/SK,但使用临时访问密钥的AK/S
String 队列的内在状态(自身状态)。表示队列的有效状态为OPEN或CLOSED。CLOSED状态的队列不接受任何新的allocation请求。 eopen_state String 队列的外在状态(父队列状态)。有效状态为队列自身状态及其父队列状态的组合。CLOSED状态的队列不接受任何新的allocation请求。
指定导出数据的分隔符,与需要导出的HDFS中的数据表中的分隔符保持一致。 -m或-num-mappers <n> 启动n个map来并行导入数据,默认是4个,该值请勿高于集群的最大Map数。 -direct 快速模式,利用了数据库的导入工具,如MySQL的mysqlimport,可以比jdbc连接的方式更为高效的将数据导入到关系数据库中。
择其对应的运行依赖包。样例工程对应的运行依赖包详情,请参见1。 运行“Spark on HBase”样例程序 在工程目录下执行mvn package命令生成jar包,在工程目录target目录下获取,比如:FemaleInfoCollection.jar 将生成的Jar包(如CollectFemaleInfo
没有/tmp目录权限导致执行访问OBS的作业报错 问题现象 在使用MRS多用户访问OBS的场景中,执行Spark、Hive、Presto等作业时,出现“/tmp”目录没有权限的报错。 问题原因 作业执行过程中有临时目录,提交作业的用户对临时目录没有操作权限。 解决方法 在集群“概
Flume与其他组件的关系 Flume与HDFS的关系 当用户配置HDFS作为Flume的Sink时,HDFS就作为Flume的最终数据存储系统,Flume将传输的数据全部按照配置写入HDFS中。 具体操作场景请参见典型场景:从本地采集静态日志保存到HDFS和典型场景:从本地采集动态日志保存到HDFS。
其中obs_bucket-name请使用实际的OBS桶名替换。 (可选)请求条件,暂不添加。 图1 自定义策略 单击“确定”完成策略添加。 选择“委托”,并在1中查询到的委托所在行的“操作”列单击“权限配置”。 查询并勾选3中创建的策略。 单击“确定”完成委托权限配置。 重新执行hadoop
Spark2x Spark2x jar包冲突列表 Jar包名称 描述 处理方案 spark-core_2.1.1-*.jar Spark任务的核心jar包。 Spark可以直接使用开源同版本的spark包运行样例代码,但是不同版本的spark-core包在使用的时候可能互相序列化ID不一样,建议使用集群自带jar包。
使用调整集群节点接口时(/v1.1/{project_id}/cluster_infos/{cluster_id}),请求参数“node_id”如何配置? 答: 使用调整集群节点接口时,请求参数“node_id”的值固定为“node_orderadd”。 父主题: 应用开发类
导入任务的标识。每个导入任务,都有一个在单database内部唯一的label。label是用户在导入命令中自定义的名称。通过该label,用户可以查看对应导入任务的执行情况。 column_separator 用于指定导入文件中的列分隔符,默认为\t,可以使用多个字符的组合作为