检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
dirs配置值。 执行如下命令查看命令输出的Filesystem信息: df -h log.dirs配置值 执行结果如下: Filesystem所在的分区与“%util”指标比较高的分区相匹配,则考虑在空闲的磁盘上规划Kafka分区,并将log.dirs设置为空闲磁盘目录,然后参考3,对Topi
前提条件 已创建开启Kerberos认证的包含Flume、Kafka等组件的流式集群。可参考购买自定义集群。 已配置网络,使日志生成节点与流集群互通。 使用Flume客户端 普通集群不需要执行2-6。 安装Flume客户端。 可参考安装Flume客户端在日志生成节点安装Flum
jar”,jar包名称以实际打包结果为准。 上传生成的应用包“MRTest-XXX.jar”到Linux客户端上,例如“/opt/client/conf”,与配置文件位于同一目录下。 在Linux环境下运行样例工程。 对于MapReduce统计样例程序,执行如下命令。 yarn jar MRTest-XXX
过连接zookeeper动态获取HiveServer的地址然后来操作Hive,具有高可用性。 使用本机访问MRS集群操作Hive,由于本机与MRS集群的网络不通,只能通过直连HiveServer的方式操作Hive。 方法一:申请一台windows的ECS访问MRS集群操作Hive
待导入文件的文件名中所包含的日志格式。 yyyyMMdd parameter.date.format 调用脚本时,所输入的日期格式,一般保持与“file.date.format”一致。 yyyyMMdd file.format.iscompressed 待导入的文件是否为压缩文件。
False:设置为false,可配置Deny Conditions。 Deny Conditions 策略拒绝条件,配置本策略内拒绝的权限及例外,配置方法与“Allow Conditions”类似,拒绝条件的优先级高于“Allow Conditions”中配置的允许条件。 Exclude from
是,执行11。 否,执行15。 检查网络是否故障,无法访问ldap服务器。 用root用户登录故障节点,在这个节点上使用ping命令检查该节点与LdapServer节点的网络是否畅通。 是,执行6。 否,请联系网络管理员,解决网络故障。 检查Name Service服务是否异常。 用root用户登录故障节点,执行cat
在集群详情页面的“概览”页签,单击“集群管理页面”右侧的“前往 Manager”。 “访问方式”选择“专线访问”,并勾选“我确认已打通本地与浮动IP的网络,可使用专线直接访问MRS Manager。”。 浮动IP为MRS为您访问MRS Manager页面自动分配的IP地址,使用专线访问MRS
/tmp/MRS-client/MRS_Services_Client.tar /opt 在“/opt”目录执行以下命令,解压压缩包获取校验文件与客户端配置包。 tar -xvf MRS_Services_Client.tar 执行以下命令,校验文件包。 sha256sum -c MR
企业项目需要与MRS集群保持一致,其他参数请根据需要填写。 单击“立即创建”。 创建普通账号委托 登录华为云管理控制台。 在服务列表中选择“管理与监管 > 统一身份认证服务 IAM”。 选择“委托 > 创建委托”。 在创建委托页面配置以下参数,并单击“完成”: 委托名称:设置委托名称,
前提条件 已创建开启Kerberos认证的包含Flume、Kafka等组件的流式集群。可参考购买自定义集群。 已配置网络,使日志生成节点与流集群互通。 使用Flume客户端(MRS 3.x之前版本) 普通集群不需要执行2-6。 安装Flume客户端。 可参考安装MRS 3.x之
字符串函数和运算符 字符串运算符 ||表示字符连接 SELECT 'he'||'llo'; –hello 字符串函数 这些函数假定输入字符串包含有效的UTF-8编码的Unicode代码点。不会显式检查UTF-8数据是否有效,对于无效的UTF-8数据,函数可能会返回错误的结果。可以
例如作业需要通过AK/SK方式访问OBS,增加以下服务配置参数: fs.obs.access.key:访问OBS的密钥ID。 fs.obs.secret.key:访问OBS与密钥ID对应的密钥。 - 命令参考 用于展示提交作业时提交到后台执行的命令。 - 表2 Flink作业运行程序参数 参数 描述 示例 -ytm
数学函数和运算符 数学运算符 运算符 描述 + 加 - 减 * 乘 / 除 % 取余 数学函数 abs(x) → [same as input] 返回x的绝对值 SELECT abs(-17.4);-- 17.4 bin(bigint x) -> string 返回x的二进制格式
添加MRS子租户 根据业务对资源消耗以及隔离的规划与需求,用户可以通过MRS创建子租户,将当前租户的资源进一步分配以满足实际使用场景。 如果在添加租户时,租户资源类型选择“非叶子租户”,则支持添加子租户;如果选择“叶子租户”则不支持添加子租户。 前提条件 已参考添加MRS租户添加“非叶子租户”。
pe;host;x-sdk-date, Signature=**************** 请求消息体 请求消息体通常以结构化格式发出,与请求消息头中Content-type对应,传递除请求消息头之外的内容。若请求消息体中参数支持中文,则Content-type中需声明字符编码
资源计划列表。若该参数为空表示不启用资源计划。 约束限制: 当启用弹性伸缩时,资源计划与自动伸缩规则需至少配置其中一种。不能超过5条。 rules 否 Array of Rule objects 参数解释: 自动伸缩的规则列表。 约束限制: 当启用弹性伸缩时,资源计划与自动伸缩规则需至少配置其中一种。不能超过10条。
若为已有的租户取消关联服务资源:在租户列表单击目标的租户,切换到“服务关联”页签,单击“删除”,并勾选“我已阅读此信息并了解其影响。”,再单击“确定”删除与服务资源的关联。 单击“确定”,等待界面提示租户创建成功。 MRS 3.3.0及之后版本集群,单击可以导出当前集群所有租户的基本信息。 通过Manager添加租户(MRS
HDFS客户端写文件close失败 问题背景与现象 HDFS客户端写文件close失败,客户端提示数据块没有足够副本数。 客户端日志: 2015-05-27 19:00:52.811 [pool-2-thread-3] ERROR: /tsp/nedata/collect/UGW
请求参数 无 响应参数 状态码: 200 表3 响应Body参数 参数 参数类型 描述 total_count Long 参数解释: 文件总数,与分页无关。 取值范围: 不涉及 files Array of FileStatusV2 objects 参数解释: 文件列表。 表4 FileStatusV2