检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
只能由英文字母、数字以及“_”和“-”组成,且长度为[1-64]个字符。 默认取值: 不涉及 表2 Query参数 参数 是否必选 参数类型 描述 job_name 否 String 参数解释: 作业名称。 约束限制: 不涉及 取值范围: 只能由英文字母、数字以及“_”和“-”组成,且长度为[1-128]个字符。
扩容集群 目前支持扩容集群Core节点或Task节点,用户可通过增加节点数量处理业务峰值负载。MRS集群节点扩容中和扩容后对现有集群的业务没有影响,扩容后引起的数据倾斜问题可参考配置HDFS DataNode数据均衡页面内容进行规避。 包周期集群扩容 当用户购买了MRS包周期集群
集群ID。如果指定集群ID,则获取该集群做过补丁更新的最新版本元数据。获取方法,请参见获取集群ID。 约束限制: 不涉及 取值范围: 只能由英文字母、数字以及“_”和“-”组成,且长度为[1-64]个字符。 默认取值: 不涉及 请求参数 表2 请求Body参数 参数 是否必选 参数类型 描述 sql_type
滚动重启实例批次执行失败容错次数,默认为0,即表示任意一个批次的实例重启失败后,滚动重启任务终止。 组件重启参考信息 当前MRS集群中,服务和实例是否支持滚动重启如表2所示。 表2 服务和实例是否支持滚动重启 服务 实例 是否支持滚动重启 Alluxio AlluxioJobMaster 是 AlluxioMaster
受影响,建议补丁完成后对于没有单副本诉求时手动修改为false后滚动重启HDFS服务,保证HDFS数据的高可靠; 对于确定存在单副本诉求的文件也可通过dfs.single.replication.exclude.pattern配置项设置单副本的数据文件和目录。 MRS 1.9.3
隔离该节点,否则补丁会安装失败。 新特性和优化 MRS Manager MRS客户端支持通过FI manager/公有云Console更新配置 大数据组件 MRS支持对接lakeformation MemartCC支持统计缓存分片命中次数和驻留时间信息分布 解决的问题 MRS 3
ReadOnlyAccess)的任一服务,若提示权限不足,表示“MRS ReadOnlyAccess”已生效。 MRS IAM权限说明 默认情况下,管理员创建的IAM用户没有任何权限,需要将其加入用户组,并给用户组授予策略或角色,才能使得用户组中的用户获得对应的权限,这一过程称为授权。授权后,用户就可以基于被授予的权限对云服务进行操作。
下载样例工程的Maven工程源码和配置文件,并在本地配置好相关开发工具,可参考通过开源镜像站获取样例工程。 根据集群版本选择对应的分支,下载并获取MRS相关样例工程。 例如本章节场景对应示例为“hdfs-example-security”样例,获取地址:https://github
击编译HQL语句并显示语句是否正确,执行结果将在文本编辑框下方显示。 保存HQL语句 在文本编辑框输入HQL语句,单击右上角的,并输入名称和描述。已保存的语句可以在“保存的查询”页签查看。 查看历史 单击“查询历史记录”,可查看HQL运行情况,支持显示所有语句或只显示保存的语句的
设置值为false,表示要两个副本都插入。 通过执行语句set implicit_transaction='true';,可以使用会话级别的隐式事务。ClickHouse目前没有alter queries中断机制,所以alter queries(如:lightweight delete)执行过程中被中断之后,即便开
使用Hive组件,必须对Hive数据库和表(含外表和视图)拥有相应的权限。在MRS中,完整的Hive权限模型由Hive元数据权限与HDFS文件权限组成。使用数据库或表时所需要的各种权限都是Hive权限模型中的一种。 Hive元数据权限。 与传统关系型数据库类似,MRS的Hive数据库包含“建表”和“查询”权
集群ID。如果指定集群ID,则获取该集群做过补丁更新的最新版本元数据。获取方法,请参见获取集群ID。 约束限制: 不涉及 取值范围: 只能由英文字母、数字以及“_”和“-”组成,且长度为[1-64]个字符。 默认取值: 不涉及 请求参数 无 响应参数 状态码: 202 表2 响应Body参数 参数 参数类型
在本地Windows中调测HDFS程序 操作场景 在代码完成开发后,您可以在Windows开发环境中运行应用。本地和集群业务平面网络互通时,您可以直接在本地进行调测。 HDFS应用程序运行完成后,可直接通过运行结果查看应用程序运行情况,也可以通过HDFS日志获取应用运行情况。 在本地Windows中调测HDFS程序
dfs -ls hdfs://192.168.6.159:9820/tmp 其中,192.168.6.159是集群A中主NameNode的IP地址,9820是客户端与NameNode通信的默认端口。 执行以下命令,在集群A中的目录“/tmp”创建一个文件。 hdfs dfs -touchz
“UDF名称”最多可添加10项,“名称”可自定义,“类名”需与上传的UDF jar文件中UDF函数全限定类名一一对应。 上传UDF jar文件后,服务器默认保留5分钟,5分钟内单击确定则完成UDF创建,超时后单击确定则创建UDF失败并弹出错误提示:本地UDF文件路径有误。 在UDF列表中,
通过开源镜像站获取样例工程。 下载样例工程的Maven工程源码和配置文件,并在本地配置好相关开发工具,可参考通过开源镜像站获取样例工程。 根据集群版本选择对应的分支,下载并获取MRS相关样例工程。 例如本章节场景对应示例为“hcatalog-example”样例,获取地址:https://github.co
test(nonSecurityModeUrl);[2] [1]修改restHostName为待访问的RestServer实例所在节点的IP地址,并将节点IP配置到运行样例代码的本机hosts文件中。 [2]非安全模式采用http模式进行访问HBase REST服务,传入“nonS
test(nonSecurityModeUrl);[2] [1]修改restHostName为待访问的RestServer实例所在节点的IP地址,并将节点IP配置到运行样例代码的本机hosts文件中。 [2]非安全模式采用http模式进行访问HBase REST服务,传入“nonS
否,执行3。 登录故障节点所在主机,执行以下命令切换root用户。 sudo su - root 执行ping Flume Source配置的IP地址命令查看对端主机是否可以ping通。 是,执行3。 否,执行2.d。 联系网络管理员恢复网络。 等待一段时间后,在告警列表中,查看告警是否清除。
Policy”,为对应用户的用户组赋予OBS存储路径的“Read”和“Write”的权限,详细操作请参见添加OBS的Ranger访问权限策略。 例如,为“hgroup1”用户组赋予“obs://obs-test/test/”目录的“Read”和“Write”的权限: 在首页中单击“HADOOP