检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
MRS提供了ClickHouse的样例代码工程,旨在提供连接重试机制和规范化用户连接和查询的方法,从而减少业务失败的风险,提升系统的稳定性和可靠性。 本样例代码工程包含了连接、查询和插入相关规则和建议,以及相关的代码示例,可以帮助客户更好地理解和实践这些方法。通过使用本代码样例,客户可以有效地降低业务失败的概率,提升用户体验和业务质量。
该问题是由于提交作业的用户所在用户组绑定的MRS CommonOperations策略权限在同步到Manager中后没有Hive相关权限,处理方法如下: 添加Hive服务完成。 登录IAM服务控制台,创建一个用户组,该用户组所绑定策略和提交作业用户所在用户组权限相同。 将提交作业的用户添加到新用户组中。
创建MRS集群 场景描述 本章节指导用户通过API创建一个MRS分析集群。API的调用方法请参见如何调用API。 约束限制 已在待创建集群区域通过虚拟私有云服务创建VPC,子网。创建VPC请参考查询VPC列表和创建VPC。创建子网请参考查询子网列表和创建子网。 已获取待创建集群区
创建集群后,扩容集群Core节点或者Task节点。MRS集群创建成功后不支持调整Master节点数量,即不支持扩缩容Master节点。API的调用方法请参见如何调用API。 约束限制 集群已创建成功并处于“运行中”。 已获取待创建集群区域的项目ID,请参考获取项目ID获取。 已获取集群I
创建集群后,缩容集群Core节点或者Task节点。MRS集群创建成功后不支持调整Master节点数量,即不支持扩缩容Master节点。API的调用方法请参见如何调用API。 约束限制 集群已创建成功并处于“运行中”。 已获取待创建集群区域的项目ID,请参考获取项目ID获取。 已获取集群I
否则取到的内容为空。 配置输入字段,子标签用于精确定位字段所在的标签,相同的标签再通过关键字来精确匹配。 关键字用于匹配字段的内容,配置方法类似于“输入设置”中的“文件过滤器”字段,支持“*”通配符,提供三种标记用于辅助定位,分别为: “#PART”标记,表示取被通配符“*”所
查询、删除等操作。 本文将以“从SFTP服务器导入数据到HDFS”的作业为例,通过引用作业模板的方式,介绍loader-tool工具的使用方法。 本章节适用于MRS 3.x及后续版本。 前提条件 已安装并配置Loader客户端,具体操作请参见使用命令行运行Loader作业。 操作步骤
用户如果在Manager修改了服务配置参数并重启了服务,已安装的客户端需要重新下载并安装,或者使用配置文件更新客户端。 更新客户端配置 方法一: 访问集群Manager,在“集群”下拉列表中单击需要操作的集群名称。 选择“更多 > 下载客户端 > 仅配置文件”。 此时生成的压缩文件包含所有服务的配置文件。
Hue界面主要用于文件、表等数据的查看与分析,禁止通过Hue界面对操作对象进行删除等高危管理操作。如需操作,建议在确认对业务没有影响后通过各组件的相应操作方法进行处理,例如使用HDFS客户端对HDFS文件进行操作,使用Hive客户端对Hive表进行操作。 访问文件浏览器 访问Hue WebUI,请参考访问Hue
Hue界面主要用于文件、表等数据的查看与分析,禁止通过Hue界面对操作对象进行删除等高危管理操作。如需操作,建议在确认对业务没有影响后通过各组件的相应操作方法进行处理,例如使用HDFS客户端对HDFS文件进行操作,使用Hive客户端对Hive表进行操作。 Oozie作业设计器使用介绍 访问Hue
用户如果在Manager修改了服务配置参数并重启了服务,已安装的客户端需要重新下载并安装,或者使用配置文件更新客户端。 更新客户端配置 方法一: 访问FusionInsight Manager(MRS 3.x及之后版本),在“集群”下拉列表中单击需要操作的集群名称。 选择“更多
节点的hosts文件中设置主机名和IP地址映射。主机名和IP地址请保持一一对应。 操作步骤 导出Jar包。 构建Jar包方式有以下两种: 方法一: 选择“Maven > 样例工程名称 > Lifecycle > clean”,双击“clean”运行maven的clean命令。 选择“Maven
机名和IP地址映射。主机名和IP地址请保持一一对应。 在Linux环境中调测Doris应用 导出Jar包。 构建Jar包方式有以下两种: 方法一: 选择“Maven > 样例工程名称 > Lifecycle > clean”,双击“clean”运行maven的clean命令。 选择“Maven
列名称)。HBase通过HTable的put方法来Put数据,可以是一行数据也可以是数据集。 代码样例 以下代码片段在com.huawei.bigdata.hbase.examples包的“HBaseSample”类的testPut方法中。 public void testPut()
在Hue的WebUI界面设置动态存储策略之前,需先在Manager界面设置冷热数据迁移的CRON表达式,并启动自动冷热数据迁移特性。 操作方法为: 修改HDFS服务的NameNode的如下参数值。参数修改方法请参考修改集群服务配置参数。 参数 描述 取值示例 dfs.auto.data.mover.enable
下面代码片段在com.huawei.storm.example.common包的“SplitSentenceBolt”类的“execute”方法中,作用在于拆分每条语句为单个单词并发送。 /** * {@inheritDoc} */ @Override
KafkaBolt" configMethods: #使用调用对象内部方法的形式初始化对象 - name: "withTopicSelector" #调用的内部方法名 args: #内部方法需要的入参 - ref: "defaultTopicSelector"
does not exist:xxx/reduce.xml. 解决方案: 方法一:切换执行引擎为Tez,详情请参考切换Hive执行引擎为Tez。 方法二:set hive.exec.parallel=false; 方法三:set hive.auto.convert.join=false;
更新数据连接 调用方法 请参见如何调用API。 URI PUT /v2/{project_id}/data-connectors/{connector_id} 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 参数解释: 项目编号。获取方法,请参见获取项目ID。
名称)。HBase通过HTable的put方法来Put数据,可以是一行数据也可以是数据集。 代码样例 以下代码片段在com.huawei.bigdata.hbase.examples包的“HBaseExample”类的testPut方法中。其中,com.huawei.bigdata