检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
)”。例如要筛选命名规则为字母数字组合的文件，如file1可输入“file\d*”。 在第二个输入框输入正则表达式，支持标准正则表达式。例如要筛选包含“test”的对象，请输入“.*test.*”。例如要筛选以“test”开头的对象，请输入“test.*”。例如要输入以“test”结尾的对象，请输入“.*test”。
OBS是否支持ListObjectsV2协议？ 问： OBS是否支持ListObjectsV2协议？ 答： 不支持。 父主题： 周边生态对接类
现有集群：包括除了“失败”和“已删除”状态以外的所有集群。 历史集群：仅包含“已删除”的集群，目前界面只显示6个月内创建且已删除的集群，若需要查看6个月以前删除的集群，请联系华为云支持人员。 失败任务管理：单击可查看“失败”状态的集群创建任务。 表1 集群列表参数 参数 参数说明 名称/ID 集群的名称，创建集群
openTable(final String name)方法打开表对象。 代码样例 如下是打开表的代码片段： // 打开Kudu表 KuduTable table = client.openTable(tableName); 示例代码中，tableName是要打开的表名。 父主题： 开发Kudu应用
主备集群必须已配置跨集群拷贝。 主备集群上的时间必须一致，而且主备集群上的NTP服务必须使用同一个时间源。 必须在主备集群的所有节点的hosts文件中，配置主备集群所有机器的机器名与业务IP地址的对应关系。 如果主集群的客户端安装在集群外的节点上，也需在该节点的hosts文件中配置主备集群所有机器的机器名与业务IP地址的对应关系。
t文件到OBS时失败 用户问题 通过Sqoop读取MySQL数据，然后直接写到OBS，指定parquet格式时写入报错，不指定parquet时不报错。 问题现象 原因分析 parquet格式不支持hive3，用Hcatalog方式写入。 处理步骤 采用Hcatalog的方式，参数
提交作业失败，报错与OBS相关如何处理？ 问 为什么提交作业失败，报错与OBS相关？ 答 与OBS相关的报错，一般与读写OBS相关，可通过以下步骤进行排查。 查看作业管理中失败作业详情，找到作业详情中的实际作业编号。如果实际作业编号为空，则执行4。 登录Manager界面，选择“集群
支持 支持 MRS集群管理对象说明 MRS集群包含了各类不同的基本对象，不同对象的描述介绍如表2所示。 表2 MRS基本对象概览 对象 描述 举例 组件 可以完成具体业务的一类功能集合。 例如KrbServer组件和LdapServer组件。 实例 组件的具体实例，一般情况下可使用组件表示。
表tbl_src的id字段为Int类型，name字段为String类型。 HQL编写之对象名称长度 HQL的对象名称，包括表名、字段名、视图名、索引名等，其长度建议不要超过30个字节。 Oracle中任何对象名称长度不允许超过30个字节，超过时会报错。PT为了兼容Oracle，对对象的名称进行了限制，不允许超过30个字节。
长时间无响应。 回答 对于上述出现的问题，ResourceManager在其WebUI上提供了MapReduce作业关键步骤的诊断信息，对于一个已经提交到YARN上的MapReduce任务，用户可以通过该诊断信息获取当前作业的状态以及处于该状态的原因。 具体操作：在公有云管理控制台，选择“基本信息
FS复制空文件夹到OBS。 hadoop distcp -Dfs.obs.endpoint=xxx -Dfs.obs.access.key=xxx -Dfs.obs.secret.key=xxx -update hdfs://hacluster/blee obs://xxx/aaa
mapred。 建议通过构造出来的Connection对象的getAdmin()方法来获取HBase的客户端操作对象。 HBase常用接口介绍 HBase常用的Java类有以下几个： 接口类Admin，HBase客户端应用的核心类，主要封装了HBase管理类操作的API，例如建表，删表等操作，部分常见接口参见表表1。
下面代码片段仅为演示，具体代码参见：com.huawei.bigdata.hudi.examples.HoodieWriteClientExample。 创建客户端对象来操作Hudi： String tablePath = args[0]; String tableName = args[1]; SparkConf
mapred。 建议通过构造出来的Connection对象的getAdmin()方法来获取HBase的客户端操作对象。 HBase常用接口介绍 HBase常用的Java类有以下几个： 接口类Admin，HBase客户端应用的核心类，主要封装了HBase管理类操作的API，例如建表，删表等操作，部分常见接口参见表表1。
确保用户已授权访问作业执行时操作的HBase表或phoenix表。 检查磁盘空间，确保没有出现告警且余量满足导入、导出数据的大小。 使用Loader从HDFS/OBS导入数据时，确保HDFS/OBS输入路径目录名、输入路径的子目录名及子文件名不能包含特殊字符/\"':;,中的任意字符。 如果设置的作业需要
产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Trigger condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 OBS write接口调用失败数高于阈值，会影响上层大数据计算业务的正常执行，导致某些计算任务的执行失败。
Engine等服务提供访问OBS的临时认证凭据的服务，只有对接OBS的场景下才需要安装Guardian组件。Guardian的典型特性包括： 提供获取访问OBS的临时认证凭据的能力。 提供访问OBS的细粒度权限控制的能力。 提供访问OBS的临时认证凭据的统一缓存刷新能力。 Gua
HDFS对接OBS业务应用开发样例说明 对接原理介绍 HDFS创建FileSystem的代码会根据uri的scheme查找对应的实现类，即针对不同底层提供的实现类，在HDFS的配置文件中进行配置，HDFS就会根据fs.AbstractFileSystem.%s.impl创建对应的实现类。如下所示：
Hive表的Location支持跨OBS和HDFS路径吗 问题 Hive表的location支持跨OBS和HDFS路径吗？ 回答 Hive存储在OBS上的普通表，支持表location配置为hdfs路径。 同一个Hive服务中可以分别创建存储在OBS上的表和存储在HDFS上的表。 H
止创建表。 Hudi表创建前，需要先在LakeFormation上添加Hudi表目录的路径授权，赋予OBS读写权限。 Hudi表不支持在LakeFormation管理面编辑表的字段，只能通过Hudi客户端增删改表的字段。 Flink读写Hudi场景下同步Hive表，仅支持使用hive_sync
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
