检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Phoenix依赖HBase作为其后备存储,支持标准SQL和JDBC API的强大功能,使得SQL用户可以访问HBase集群。 代码样例 以下代码片段在com.huawei.bigdata.hbase.examples包的“PhoenixSample”类的testCreateTable方法中。 /**
问题现象 怎样在Hive提交任务的时候指定队列? 处理步骤 在执行语句前通过如下参数设置任务队列,例如,提交任务至队列QueueA。 set mapred.job.queue.name=QueueA; select count(*) from rc; 队列的名称区分大小写,如写成que
删除HDFS指定目录 功能简介 删除HDFS上某个指定目录。 被删除的目录会被直接删除,且无法恢复。所以,执行删除操作需谨慎。 代码样例 如下是删除文件的代码片段,详细代码请参考com.huawei.bigdata.hdfs.examples中的HdfsExample类。 /** * 删除目录
因为schema演进以非向后兼容的方式进行,此错误将再次发生。基本上,如果已经写入Hudi数据集parquet文件的记录R有一些更新U。R包含字段F,该字段包含某类数据类型,也就是LONG。U具有相同的字段F,该字段的数据类型是INT。Parquet FS不支持这种不兼容的数据类型转换。 对于
来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的作业名称。 对系统的影响 Flink服务不可用会导致FlinkServer和Flink客户端提交Flink作业功能无法正常使用。 可能原因 Flink服务依赖的ZooKeep
初始化HDFS 功能简介 在使用HDFS提供的API之前,需要先进行HDFS初始化操作。过程为: 加载HDFS服务配置文件,并进行kerberos安全认证。 认证通过后,实例化Filesystem。 使用HDFS的API。 此处kerberos安全认证需要使用到的keytab文件,请提前准备。
not exist: test_db 回答 这种情况通常在试图对Hudi数据集执行Hive同步,但配置的hive_sync数据库不存在时发生。 请在您的Hive集群上创建对应的数据库后重试。 父主题: Hive同步
配置场景 在安全模式的多租户场景下,一个集群可以支持多个用户使用以及支持多个用户任务提交、运行,用户之间是不可见,需要有一个权限控制机制,使用户的任务信息不被其他用户获取。 例如,用户A提交的应用正在运行,此时用户B登录系统并查看应用列表,用户B不应该访问到A用户的应用信息。 配置描述
} Storm不支持将HDFS的目的文件路径设置为HDFS的SM4加密分区。 部署运行及结果查看 导出本地jar包,请参见打包Strom样例工程应用。 将1导出的本地Jar包,4中获取的配置文件和5中获取的jar包合并统一打出完整的业务jar包,请参见打包Strom应用业务。
插入HBase数据 功能简介 HBase是一个面向列的数据库,一行数据,可能对应多个列族,而一个列族又可以对应多个列。通常,写入数据的时候,需要指定要写入的列(含列族名称和列名称)。HBase通过HTable的put方法来Put数据,可以是一行数据也可以是数据集。 代码样例 以下代码片段在com
输入为一个key和value值集合迭代器。 * 由各个map汇总相同的key而来。reduce方法汇总相同key的个数。 * 并调用context.write(key, value)输出到指定目录。 * 其reduce的输出的key,value由Outputformat写入文件系统。 *
conf”。 将1导出的hive-examples-1.0.jar拷贝到“/opt/hive_examples”下。 将客户端下的配置文件拷贝到“conf”下,开启Kerberos认证的安全集群下把从5获取的user.keytab和krb5.conf拷贝到的/opt/hive_e
Storm-OBS开发指引 操作场景 本章节只适用于MRS产品中Storm和OBS交互的场景。本章中描述的jar包的具体版本信息请以实际情况为准。 应用开发操作步骤 确认Storm已经安装,并正常运行。 将storm-examples导入到Eclipse开发环境,请参见导入并配置Storm样例工程。
拓扑是一个计算流图。其中每个节点包含处理逻辑,而节点间的连线则表明了节点间的数据是如何流动的。 Spout 在一个Topology中产生源数据流的组件。通常情况下Spout会从外部数据源中读取数据,然后转换为Topology内部的源数据。 Bolt 在一个Topology中接受数据然后执行处理的组件。Bolt可以执
户可以通过组件的权限插件对组件资源的访问设置细粒度的安全访问策略。若不需使用Ranger进行鉴权,管理员可在服务页面手动停用Ranger鉴权,停用Ranger鉴权后,访问组件资源的时系统将继续基于FusionInsight Manager的角色模型进行权限控制。 安全模式集群中,
Flume客户端安装时会检查环境变量,如果没有可用的JAVA,会报错并退出安装。 指定的目录下已经安装有Flume客户端。 解决办法 如果报JAVA_HOME is null错误,需要使用命令: export JAVA_HOME=java路径 设置JAVA_HOME,重新运行安装脚本。 如果指定的目录下已经安装有
CarbonData首查优化工具 工具介绍 CarbonData的首次查询较慢,对于实时性要求较高的节点可能会造成一定的时延。 本工具主要提供以下功能: 对查询时延要求较高的表进行首次查询预热。 工具使用 下载安装客户端,例如安装目录为“/opt/client”。进入目录“/op
创建HDFS多线程任务 功能简介 建立多线程任务,同时启动多个实例执行文件操作。 代码样例 如下是删除文件的代码片段,详细代码请参考com.huawei.bigdata.hdfs.examples中的HdfsExample类。 // 业务示例2:多线程 final int THREAD_COUNT
19007 次要 是 告警参数 参数名称 参数含义 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 产生该告警表示HBase服务的compaction队列长度已经超过规定的阈值,如果不及时处理,可能会导致集群性能下降,影响数据读写。
metric 所创建的表对应的OpenTSDB中的指标名称。 tags metric对应的标签,用于归类、过滤、快速检索等操作。可以是1个到8个,以“,”分隔,包括对应metric下所有tagk的值。 注意事项 创建表时,不需要指定timestamp和value字段,系统会根据指定的tags