检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
开发Oozie应用 开发Oozie配置文件 Oozie代码样例说明 通过Java API提交Oozie作业 使用Oozie调度Spark2x访问HBase以及Hive 父主题: Oozie开发指南(安全模式)
本例使用multiSplit进行多点分割将HBase表按照“A~D”、“D~F”、“F~H”、“H~Z”分为四个Region。 代码样例 以下代码片段在com.huawei.bigdata.hbase.examples包的“HBaseExample”类的testMultiSplit方法中
HBase占用网络端口,连接数过大会导致其他服务不稳定 问题 HBase占用网络端口,连接数过大会导致其他服务不稳定。 回答 使用操作系统命令lsof或者netstat发现大量TCP连接处于CLOSE_WAIT状态,且连接持有者为HBase RegionServer,可能导致网络
在MRS Manager界面选择“系统设置>用户管理”,在用户名中选择sparkuser,单击操作中下载认证凭据文件,保存后解压得到用户的keytab文件与krb5.conf文件。用于在样例工程中进行安全认证,具体使用请参考准备认证机制代码。 父主题: 准备Spark应用开发环境
据文件。 如果加载数据语句中有关键字OVERWRITE,表示加载的数据会覆盖表中原有的数据,否则加载的数据会追加到表中。 样例代码 -- 从本地文件系统/opt/hive_examples_data/目录下将employee_info.txt加载进employees_info表中
r界面选择“集群 > 服务 > Hive > 实例”,在“实例”界面查看“HiveServer”的“主机名称”获取。 在运行样例代码前,需要将样例代码中的PRNCIPAL_NAME改为安全认证的用户名。 父主题: Hive应用开发常见问题
on,此种方法建表可以提高写入大量数据初期的数据写入速度。 表的列名以及列族名不能包含特殊字符,可以由字母、数字以及下划线组成。 代码样例 以下代码片段在com.huawei.bigdata.hbase.examples包的“HBaseSample”类的testCreateTable方法中。
on,此种方法建表可以提高写入大量数据初期的数据写入速度。 表的列名以及列族名不能包含特殊字符,可以由字母、数字以及下划线组成。 代码样例 以下代码片段在com.huawei.bigdata.hbase.examples包的“HBaseSample”类的testCreateTable方法中。
MapReduce访问多组件样例程序 MapReduce访问多组件样例程序开发思路 MapReduce访问多组件样例代码 父主题: 开发MapReduce应用
MapReduce访问多组件样例程序 MapReduce访问多组件样例程序开发思路 MapReduce访问多组件样例代码 父主题: 开发MapReduce应用
MapReduce访问多组件样例程序 MapReduce访问多组件样例程序开发思路 MapReduce访问多组件样例代码 父主题: 开发MapReduce应用
rt,根据认证凭据及配置文件新建Thrift客户端,访问ThriftServer,分别使用put和putMultiple进行写数据操作。 代码样例 方法调用 // Write data with put. putData(client, TABLE_NAME); // Write
rt,根据认证凭据及配置文件新建Thrift客户端,访问ThriftServer,分别使用put和putMultiple进行写数据操作。 代码样例 方法调用 // Write data with put. putData(client, TABLE_NAME); // Write
rt,根据认证凭据及配置文件新建Thrift客户端,访问ThriftServer,分别使用put和putMultiple进行写数据操作。 代码样例 方法调用 // Write data with put. putData(client, TABLE_NAME); // Write
rt,根据认证凭据及配置文件新建Thrift客户端,访问ThriftServer,分别使用put和putMultiple进行写数据操作。 代码样例 方法调用 // Write data with put. putData(client, TABLE_NAME); // Write
开发Oozie应用 开发Oozie配置文件 Oozie样例代码说明 通过Java API提交Oozie作业 使用Oozie调度Spark2x访问HBase以及Hive 父主题: Oozie开发指南(普通模式)
e-mail、支付薪水币种、薪水金额、缴税税种、工作地,分区字段为入职时间。 创建表代码实现请见创建Impala表。 加载雇员信息数据到雇员信息表“employees_info”中。 加载数据代码实现请见加载Impala数据。 雇员信息数据如表1所示。 表1 雇员信息数据 编号 姓名
such file or directory 请按照以下方式处理: 首先执行如下命令,查询所装操作系统中LibSASL的版本 ldconfig -p|grep sasl 结果如下则表示当前操作系统仅存在3.x版本 libsasl2.so.3 (libc6,x86-64) => /usr/lib64/libsasl2
解决executor/knox/os日志不回滚问题 增加executor GC日志 解决knox重启失败问题 解决节点故障提交作业失败问题 支持全链路监控 解决ResourceManager主备倒换导致作业状态不更新问题 解决部分场景下备份恢复失败问题 解决HMaster频繁出现进程故障告警问题
以上接口的功能是发送http请求。调用以上接口,用户只需提供每类操作对应的URL,以及操作对应的json文件或json的String格式,无需编写中间的执行代码,减少了代码编写量,简化了用户执行各类操作的步骤。 以上接口会返回请求对应的命令编号,方便用户根据命令编号查询命令执行的进度。 父主题: Manager应用开发常见问题