检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
示例代码中,KUDU_MASTERS为Kudu集群的Masters地址列表,例如:192.168.0.100:7051, 192.168.0.101:7051, 192.168.0.102:7051。格式为地址:端口,中间用半角逗号隔开;建议使用长连接对象。 父主题: 开发Kudu应用
HBase应用开发样例工程介绍 MRS样例工程获取地址为https://github.com/huaweicloud/huaweicloud-mrs-example,切换分支为与MRS集群相匹配的版本分支,然后下载压缩包到本地后解压,即可获取各组件对应的样例代码工程。 当前MRS提供以下HBase相关样例工程:
HBase应用开发样例工程介绍 MRS样例工程获取地址为https://github.com/huaweicloud/huaweicloud-mrs-example,切换分支为与MRS集群相匹配的版本分支,然后下载压缩包到本地后解压,即可获取各组件对应的样例代码工程。 当前MRS提供以下HBase相关样例工程:
Hive应用开发样例工程介绍 MRS样例工程获取地址为https://github.com/huaweicloud/huaweicloud-mrs-example,切换分支为与MRS集群相匹配的版本分支,然后下载压缩包到本地后解压,即可获取各组件对应的样例代码工程。 当前MRS提供以下Hive相关样例工程:
Oozie应用开发样例工程介绍 MRS样例工程获取地址为https://github.com/huaweicloud/huaweicloud-mrs-example,切换分支为与MRS集群相匹配的版本分支,然后下载压缩包到本地后解压,即可获取各组件对应的样例代码工程。 当前MRS提供以下Oozie相关样例工程:
TableDescriptorBuilder htd = TableDescriptorBuilder.newBuilder(tableName); //创建表描述符 ColumnFamilyDescriptorBuilder hcd =
Oozie应用开发样例工程介绍 MRS样例工程获取地址为https://github.com/huaweicloud/huaweicloud-mrs-example,切换分支为与MRS集群相匹配的版本分支,然后下载压缩包到本地后解压,即可获取各组件对应的样例代码工程。 当前MRS提供以下Oozie相关样例工程:
Hive应用开发样例工程介绍 MRS样例工程获取地址为https://github.com/huaweicloud/huaweicloud-mrs-example,切换分支为与MRS集群相匹配的版本分支,然后下载压缩包到本地后解压,即可获取各组件对应的样例代码工程。 当前MRS提供以下Hive相关样例工程:
JDBC连接属性 JDBC连接属性,单击“添加”手动添加。 名称:连接属性名。 值:连接属性值。 ftp-connector FTP服务器的IP FTP服务器的IP地址。 FTP服务器端口 FTP服务器的端口号。 FTP用户名 访问FTP服务器的用户名。 FTP密码 访问FTP服务器的密码。 FTP模式
如,Hive客户端显示“0: jdbc:hive2://10.172.0.43:21066/>”,表示当前连接的HiveServer节点IP地址为“10.172.0.43”。 创建函数、删除函数或者修改任意数据库。 需要授予“Hive管理员权限”。 操作Hive中所有的数据库和表。
获取ECS临时ak/sk失败 告警解释 meta每五分钟调用ECS接口获取AK/SK信息,并缓存在meta中,在AK/SK过期失效之前会再次调用ECS接口更新AK/SK,如果连续三次调用接口失败,会产生该告警。 当meta服务调用ECS接口成功时,告警清除。 告警属性 告警ID 告警级别 是否自动清除 12110
keyTab="/opt/test/conf/user.keytab" principal="flume_hdfs@<系统域名>" useTicketCache=false storeKey=true debug=true; }; 参数keyTab和principal根据实际情况修改。 从/opt/FusionI
source Manager通知该节点状态并同时启动调度器为这个节点分配作业。这种调度机制把调度的周期同心跳结合在一起,当集群规模增大时,会遇到系统扩展性以及调度性能瓶颈。另外,因为采用了资源反向匹配作业的调度机制,开源调度器在调度精度上也有局限性,例如数据亲和性偏于随机,另外系
默认配置修改 默认会连接Spark的Executor所在节点本地的TSD进程,在MRS中一般使用默认配置即可,无需修改。 表1 OpenTSDB数据源相关配置 配置名 描述 样例值 spark.sql.datasource.opentsdb.host 连接的TSD进程地址 空(默认值)
参数名称 参数值填写规则 参数样例 名称 不能为空,必须唯一。 test bind avro source绑定的ip地址,此参数不能为空。须配置为服务端配置文件即将要上传的主机IP。 192.168.108.11 port avro source监测的端口,此参数不能为空。须配置为未被使用的端口。
keyTab="/opt/test/conf/user.keytab" principal="flume_hdfs@<系统域名>" useTicketCache=false storeKey=true debug=true; }; 参数keyTab和principal根据实际情况修改。 从/opt/FusionI
ces_ClientConfig scp IoTDB/config/* root@客户端节点IP地址:/opt/client/conf 检查客户端节点网络连接。 在安装客户端过程中,系统会自动配置客户端节点“hosts”文件,建议检查“/etc/hosts”文件内是否包含集群内节
hfile.skip.errors Region上线时遇到HFile损坏是否跳过并移动到“/hbase/autocorrupt”或“/hbase/MasterData/autocorrupt”目录,容灾场景不建议开启此参数。 false hbase.hlog.split.skip.errors
由于webhdfs是http/https访问的,需要主NameNode的IP和http/https端口。 单击“实例”,进入HDFS实例界面,找到“NameNode(hacluster,主)”的主机名(host)和对应的IP。 单击“配置”,进入HDFS服务配置界面,找到“namenode
-XX:+PrintGCTimeStamps" ),如果频繁出现Full GC,需要优化GC。把RDD做Cache操作,通过日志查看RDD在内存中的大小,如果数据太大,需要改变RDD的存储级别来优化。 操作步骤 优化GC,调整老年代和新生代的大小和比例。在客户端的conf/spark-default.conf配置文件中,在spark