检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
开发环境的基本配置。用于项目管理,贯穿软件开发生命周期。 准备开发用户 参考准备MRS应用开发用户进行配置。 7-zip 用于解压“*.zip”和“*.rar”文件。 支持7-Zip 16.04版本。 准备运行环境 进行应用开发时,需要同时准备代码的运行调测的环境,用于验证应用程序运行正常。
准备开发用户 参考获取MRS应用开发样例工程进行操作,准备用于应用开发的集群用户并授予相应权限。 7-zip 用于解压“*.zip”和“*.rar”文件,支持7-Zip 16.04版本。 准备运行环境 进行应用开发时,需要同时准备代码的运行调测的环境,用于验证应用程序运行正常。
keyTab="/opt/test/conf/user.keytab" principal="flume_hdfs@<系统域名>" useTicketCache=false storeKey=true debug=true; }; 参数keyTab和principal根据实际情况修改。 问题:执行Flume客户端连接HBase报如下错误:
LoginUtil.setZookeeperServerPrincipal("zookeeper/hadoop.hadoop.com"); LoginUtil.setJaasFile(USER_PRINCIPAL, userKeyTableFile); } 如果
处理。 如果没有指定任何列为分区列,则表示不需要对输入数据进行分区处理,“分割程序”属性默认隐藏。 样例 通过“CSV文件输入”算子,生成两个字段A和B。 源文件如下: 配置“Spark输出”算子,将A和B输出到SparkSQL的表中。 父主题: Loader输出类算子
rk/bin/beeline -u "jdbc:hive2://<zkNode1_IP>:<zkNode1_Port>,<zkNode2_IP>:<zkNode2_Port>,<zkNode3_IP>:<zkNode3_Port>/;serviceDiscoveryMode=zo
dbdata_om OMS的数据库数据目录,如果安装双机Manager,两个OMS节点均包含此分区目录。 LocalBackup 备份集群数据时,如果选择备份在“LocalDir”,则默认存储在该路径下。如果安装双机Manager,两个节点包含此分区目录。 containers WebCont
处理。 如果没有指定任何列为分区列,则表示不需要对输入数据进行分区处理,“分割程序”属性默认隐藏。 样例 通过“CSV文件输入”算子,生成两个字段a_str和b_str。 源文件如下: 配置“Hive输出”算子,将a_str和b_str输出到Hive的表中。 执行成功后,查看表数据:
处理。 如果没有指定任何列为分区列,则表示不需要对输入数据进行分区处理,“分割程序”属性默认隐藏。 样例 通过“CSV文件输入”算子,生成两个字段A和B。 源文件如下: 配置“Spark输出”算子,将A和B输出到SparkSQL的表中。 父主题: 输出算子
处理。 如果没有指定任何列为分区列,则表示不需要对输入数据进行分区处理,“分割程序”属性默认隐藏。 样例 通过“CSV文件输入”算子,生成两个字段a_str和b_str。 源文件如下: 配置“Hive输出”算子,将a_str和b_str输出到Hive的表中。 执行成功后,查看表数据:
Manager首页,选择“运维 > 告警 > 告警”,弹出告警页面,选中“告警ID”为“45588”的告警,在该页面的告警详情里查看“定位信息”中的角色名并确定实例的IP地址。 选择“集群 > 待操作集群的名称 > 服务 > IoTDB > 实例”,单击告警上报的IoTDBServer,进入实例“概览”页面。
properties”文件: iotdb_ssl_enable=true jdbc_url=jdbc:iotdb://IoTDBServer实例IP地址:IoTDBServer RPC端口 # 进行认证的用户名 username=developuser # 进行认证的用户密码,该密码建议密文存放,使用时解密,确保安全。
排查与主OMS节点NTP服务的同步是否有问题。 登录告警节点执行sudo su - root切换用户,执行ntpq -np命令。 如果显示结果的主OMS节点NTP服务IP地址前有“*”号,表示同步正常,如下: remote refid st t when poll reach delay offset jitter
CAST(origin_zip AS BIGINT) FROM shipping; Query failed: Cannot cast 'P332a' to BIGINT 使用Try返回NULL: SELECT TRY(CAST(origin_zip AS BIGINT)) FROM shipping;
rk/bin/beeline -u "jdbc:hive2://<zkNode1_IP>:<zkNode1_Port>,<zkNode2_IP>:<zkNode2_Port>,<zkNode3_IP>:<zkNode3_Port>/;serviceDiscoveryMode=zo
2:主机所设置的逻辑机架要尽量符合其所在的物理机架。 策略 3:如果一个物理机架的主机个数很少,则需要和其他的主机较少的物理机架合并为一个逻辑机架,以满足策略1。不能将两个机房的主机合并为一个逻辑机架,否则会引起性能问题。 策略 4:如果一个物理机架的主机个数很多,则需要将其分隔为多个逻辑机架,以满足策略1。
影响查询业务,命令为: insert into tab1 select col from tab where date <= xx; 交换两个表的名称: ALTER TABLE [db.]tbl1 REPLACE WITH TABLE tbl2 [PROPERTIES('swap'
Merge-On-Read表可减少数据摄入延迟,因而进行不阻塞摄入的异步Compaction很有意义。 异步Compaction会进行如下两个步骤: 调度Compaction:由入湖作业完成,在这一步,Hudi扫描分区并选出待进行compaction的FileSlice,最后Co
节点将按照“新节点规格”增加。 扩容集群前需要检查集群安全组是否配置正确,要确保集群入方向安全组规则中有一条全部协议,全部端口,源地址为可信任的IP访问范围的规则。 进入“扩容节点”窗口,单击“确认”。 页面右上角弹出扩容节点提交成功提示框。 集群扩容过程说明如下: 扩容中:集群
Manager首页,选择“运维 > 告警 > 告警 > ALM-24015 MonitorServer证书文件已过期 > 定位信息”。查看告警上报的实例的IP地址。 检查系统中合法证书文件的有效期,重新生成证书文件。 以root用户登录告警所在节点主机,并执行su - omm切换用户。 执行以下命