检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如果使用flink run -m yarn-cluster时启动集群则可以使用-yz指定一个zookeeper的namespace。 不能同时启动两个或两个以上的集群来共享一个namespace。 用户在启动集群或提交作业时如果使用了-z配置项,则在删除、停止及查询作业、触发savepoin
访问数据库IP:ClickHouse的实例IP地址可登录集群FusionInsight Manager,然后选择“集群 > 服务 > ClickHouse > 实例”,获取ClickHouseBalancer实例对应的业务IP地址。 数据库端口: 已启用Kerberos认证集群具体的端口值可通过登录集群FusionInsight
t的快照信息。 查看Pipeline结果 结果在flink的“taskmanager.out”文件中。用户可以进入Yarn的WebUI页面,选择“Jobs > Running Jobs”查看提交的作业如图3。选择“Task Managers ”可以看到有两个任务如图4。分别单击任
已在Linux环境中安装了完整的集群客户端。 获取Oozie服务器URL(任意节点),这个URL将是客户端提交流程任务的目标地址。 URL格式为:https://Oozie节点业务IP:21003/oozie。端口为“OOZIE_HTTPS_PORT”参数对应值,默认为21003。 例如,“https://10
listExecScriptsNodes1.add("core"); listExecScriptsNodes1.add("task"); List<ScaleScript> listAutoScalingPolicyExecScripts = new ArrayList<>();
审计日志 <UserName><yyyy-MM-dd HH:mm:ss,SSS><审计操作描述><资源参数><url><是否允许><审计操作><ip地址> {"username": "admin", "eventTime": "2014-11-06 10:28:34", "operationText":
镜像站下载,剩余所依赖的开源Jar包请直接从Maven中央库或者其他用户自定义的仓库地址下载,详情请参考配置华为开源镜像仓。 7-zip 用于解压“*.zip”和“*.rar”文件,支持7-Zip 16.04版本。 准备Python开发环境 表2 Python开发环境 准备项 说明
Flink使用IoTDBSink消费产生数据并写入IoTDB。 其中在Session对象的参数里,设置IoTDBServer所在的节点IP、端口、用户名和密码。 待连接的IoTDBServer所在的节点IP地址,可通过登录FusionInsight Manager界面,选择“集群 > 服务 > IoTDB > 实例”查看。
处理步骤 使用 --jars 加载flume-ng-sdk-{version}.jar依赖包。 同时修改“spark-default.conf”中两个配置项。 spark.driver.extraClassPath=$PWD/*:{加上原来配置的值} spark.executor.extraClassPath
排查与主OMS节点NTP服务的同步是否有问题。管理节点的主备状态及对应IP地址可在FusionInsight Manager主机管理界面查看。 使用root用户登录告警节点,执行ntpq -np命令。 如果显示结果的主OMS节点NTP服务IP地址前有“*”号,表示同步正常,如下: remote refid
建议管理员定期修改集群节点操作系统用户的登录密码,以提升系统运维安全性。 前提条件 获取待修改密码“omm”、“ommdba”用户对应节点的IP地址。 修改omm和ommdba用户需要获取root用户密码。 修改MRS集群节点操作系统用户密码 以root登录待修改密码节点。 执行以下命令切换用户。
包含数字、字母、下划线(_)、中划线(-)和空格。 “用户名”不能与集群各节点所有操作系统用户名相同,否则此用户无法正常使用。 不支持创建两个名称相同但大小写不同的用户。例如已创建用户“User1”,无法创建用户“user1”。使用“User1”时请输入正确的用户名。 用户类型 可选值包括“人机”和“机机”。
Structured Streaming对接Kafka样例程序 Spark Structured Streaming状态操作样例程序 Spark同时访问两个HBase样例程序 Spark同步HBase数据到CarbonData样例程序 使用Spark执行Hudi样例程序 Hudi自定义配置项样例程序
\d+ 执行q退出查看元数据表页面。 执行以下命令可以查看元数据表中的数据: select * from 表名; DBServer主节点的IP地址可登录Manager界面,选择“集群 > 服务 > DBService > 实例”查看。 “USER”及“PASSWD”可在用户账号一览
在FusionInsight Manager页面,选择“运维 > 告警 > 告警”,在实时告警列表中,单击此告警前的,在“定位信息”中查看角色名并确定实例的IP地址。 选择“运维 > 日志 > 下载”。 在“服务”中勾选操作集群的“IoTDB”,单击“确定”。 在“主机”勾选1查看到的主机,单击“确定”。
默认设置为0,表示为default企业项目。 eip_address 否 String 参数解释: 与MRS集群绑定的弹性公网IP,可实现使用弹性公网IP访问Manager的目的。该弹性公网IP必须已经创建且与集群在同一区域。 约束限制: 不涉及 取值范围: 不涉及 默认取值: 不涉及 eip_id 否 String
更多参数介绍请参见Sqoop常用命令及参数介绍。 表1 参数说明 参数 说明 --connect 指定JDBC连接的URL,格式为:jdbc:mysql://MySQL数据库IP地址:MySQL的端口/数据库名称。 --username 连接MySQL数据库的用户名。 -password 连接MySQL数据库的用户密
3版本开始,推荐使用新参数spark.executor.memoryOverhead设置executor的overhead内存大小,如果任务两个参数都设置,则spark.yarn.executor.memoryOverhead的值不生效,以spark.executor.memoryOverhead的值为最终值。
以root用户登录该告警的主机地址,用户密码为安装前用户自定义,请咨询系统管理员。 执行命令su - omm,执行sh ${BIGDATA_HOME}/om-server/OMS/workspace0/ha/module/hacom/script/status_ha.sh,查询
HDFS样例工程介绍 MRS样例工程获取地址为https://github.com/huaweicloud/huaweicloud-mrs-example,切换分支为与MRS集群相匹配的版本分支,然后下载压缩包到本地后解压,即可获取各组件对应的样例代码工程。 当前MRS提供以下HDFS相关样例工程: