检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Maven”,继续单击“Next”,直到“Finish”。 样例代码为Maven工程,可以根据实际需要进行工程配置调整。不同版本IntelliJ IDEA操作略有不同,请以软件界面实际界面提示为准。 将工程中的“src”、“conf”目录添加到源文件路径。 工程导入完成后,在Intellij IDEA的菜单栏选择“File
管理Loader数据连接 操作场景 Loader页面支持创建、查看、编辑和删除连接。 创建连接 登录服务页面: 登录FusionInsight Manager,具体请参见访问集群Manager,选择“集群 > 服务”。 选择“Loader”,在“Loader WebUI”右侧,单击链接,打开Loader的WebUI。
anager提交任务,查询Application运行状态等。 ResourceManager(RM) 负责集群中所有资源的统一管理和分配。接收来自各个节点(NodeManager)的资源汇报信息,并根据收集的资源按照一定的策略分配给各个应用程序。 NodeManager(NM)
已获取FusionInsight Manager登录地址及admin账号。 操作步骤 登录FusionInsight Manager页面,选择“集群 > 服务 > Kafka > 配置 > 全部配置”,搜索参数“KAFKAUI_HEAP_OPTS”。在参数值中添加“ -Dfastjson.parser
如何修改ClickHouse服务时区? 问题现象 用户插入数据到ClickHouse时发现时区不对,差了八小时。 原因分析 Clickhouse时区默认设置为Europe/Moscow,需要修改为当地时区。 解决步骤 登录FusionInsight Manager页面,选择“集群 > 服务 > ClickHouse
Flume服务端进程故障 问题现象 Flume运行一段时间后,Manager界面Flume实例显示运行状态“故障”。 原因分析 Flume文件或文件夹权限异常,重启后Manager界面提示如下信息: [2019-02-26 13:38:02]RoleInstance prepare
使用多级agent串联从本地采集静态日志保存到HDFS 该任务指导用户使用Flume从本地采集静态日志保存到HDFS上如下目录“/flume/test”。 前提条件 已成功安装集群、HDFS及Flume服务、Flume客户端。 已创建用户flume_hdfs并授权验证日志时操作的HDFS目录和数据。
修改OMS服务配置 根据用户环境的安全要求,管理员可以在FusionInsight Manager修改OMS中Kerberos与LDAP配置。 本章节仅适用于MRS 3.x及以后版本。 修改OMS服务配置对系统的影响 修改OMS的服务配置参数后,需要重启对应的OMS模块,此时FusionInsight
若使用Open JDK,请确保IntelliJ IDEA中的JDK配置为Open JDK。 安装Maven 开发环境的基本配置。用于项目管理,贯穿软件开发生命周期。 华为提供开源镜像站,各服务样例工程依赖的Jar包通过华为开源镜像站下载,剩余所依赖的开源Jar包请直接从Maven中央库或
28', 'SORT_COLUMNS'='productBatch, productName') 系统响应 Table创建成功,创建成功的消息将被记录在系统日志中。 父主题: DDL
已安装Ranger服务且服务运行正常。 已创建需要配置权限的用户、用户组或Role。 操作步骤 普通模式(未开启Kerberos认证)下确认Hive,Impala是否启用Ranger鉴权。 如果未启用则需要先对Hive启用Ranger鉴权,并重启Hive服务,再重启Impala服务。然后对
使用root用户登录Master1节点,密码为购买集群时配置用于登录集群节点的“root”用户的自定义密码。 执行以下命令切换到客户端软件包所在目录,并解压客户端软件包。 cd /tmp/FusionInsight-Client/ tar -xvf FusionInsight_Cluster_1_Services_Client
使用CDM服务迁移Hadoop数据至MRS集群 应用场景 本章节适用于将线下IDC机房或者公有云Hadoop集群中的数据(支持数据量在几十TB级别或以下的数据量级)迁移到华为云MRS服务。 本章节以通过华为云CDM服务 2.9.1.200版本进行数据迁移为例介绍。不同版本操作可能
多个SFTP服务器操作数据,单击“添加”可增加多行SFTP服务器的配置信息。 表1 连接参数 参数名 说明 示例 名称 SFTP服务器连接的名称。 sftpName Sftp服务器的IP SFTP服务器的IP地址。 10.16.0.1 Sftp服务器端口 SFTP服务器的端口号。
将Hudi表数据同步到Hive 通过执行run_hive_sync_tool.sh可以将Hudi表数据同步到Hive中。 例如:需要将HDFS上目录为hdfs://hacluster/tmp/huditest/hudimor1_deltastreamer_partition的Hu
查询单个作业信息 功能介绍 在MRS集群中查询指定作业的详细信息。 接口约束 无 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/clusters/{cluster_id}/job-executions/{job_execution_id} 表1
各部件的监测端口支持范围可配置。 编码规范: 说明:Web Service客户端和服务器间使用相同的编码方式,是为了防止出现乱码现象,也是实施输入校验的基础。 安全加固:web server响应消息统一采用UTF-8字符编码。 支持IP白名单过滤: 说明:防止非法用户登录,需在web
服务 > ZooKeeper”,在“配置”页签查看“clientPort”的值。 登录GaussDB客户端执行以下命令查看Sink表中是否接收到数据,如下图所示。 Select * from customer_t1; GaussDB作为Source表 使用flinkuser登录Manager,选择“集群
新建集群Kudu服务异常如何处理? 查看Kudu服务异常日志 登录MRS管理控制台。 单击集群名称进入集群详情页面。 选择“组件管理 > Kudu > 实例”,找到异常实例所属的IP。 如果集群详情页面没有“组件管理”页签,请先完成IAM用户同步(在集群详情页的“概览”页签,单击
sparknormal-examples/SparkStreamingKafka010JavaExample Spark Streaming从Kafka接收数据并进行统计分析的Java/Scala示例程序。 本工程应用程序实时累加计算Kafka中的流数据,统计每个单词的记录总数。 sparkn