检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
html#Data_Encryption_on_RPC 配置描述 请参考修改集群服务配置参数,进入HDFS的“全部配置”页面,在搜索框中输入参数名称。 表1 参数说明 参数 描述 默认值 hadoop.rpc.protection 须知: 设置后需要重启服务生效,且不支持滚动重启。 设置后需要
sh”工具禁用或启用Manager创建的路由信息。 修改MRS集群Manager路由表对系统的影响 禁用Manager创建的路由信息后,在设置新的路由信息之前,FusionInsight Manager页面无法登录,集群运行不受影响。 修改MRS集群Manager路由表前提条件 已获取待创建路由的相关信息。 禁用系统创建的路由信息步骤
“字符串大小写转换”算子,用于配置已生成的字段通过大小写变换,转换出新的字段。 输入与输出 输入:需要转换大小写的字段 输出:转换后的字段 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 转换后的字段 配置字符串大小写转换的字段相关信息: 输入字段名:配置输入字段名,需填写上一个转换步骤生成的字段名。
发界面。 在作业开发界面的“自定义参数”项中,根据实际需求添加如下参数并保存,热数据(常用及使用中数据)可参考表1,冷数据(不常用、较长时间未使用的数据)可参考表2。 表1 RocksDB状态后端存储 参数名称 参数说明 取值示例 table.exec.state.cold.enabled
</property> 使用Hive客户端,在beeline中创建源表t1:create table t1(col1 int); 执行insert into t1(col1) values(X);命令向t1中分别插入如下数据,X表示待插入数据的值。 +----------+--+
dfs.namenode.decommission.force.enabled:是否开启DataNode快速退服特性。设置为“true”表示开启。 dfs.namenode.decommission.force.replication.min:DataNode快速退服特性场景下
Flink应用开发流程介绍 Flink应用程序开发流程 Flink开发流程参考如下步骤: 图1 Flink应用程序开发流程 表1 Flink应用开发的流程说明 阶段 说明 参考文档 了解基本概念 在开始开发应用前,需要了解Flink的基本概念。 基本概念 准备开发和运行环境 Fl
Manager界面选择“系统设置 > 角色管理 > 添加角色”,如图 1 添加角色所示。 图1 添加角色 填写角色的名称,例如hbaserole。 编辑角色,在“权限”的表格中选择“HBase> HBase Scope”,勾选“Admin”、“Create”、“Read”、“Write”和“Execute”,单击“确定”保存,如图2所示。
Flink应用开发流程介绍 Flink应用程序开发流程 Flink开发流程参考如下步骤: 图1 Flink应用程序开发流程 表1 Flink应用开发的流程说明 阶段 说明 参考文档 了解基本概念 在开始开发应用前,需要了解Flink的基本概念。 Flink基本概念 准备开发和运行环境
“字符串逆序转换”算子,用于配置已生成的字段通过逆序,转换出新的字段。 输入与输出 输入:需要逆序的字段 输出:逆序转换后的字段 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 逆序转换的字段 配置字符串逆序转换的字段相关信息: 输入字段名:配置输入字段名,需填写上一个转换步骤生成的字段名。
“字符串逆序转换”算子,用于配置已生成的字段通过逆序,转换出新的字段。 输入与输出 输入:需要逆序的字段 输出:逆序转换后的字段 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 逆序转换的字段 配置字符串逆序转换的字段相关信息: 输入字段名:配置输入字段名,需填写上一个转换步骤生成的字段名。
内存空间无法存储相应的信息时,需要修改内存大小的设置。 配置描述 参数入口: 请参考修改集群服务配置参数,进入HDFS“全部配置”页面。 表1 参数说明 配置参数 说明 默认值 GC_PROFILE NameNode所占内存主要由FsImage大小决定。FsImage Size =
"tags":{"key":"value"}}' https://<tsd_ip>:4242/api/put?sync <tsd_ip>表示所需写入数据的Opentsdb服务的TSD实例的IP地址。 HTTP/1.1 204 No Content Content-Type: application/json;
html#Data_Encryption_on_RPC 配置描述 请参考修改集群服务配置参数,进入HDFS的“全部配置”页面,在搜索框中输入参数名称。 表1 参数说明 参数 描述 默认值 hadoop.rpc.protection 须知: 设置后需要重启服务生效,且不支持滚动重启。 设置后需要
ka的topic权限。 具体操作请参考准备开发用户章节。 创建topic的命令格式:{zkQuorum}表示ZooKeeper集群信息,格式为IP:port。{Topic}表示Topic名称。 bin/kafka-topics.sh --create --zookeeper {zkQuorum}/kafka
用户可以在MRS控制台页面打开Manager管理页面。 访问MRS Manager 登录MRS管理控制台页面。 单击“现有集群”,在集群列表中单击指定的集群名称,进入集群信息页面。 单击“前往 Manager”,打开“访问MRS Manager页面”。 若用户创建集群时已经绑定弹性公网IP,如图1所示:
连接器类型可以选择“MRS HDFS”,如果是自建集群可以选择“Apache HDFS”。 图2 HDFS连接 步骤2:新建迁移作业 在“表/文件迁移” 页签,单击“新建作业”。 选择源连接、目的连接: 作业名称:用户自定义任务名称,名称由英文字母、下划线或者数字组成,长度必须在1到256个字符之间。
/tmp/FusionInsight-Client/FusionInsight_Cluster_1_Services_Client.tar 界面显示以下信息表示配置刷新更新成功: ReFresh components client config is complete. Succeed to refresh
该操作指导用户对ZooKeeper的znode设置权限。 ZooKeeper通过访问控制列表(ACL)来对znode进行访问控制。ZooKeeper客户端为znode指定ACL,ZooKeeper服务器根据ACL列表判定某个请求znode的客户端是否有对应操作的权限。ACL设置涉及如下四个方面。
过滤行转换 概述 “过滤行转换”算子,用于配置逻辑条件过滤掉含触发条件的行。 输入与输出 输入:用来做过滤条件的字段 输出:无 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 条件逻辑连接符 配置条件逻辑连接符,可配置“AND”或“OR”。 enum 是 AND