检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Manager管理员用户名,密码以及OMS浮动IP地址。 OMS浮动IP地址获取方式:远程登录Master2节点,执行“ifconfig”命令,系统回显中“eth0:wsom”表示OMS浮动IP地址,请记录“inet”的实际参数值。如果在Master2节点无法查询到OMS浮动IP地址,
13 使用WinSCP工具将CSV文件导入客户端节点,例如“/opt”目录下。 登录FusionInsight Manager页面,选择“系统 > 权限 > 用户”,添加人机用户sparkuser,用户组(hadoop、hive),主组(hadoop)。 进入客户端目录,加载环境变量并认证用户:
用户需要通过MySQL协议创建Broker Load 导入,并通过查看导入命令检查导入结果。适用以下场景: 源数据在Broker可以访问的存储系统中,如HDFS。 数据量在几十到百GB级别。 支持导入CSV、Parquet、ORC格式的数据,默认支持导入CSV格式数据。 前提条件 已
key”后加密工具执行时会重新生成新的随机密钥并保存在“.loader-tools.key”中。命令中如果携带认证密码信息可能存在安全风险,在执行命令前建议关闭系统的history命令记录功能,避免信息泄露。 sh Loader客户端安装目录/Loader/loader-tools-1.99.3/encrypt_tool
存储目录将同步修改。 更改NodeManager单个实例的存储目录,只对单个实例生效,其他节点NodeManager实例存储目录不变。 对系统的影响 更改NodeManager角色的存储目录需要停止并重新启动集群,集群未启动前无法提供服务。 更改NodeManager单个实例的存
key”后加密工具执行时会重新生成新的随机密钥并保存在“.loader-tools.key”中。命令中如果携带认证密码信息可能存在安全风险,在执行命令前建议关闭系统的history命令记录功能,避免信息泄露。 shLoader客户端安装目录/Loader/loader-tools-1.99.3/encrypt_toolpassword
如果ClickHouse与Kafka不在同一个集群需要建立跨集群互信,具体请参考配置跨Manager集群互信。 操作步骤 登录Kafka服务所在Manager页面,选择“系统 > 权限 > 用户 > 添加用户”,创建一个具有Kafka权限的人机用户,例如创建人机用户ck_user1,首次使用需要修改初始密码。K
账户。建议使用Flume服务默认用户flume_server/hadoop.<系统域名>@<系统域名> 说明: “flume_server/hadoop.<系统域名>”为用户名,用户的用户名所包含的系统域名所有字母为小写。例如“本端域”参数为“9427068F-6EFA-4833-B43E-60CB641E5B6C
不涉及 取值范围: 不涉及 默认取值: 不涉及 root_volume 否 Volume object 参数解释: 节点系统盘信息,部分虚拟机或BMS自带系统盘的情况该参数可选,其他情况该参数必选。 约束限制: 不涉及 data_volume 否 Volume object 参数解释:
否 taskmanager.network.numberOfBuffers TaskManager网络传输缓冲栈数量,如果作业运行中出错提示系统中可用缓冲不足,可以增加这个配置项的值。 2048 否 taskmanager.debug.memory.startLogThread 调
响应参数 状态码: 201 表4 响应Body参数 参数 参数类型 描述 connector_id String 参数解释: 数据连接创建成功后系统返回的数据连接ID值。 取值范围: 不涉及 请求示例 创建mysql数据连接 /v2/ac66f1a5-e8f4-4399-8ec6-2c
[BLOOM | HBASE | GLOBAL_BLOOM | SIMPLE | GLOBAL_SIMPLE] 。 布隆过滤器消除了对外部系统的依赖,并存储在Parquet数据文件的页脚中。 BLOOM hoodie.index.bloom.num_entries 存储在布隆过滤器中的条目数。
Manager界面选择“系统 > 权限 > 角色 > 添加角色”。 填写角色的名称,例如developrole,单击“确定”保存角色。 在“配置资源权限”的表格中选择“待操作集群的名称 > ClickHouse > Clickhouse管理员权限”。 选择“系统 > 权限 > 用户 >
22950 JDBC的Web UI端口 该端口用于:Web请求与JDBC Server Web UI服务器进行HTTPS/HTTP通信。 说明: 系统会根据端口的设置取值,并验证其有效性;如果无效,端口+1,直到取到有效值为止(上限16次,重试次数可以通过配置spark.port.maxRetries改变)。
解决Zookeeper配置了配额仍然显示设置顶层配额失败的告警的问题 解决老Guardian实例日志需要打印客户端IP的问题 解决MemArtsCC使用TPCDS测试套写10TB数据,任务运行中,cc-sidecar不断重启的问题 解决MemArtsCC裸机环境长稳运行中,cc-sidecar进程故障的问题
否 taskmanager.network.numberOfBuffers TaskManager网络传输缓冲栈数量,如果作业运行中出错提示系统中可用缓冲不足,可以增加这个配置项的值。 2048 否 taskmanager.debug.memory.startLogThread 调
连接MySQL数据库的用户名。 -password 连接MySQL数据库的用户密码。命令中如果携带认证密码信息可能存在安全风险,在执行命令前建议关闭系统的history命令记录功能,避免信息泄露。 -table <table-name> MySQL中用于存放导出数据的表名称。 -export-dir
于11个。 节点组数量总和小于等于10个,非Master节点组中节点数量总和小于等于10000个。 MRS集群服务角色部署规则说明 MRS系统由多种服务按照一定的逻辑架构组合而成,每个服务包含一个或多个角色,每个角色可以部署一个或多个实例。 服务:服务对外表现为集群提供的组件业务
数据查询 由于冷热数据都在同一张表中,因此用户所有的查询操作都只需在一张表内进行。在查询时,建议通过配置TimeRange来指定查询的时间范围,系统将会根据指定的时间范围决定查询模式,包括仅查询热存储、仅查询冷存储或同时查询冷存储和热存储。如果查询时未限定时间范围,则会导致查询冷数据。
不涉及 cpu String 参数解释: CPU核数。 取值范围: 不涉及 root_volume_size String 参数解释: 操作系统盘容量。 取值范围: 不涉及 data_volume_type String 参数解释: 数据盘类型。 取值范围: 不涉及 data_volume_size