检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用CarbonData(MRS 3.x及之后版本) CarbonData数据类型概述 CarbonData表用户权限说明 使用Spark客户端创建CarbonData表 CarbonData数据分析 CarbonData性能调优 CarbonData常见配置参数 CarbonData语法参考
下载客户端”,“选择客户端类型”设置为“仅配置文件”,单击“确定”,等待客户端文件包生成后根据浏览器提示下载客户端到本地并解压。 MRS 3.3.0及之后版本,登录FusionInsight Manager页面,在“主页”右上方单击“下载客户端”,“选择客户端类型”设置为“仅配置文件”
q_0:表示列名称。 string:表示数据类型,支持STRING,INTEGER,FLOAT,LONG,DOUBLE,SHORT,BYTE和CHAR。 '#'用于分隔索引,';' 用于分隔列族,','用于分隔列限定符。 列名及其数据类型应包含在'[]'中。 列名及其数据类型通过' - >'分隔。
管理MRS集群用户 集群用户权限概述 MRS集群用户账号一览表 管理MRS集群角色 管理MRS集群用户组 管理MRS集群用户 解锁MRS集群用户 配置MRS集群用户密码策略 配置MRS集群用户私有属性 父主题: 管理MRS集群
单击“下一步”,进入“转换”界面,设置数据传输过程中的转换操作。算子的选择和参数设置具体请参考算子帮助及表3。 表3 算子输入、输出参数设置 输入类型 输出类型 Hive输入 文件输出 图3 算子操作方法示意 设置数据保存信息并运行作业 单击“下一步”,进入“输出设置”界面,设置数据保存方式。
单击“下一步”,进入“转换”界面,设置数据传输过程中的转换操作。算子的选择和参数设置具体请参考Loader算子帮助及表3。 表3 算子输入、输出参数设置 输入类型 输出类型 Hive输入 文件输出 图3 算子操作方法示意 设置数据保存信息并运行作业 单击“下一步”,进入“输出设置”界面,设置数据保存方式。
在“恢复对象”选择待操作的集群。 在“恢复配置”,勾选“元数据和其他数据”下的“ClickHouse”。 在“ClickHouse”的“路径类型”,选择一个恢复目录的类型。 表1 恢复数据 路径类型 参数说明 LocalDir 表示从主管理节点的本地磁盘上恢复数据。 选择此参数值,还需要配置: “源端路径”:
Conditions IP过滤策略,可自定义,配置当前策略适用的主机节点,可填写一个或多个IP或IP段,并且IP填写支持“*”通配符,例如:192.168.1.10,192.168.1.20或者192.168.1.*。 Policy Name 策略名称,可自定义,不能与本服务内其他策略名称重复。
具体请参考算子帮助及表3。 表3 算子输入、输出参数设置 输入类型 输出类型 表输入 HBase输出 图3 算子操作方法示意 设置数据保存信息并运行作业 单击“下一步”,进入“输出设置”界面,根据实际场景在“存储类型”选择“HBASE_BULKLOAD”或“HBASE_PUTLIST”,设置数据保存方式。
oader算子帮助及表3。 表3 算子输入、输出参数设置 输入类型 输出类型 表输入 HBase输出 图3 算子操作方法示意 设置数据保存信息并运行作业 单击“下一步”,进入“输出设置”界面,根据实际场景在“存储类型”选择“HBASE_BULKLOAD”或“HBASE_PUTLIST”,设置数据保存方式。
MRS是否支持Hive on Kudu? MRS集群是否支持Hive on Spark? 如何修改DBService的IP地址? Kafka支持的访问协议类型有哪些? MRS集群中Spark任务支持哪些Python版本? MRS 2.1.0版本集群对Storm日志的大小有什么限制? 如何修改现有集群的HDFS
“作业浏览器”将显示作业以下信息: 表1 MRS作业属性介绍 属性名 描述 名称 表示作业的名称。 用户 表示启动该作业的用户。 类型 表示作业的类型。 状态 表示作业的状态,包含“成功”、“正在运行”、“失败”。 进度 表示作业运行进度。 组 表示作业所属组。 开始 表示作业开始时间。
列中值为NULL的部分 row_count 行数(仅针对摘要行返回) low_value 在此列中找到的最小值(仅对于某些类型) high_value 在此列中找到的最大值(仅适用于某些类型) 示例 SHOW STATS FOR orders; SHOW STATS FOR (SELECT * FROM
ClickHouse > 配置 > 全部配置”。 在“clickhouse-metrika-customize”参数中添加表1中自定义配置项。 表1 自定义参数 参数 值 clickhouse_remote_servers.example_cluster.shard[1].replica[1]
填写“新密码”和“确认新密码”,单击“确定”。 默认密码复杂度要求: 密码字符长度最小为8位。 至少需要包含大写字母、小写字母、数字、空格、特殊字符5种类型字符中的4种。支持的特殊字符为`~!@#$%^&*()-_=+|[{}];',<.>/\?。 不可和用户名相同或用户名的倒序字符相同。 不可以为常见的易破解密码。
CarbonData故障处理 当在Filter中使用Big Double类型数值时,过滤结果与Hive不一致 executor内存不足导致查询性能下降 父主题: 使用CarbonData(MRS 3.x及之后版本)
Source Source负责接收数据或通过特殊机制产生数据,并将数据批量放到一个或多个Channel。Source的类型有数据驱动和轮询两种。 典型的Source类型如下: 和系统集成的Sources:Syslog、Netcat。 自动生成事件的Sources:Exec、SEQ。
x/lib”目录下。 操作步骤 在FusionInsight Manager界面选择“集群 > 服务 > Oozie > 配置 > 全部配置”,在“自定义”的“oozie.site.configs”参数中添加如下四个配置项。修改完成后单击“保存”,在弹框中单击“确定”保存配置。 名称 值 参数说明
中所有的表。 登录Manager页面,选择“集群 > 服务 > Hive > 配置 > 全部配置 > HiveServer(角色) > 自定义”,在“hive.server.customized.configs”中添加如下两个参数,保存配置,并滚动重启服务。 hive-ext.skip
le WebUI”后的链接,进入HSConsole界面。 单击“数据源”,在Hive数据源所在行的“操作”列下单击“编辑”,在页面内新增自定义配置,参考表1调整元数据缓存参数。 表1 元数据缓存参数 参数名称 参数解释 默认值 hive.metastore-cache-ttl 共