检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
表4 并行文件系统参数 参数名称 参数说明 取值样例 区域 设置并行文件系统的区域。 华北-北京四 文件系统名称 设置并行文件系统的名称 hiveobs 数据冗余存储策略 多AZ存储:数据冗余存储至多个可用区(AZ),可靠性更高。
Zookeeper设计目标是用来解决那些复杂,易出错的分布式系统难以保证数据一致性的。不必开发专门的协同应用,十分适合高可用服务保持数据一致性。 背景信息 在使用客户端前,除主管理节点以外的客户端,需要下载并更新客户端配置文件。
MRS集群节点类型说明 MRS集群由多个弹性云服务器节点组成,根据节点的不同规格,系统以节点组的方式进行管理,不同的节点组一般选用不同的云服务器规格。 根据节点上部署的组件角色的不同,集群内的节点类型可分为Master节点、Core节点、Task节点。
数据分析 使用Spark2x实现车联网车主驾驶行为分析 使用Hive加载HDFS数据并分析图书评分情况 使用Hive加载OBS数据并分析企业雇员信息 通过Flink作业处理OBS数据 通过Spark Streaming作业消费Kafka数据 通过Flume采集指定目录日志系统文件至
表1 开发环境 准备项 说明 操作系统 开发环境:Windows系统,支持Windows7以上版本。 运行环境:Linux系统。 如需在本地调测程序,运行环境需要和集群业务平面网络互通。 安装JDK 开发和运行环境的基本配置。
表1 开发环境 准备项 说明 操作系统 开发环境:Windows系统,支持Windows7以上版本。 运行环境:Linux系统。 如需在本地调测程序,运行环境需要和集群业务平面网络互通。 安装JDK 开发和运行环境的基本配置。
INFO INFO表示记录系统及各事件正常运行状态信息。 DEBUG DEBUG表示记录系统及系统的调试信息。 如果您需要修改日志级别,请执行如下操作: 默认情况下配置Spark2x日志级别不需要重启服务。 登录FusionInsight Manager系统。
选择“系统 > 权限 > 角色”。 单击“添加角色”,输入“角色名称”和“描述”。 设置角色“配置资源权限”请参见表1。 设置HDFS目录的读和执行权限。
INFO INFO表示记录系统及各事件正常运行状态信息。 DEBUG DEBUG表示记录系统及系统的调试信息。 如果您需要修改日志级别,请执行如下操作: 默认情况下配置Spark2x日志级别不需要重启服务。 登录FusionInsight Manager系统。
示例 SHOW TABLES IN ProductDatabase; 系统响应 显示所有Table。 父主题: CarbonData语法参考
告警属性 告警ID 告警级别 是否自动清除 12104 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。
创建FlinkServer作业 创建FlinkServer作业写入数据至ClickHouse表 创建FlinkServer作业对接DWS表 创建FlinkServer作业写入数据至HBase表 创建FlinkServer作业写入数据至HDFS文件系统 创建FlinkServer作业写入数据至
示例 SHOW TABLES IN hudidb; 系统响应 显示所有Table。 父主题: Hudi DDL语法说明
MRS系统界面支持同一时间并发创建10个集群,且最多支持管理100个集群。 父主题: 购买MRS集群
<系统域名>@<系统域名>;saslQop=auth-conf;auth=KERBEROS;principal=spark2x/hadoop.
示例 SHOW TABLES IN ProductDatabase; 系统响应 显示所有Table。 父主题: DDL
示例 alter table h0 rename to h0_1; 系统响应 可以通过运行SHOW TABLES显示新表名称。 父主题: Hudi DDL语法说明
表1 开发环境 准备项 说明 操作系统 开发环境:Windows系统,支持Windows7以上版本。 运行环境:Windows或Linux系统。 如需在本地调测程序,运行环境需要和集群业务平面网络互通。
系统域名可登录FusionInsight Manager,选择“系统 > 权限 > 域和互信”,查看“本端域”参数值获取。
Windows系统路径示例:"D:\\hetu-examples-python3\\hetu-jdbc-XXX.jar" Linux系统路径示例:"/opt/hetu-examples-python3/hetu-jdbc-XXX.jar" 父主题: HetuEngine样例程序(Python3