检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
描述 默认值 yarn.nodemanager.linux-container-executor.user 运行任务的用户。 默认为空。 说明: 默认为空,实际以提交任务的用户来运行任务。 yarn.nodemanager.container-executor.class 启动任务的executor。
主备集群数据,减少查询毛刺,具体表现为: 高成功率:双并发读机制,保证每一次读请求的成功率。 可用性:单集群故障时,查询业务不中断。短暂的网络抖动也不会导致查询时间变长。 通用性:双读特性不支持双写,但不影响原有的实时写场景。 易用性:客户端封装处理,业务侧不感知。 HBase双读使用约束:
MS、DBService和NameNode等的数据保存到外部集群。 集群数据的备份任务运行时长可根据要备份的数据量除以集群与备份设备之间的网络带宽来计算得出,在实际场景中,建议将计算得出的时长乘以1.5作为任务执行时长参考值。 执行数据备份任务会对集群的最大IO性能产生影响,建议备份任务运行时间与集群业务高峰错开。
描述 默认值 mapreduce.shuffle.address 指定地址来运行shuffle服务,格式是IP:PORT,参数的默认值为空。当参数值为空时,将绑定localhost,默认端口为13562。 说明: 如果涉及到的PORT值和配置的mapreduce.shuffle.port值不一样时,mapreduce
转换步骤才生效,转换步骤的内容可以为空;如果作业的转换步骤中没有配置分割符,则以此处的默认分割符为准。 , - loader.input.line.separator 默认的输入行分割符,需要配置输入与输出转换步骤才生效,转换步骤的内容可以为空;如果作业的转换步骤中没有配置分割符,则以此处的默认分割符为准。
录,并在“aaa”目录下面再创建“blee”目录,进行文件迁移。 解决办法 进行迁移操作时,源端目录(例如“blee”)不建议为空。 如果源端目录为空,在执行迁移前,需要手动创建目的端目录,即手动创建“aaa”目录。 父主题: 使用HDFS
描述 默认值 mapreduce.shuffle.address 指定地址来运行shuffle服务,格式是IP:PORT,参数的默认值为空。当参数值为空时,将绑定localhost,默认端口为13562。 说明: 如果涉及到的PORT值和配置的mapreduce.shuffle.port值不一样时,mapreduce
转换步骤才生效,转换步骤的内容可以为空;如果作业的转换步骤中没有配置分隔符,则以此处的默认分隔符为准。 , - loader.input.line.separator 默认的输入行分隔符,需要配置输入与输出转换步骤才生效,转换步骤的内容可以为空;如果作业的转换步骤中没有配置分隔符,则以此处的默认分隔符为准。
resultSet = statement.executeQuery(); Impala SQL语法规则之判空 判断字段是否为“空”,即没有值,使用“is null”;判断不为空,即有值,使用“is not null”。 要注意的是,在Impala SQL中String类型的字段若是空字符串,
约束与限制 使用MRS前,您需要认真阅读并了解以下使用限制。 MRS集群创建限制 表1 MRS集群创建约束说明 限制项 说明 网络要求 MRS集群必须创建在VPC子网内。 创建MRS集群时,支持自动创建安全组,也可选择已有的安全组。 MRS集群使用的安全组请勿随意放开权限,避免被恶意访问。
ON:源表和目标表匹配的条件。 WHEN: 数据更新条件。 insert into ... select ...;语法中不支持可空字段类型的数据插入到非空字段类型。 使用示例 向表中插入数据: INSERT INTO prod.db.table VALUES (1, 'a'), (2
ClickHouse安全模式开关。 本示例中,配置为“true”。 user 准备好的开发用户的认证信息,如果是机机用户,“password”为空。 密码明文存储存在安全风险,建议在配置文件或者环境变量中密文存放,使用时解密,确保安全 password isMachineUser 认证用户是否为机机用户。
* , 10.18.40.11 Range模式(只能指定八位字节的最后一个的范围) 例如: 10.18.40.[10-20] 参数值默认为空,为空时IP白名单为备集群RegionServer的IP地址,表示只接受来自备集群RegionServer的修改请求。 父主题: MRS集群安全加固
为什么从Yarn Web UI页面无法跳转到Spark Web UI界面 HistoryServer缓存的应用被回收,导致此类应用页面访问时出错 加载空的part文件时,app无法显示在JobHistory的页面上 Spark导出带有相同字段名的表,结果导出失败 为什么多次运行Spark应用程序会引发致命JRE错误
resultSet = statement.executeQuery(); Impala SQL语法规则之判空 判断字段是否为“空”,即没有值,使用“is null”;判断不为空,即有值,使用“is not null”。 要注意的是,在Impala SQL中String类型的字段若是空字符串,
REPLACE PARTITION FIELDALTER TABLE TableName WRITE ORDERED BY; 可空类型字段不能修改为非空类型字段, struct类型不支持修改字段。 使用示例 修改表增加属性值: ALTER TABLE prod.db.sample
TezUI无法展示Tez任务执行细节 进入Tez WebUI界面显示异常 TezUI界面无法查看Yarn日志 TezUI HiveQueries界面表格数据为空 父主题: 使用Tez
源。 添加Hive数据源前提条件 数据源所在集群域名与HetuEngine集群域名不能相同。 数据源所在集群与HetuEngine集群节点网络互通。 在HetuEngine所在集群的所有节点的“/etc/hosts”文件中,添加待对接数据源所在集群的主机名称和对应的IP映射,及其“/etc/hosts”文件中的“10
Loader转换类算子 长整型时间转换 空值转换 增加常量字段 随机值转换 拼接转换 分隔转换 取模转换 剪切字符串 EL操作转换 字符串大小写转换 字符串逆序转换 字符串空格清除转换 过滤行转换 更新域 父主题: Loader算子帮助
security_groups_id 否 String 参数解释: 集群安全组的ID。 当该ID为空时MRS后台会自动创建安全组,自动创建的安全组名称以mrs_{cluster_name}开头。 当该ID不为空时,表示使用固定安全组来创建集群,传入的ID必须是当前租户中包含的安全组ID。 支持多个安全组ID,以逗号分隔。