检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
二进制函数和运算符 二进制运算符 || 运算符执行连接。 二进制函数 length(binary) → bigint 返回binary的字节长度。 select length(x'00141f');-- 3 concat(binary1, ..., binaryN) → varbinary
“CSV文件输入”步骤中，“验证输入字段”检验输入字段与值的类型匹配情况，检查不匹配时跳过该行，当前行成为脏数据。 “固定宽度文件输入”步骤中，“固定长度”指定字段分割长度，长度大于原字段值的长度则数据分割失败，当前行成为脏数据。 “HBase输入”步骤中，“HBase表名”指定HBase表名不正确，或者“主键”没有配置主键列，全部数据成为脏数据。
获取一个拥有管理员权限的用户，例如“admin”。 请参考创建Hive角色，在Manager界面创建一个角色，例如“hrole”，不需要设置Hive权限、设置提交HQL命令到Yarn执行的权限。 在Manager界面创建两个使用Hive的“人机”用户并加入“hive”组，例如“huser
html，在此特性基础上，支持导入自定义分隔符文件，即用户可以采用限定长度内的任意可见字符进行组合作为分隔符来导入数据文件。 该章节内容仅适用于MRS 3.2.0及之后版本。 使用约束 自定义分隔符不能为空字符串。 自定义分隔符长度必须小于等于16个字符。 自定义分隔符过长会影响解析效率，降
度的命令： TIME-SERIES：设置为“root”，并单击“+”选择指定的时间序列。 FUNCTION：选择聚合函数“AVG”。 GROUP BY： “SAMPLING INTERVAL”设置为“30m” ，“SLIDING DTEP”设置为“10m”。表示采样间隔时间是30分钟，滑动步长是10分钟。
文件最大打开句柄数设置太小导致读写文件异常 问题背景与现象 文件最大打开句柄数设置太小，导致文件句柄不足。写文件到HDFS很慢，或者写文件失败。 原因分析 DataNode日志“/var/log/Bigdata/hdfs/dn/hadoop-omm-datanode-XXX.log”，存在异常提示java
获取一个拥有管理员权限的用户，例如“admin”。 请参考创建Hive角色，在Manager界面创建一个角色，例如“hrole”，不需要设置Hive权限，设置提交Hql命令到Yarn执行的权限。 在Manager界面创建两个使用Hive的“人机”用户并加入“hive”组，例如“huser
创建SparkSQL角色 操作场景 该任务指导MRS集群管理员在Manager创建并设置SparkSQL的角色。SparkSQL角色可设置Spark管理员权限以及数据表的数据操作权限。 用户使用Hive并创建数据库需要加入hive组，不需要角色授权。用户在Hive和HDFS中对自
创建SparkSQL角色 操作场景 该任务指导MRS集群管理员在Manager创建并设置SparkSQL的角色。SparkSQL角色可设置Spark管理员权限以及数据表的数据操作权限。 用户使用Hive并创建数据库需要加入hive组，不需要角色授权。用户在Hive和HDFS中对自
类型：配置字段类型。 长度：配置字段长度，字段值实际长度太长则按配置的长度截取，“类型”为“CHAR”时实际长度不足则空格补齐，“类型”为“VARCHAR”时实际长度不足则不补齐。 map 是 无 数据处理规则 将指定的列按顺序生成字段。具体的表列是在作业配置的第二步“输入设置”中指定，当
执行Kafka Topic设置ACL操作失败，提示“NoAuthException” 问题背景与现象 在使用Kafka客户端命令设置Topic ACL权限时，发现Topic无法被设置。 kafka-acls.sh --authorizer-properties zookeeper
类型：配置字段类型。 长度：配置字段长度，字段值实际长度太长则按配置的长度截取，“类型”为“CHAR”时实际长度不足则空格补齐，“类型”为“VARCHAR”时实际长度不足则不补齐。 map 是 无 数据处理规则 将指定的列按顺序生成字段。具体的表列是在作业配置的第二步“输入设置”中指定，当
输入文件数超出设置限制导致任务执行失败 问题背景与现象 Hive执行查询操作时报Job Submission failed with exception 'java.lang.RuntimeException(input file number exceeded the limits
为什么给HBase使用的HDFS目录设置quota会造成HBase故障 问题 为什么给HDFS上的HBase使用的目录设置quota会造成HBase故障？ 回答 表的flush操作是在HDFS中写memstore数据。 如果HDFS目录没有足够的磁盘空间quota，flush操作会失败，这样region
为什么给HBase使用的HDFS目录设置quota会造成HBase故障 问题 为什么给HDFS上的HBase使用的目录设置quota会造成HBase故障？ 回答 表的flush操作是在HDFS中写MemStore数据。 如果HDFS目录没有足够的磁盘空间quota，flush操作会失败，这样region
是否指定分区列。 true 设置数据转换 单击“下一步”，进入“转换”界面，设置数据传输过程中的转换操作。算子的选择和参数设置具体请参考Loader算子帮助及表3。 表3 算子输入、输出参数设置 输入类型 输出类型 表输入 HBase输出 图3 算子操作方法示意 设置数据保存信息并运行作业
是否指定分区列。 true 设置数据转换 单击“下一步”，进入“转换”界面，设置数据传输过程中的转换操作。算子的选择和参数设置具体请参考算子帮助及表3。 表3 算子输入、输出参数设置 输入类型 输出类型 表输入 HBase输出 图3 算子操作方法示意 设置数据保存信息并运行作业 单
使用通用连接器连接MySQL时，在大数据量场景下，需要在MySQL的JDBC连接串中设置连接属性“useCursorFetch=true”。 名称：socketTimeout 值：20 设置数据源信息 单击“下一步”，进入“输入设置”界面，设置数据源信息。 表2 输入设置参数 参数名 说明 示例 架构名称 “表方式”模式下存在，数据库模式名。
使用通用连接器连接MySQL时，在大数据量场景下，需要在MySQL的JDBC连接串中设置连接属性“useCursorFetch=true”。 名称：socketTimeout 值：20 设置数据源信息 单击“下一步”，进入“输入设置”界面，设置数据源信息。 表2 输入设置参数 参数名 说明 示例 架构名称 “表方式”模式下存在，数据库模式名。
只能由英文字母和数字组成，且长度为[1-64]个字符。 默认取值： 不涉及 connector_id 是 String 参数解释： 连接ID。获取方法，请参见获取连接ID。 约束限制： 不涉及 取值范围： 只能由英文字母、数字以及“_”和“-”组成，且长度为[1-64]个字符。 默认取值：
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
