检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
MRS集群网络信息 参数 参数说明 默认生效子网 子网信息,创建集群时所选。 当子网IP不足时,单击“切换子网”切换到当前集群相同VPC下的其他子网,实现可用子网IP的扩充。切换子网不会影响当前已有节点的IP地址和子网。 通过子网提供与其他网络隔离的、可以独享的网络资源,以提高网络安全。
取Hive数据。 转换类型 长整型时间转换:长整型日期转换步骤,配置长整型数值与日期的转换。 空值转换:空值转换步骤,配置指定值替换空值。 随机值转换:随机数据生成步骤,配置新增值为随机数据的字段。 增加常量字段:增加常量步骤,配置直接生成常量字段。 拼接转换:拼接字段步骤,配置
456] JSON函数 NULL到JSON的转换并不能简单地实现。从独立的NULL进行转换将产生一个SQLNULL,而不是JSON 'null'。不过,在从包含NULL的数组或Map进行转换时,生成的JSON将包含NULL。 在从ROW转换为JSON时,结果是一个JSON数组,而不
准备Eclipse与JDK 前提条件 MRS服务集群开启了Kerberos认证 操作场景 在Windows环境下需要安装Eclipse和JDK。 操作步骤 开发环境安装Eclipse程序,版本要求Eclipse使用4.2或以上版本。 开发环境安装JDK程序,版本要求JDK使用1.7或者1
取Hive数据。 转换类型 长整型时间转换:长整型日期转换步骤,配置长整型数值与日期的转换。 空值转换:空值转换步骤,配置指定值替换空值。 随机值转换:随机数据生成步骤,配置新增值为随机数据的字段。 增加常量字段:增加常量步骤,配置直接生成常量字段。 拼接转换:拼接字段步骤,配置
BUILDING:索引数据正常批量生成,索引数据生成工具执行结束会自动转换到ACTIVE状态,此状态下可以正常读写。 DROPPING:索引正在被删除,跳过生成该索引的索引数据,查询数据时无法使用该索引。 基于工具的索引状态修改,支持图1所示的状态转换。 图1 索引状态转换图 场景介绍 用户可以使用全局二级索引工具禁用/启用某个索引。
固定宽度文件输入 概述 “固定宽度文件输入”算子,将文件的每一行,按可配置长度的字符或字节,转换成多个输入字段。 输入与输出 输入:文本文件 输出:多个字段 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 换行符 用户根据数据实际情况,填写字符串作为换行符。支持任何字符串。默认使用操作系统的换行符。
HBase输入 概述 “HBase输入”算子,将HBase表的指定列转换成同等数量的输入字段。 输入与输出 输入:HBase表列 输出:字段 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 HBase表类型 配置HBase表类型,可选项为normal(普通表)和phoenix表。
Hive输入 概述 “Hive输入”算子,将Hive表的指定列转换成同等数量的输入字段。 输入与输出 输入:Hive表列 输出:字段 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 Hive数据库 Hive的数据库名称。 String 否 default Hive表名
HBase输入 概述 “HBase输入”算子,将HBase表的指定列转换成同等数量的输入字段。 输入与输出 输入:HBase表列 输出:字段 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 HBase表类型 配置HBase表类型,可选项为normal(普通表)和phoenix表。
ResourceManager进行主备切换后,任务中断后运行时间过长 问题 在MapReduce任务运行过程中,ResourceManager发生主备切换,切换完成后,MapReduce任务继续执行,此时任务的运行时间过长。 回答 因为ResourceManager HA已启用,但是Work-preserving
ResourceManager进行主备切换后,任务中断后运行时间过长 问题 在MapReduce任务运行过程中,ResourceManager发生主备切换,切换完成后,MapReduce任务继续执行,此时任务的运行时间过长。 回答 因为ResourceManager HA已启用,但是Work-preserving
固定宽度文件输入 概述 “固定宽度文件输入”算子,将文件的每一行,按可配置长度的字符或字节,转换成多个输入字段。 输入与输出 输入:文本文件。 输出:多个字段。 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 换行符 用户根据数据实际情况,填写字符串作为换行符。
Hive输入 概述 “Hive输入”算子,将Hive表的指定列转换成同等数量的输入字段。 输入与输出 输入:Hive表列 输出:字段 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 Hive数据库 Hive的数据库名称。 String 否 default Hive表名
ase和Yarn。 如果为已有的租户关联服务资源:在租户列表单击目标租户,切换到“服务关联”页签,单击“关联服务”单独配置当前租户关联资源。 如果为已有的租户取消关联服务资源:在租户列表单击目标的租户,切换到“服务关联”页签,单击“删除”,并勾选“我已阅读此信息并了解其影响。”,再单击“确定”删除与服务资源的关联。
准备Eclipse与JDK 选择Windows开发环境下,安装Eclipse,安装JDK。 开发环境安装Eclipse程序,安装要求Eclipse使用4.2或以上版本。 开发环境安装JDK程序,安装要求JDK使用1.8版本。 若使用IBM JDK,请确保Eclipse中的JDK配置为IBM
准备Eclipse与JDK 操作场景 开发环境可以搭建在Windows环境下。 操作步骤 安装Eclipse程序。安装要求Eclipse使用3.0及以上版本。 安装JDK程序。安装要求JDK使用1.7及或者1.8版本,支持IBM JDK和Oracle JDK。 若使用IBM JD
如何使用IBM JDK连接ZooKeeper 问题 使用IBM的JDK的情况下客户端连接ZooKeeper失败。 回答 可能原因为IBM的JDK和普通JDK的jaas.conf文件格式不一样。 在使用IBM JDK时,建议使用如下jaas.conf文件模板,其中“useKeyta
补齐,类型为“VARCHAR”时实际长度不足则不补齐。 map 是 无 数据处理规则 将每行数据按照指定的分隔符,分隔成多个字段,供之后的转换算子使用。 当字段的值与实际的类型不匹配时,该行数据会成为脏数据。 输入字段列数不等于原始数据实际包含字段列数,该行数据会保存为脏数据。 样例
补齐,类型为“VARCHAR”时实际长度不足则不补齐。 map 是 无 数据处理规则 将每行数据按照指定的分隔符,分隔成多个字段,供之后的转换算子使用。 当字段的值与实际的类型不匹配时,该行数据会成为脏数据。 输入字段列数不等于原始数据实际包含字段列数,该行数据会保存为脏数据。 样例