检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
输入:需要逆序的字段 输出:逆序转换后的字段 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 逆序转换的字段 配置字符串逆序转换的字段相关信息: 输入字段名:配置输入字段名,需填写上一个转换步骤生成的字段名。 输出字段名:配置输出字段名。 类型:配置字段类型。 输出字段长度:配置
Workflow”),可以直接单击该名称进行修改,例如“Streaming-Workflow”。 保存完成后,单击,提交该作业。 作业提交后,可通过Hue界面查看作业的详细信息、日志、进度等相关内容。 父主题: 使用Hue提交Oozie作业
Topic所有分区的消息积压情况,如下图所示: 创建完成后,可以在“Lag Alarms”界面查看、修改、删除Kafka消息积压告警的规则信息。 父主题: Kafka运维管理
string, update_time timestamp); 其中user_group是分区列,需要根据已有数据,按更新时间进行排序,刷新用户组信息。操作步骤如下: 在Hive Beeline命令行执行以下命令开启Hive动态分区: set hive.exec.dynamic.partition=true;
>下载认证凭据”,保存后解压得到用户的user.keytab文件与krb5.conf文件,用于在样例工程中进行安全认证,如图4所示。 图4 下载认证凭据 参考信息 如果修改了组件的配置参数,需重新下载客户端配置文件并更新运行调测环境上的客户端。 父主题: 准备HBase应用开发环境
有多少条记录. SELECT COUNT(*) FROM employees_info; -- 查询使用以“cn”结尾的邮箱的员工信息. SELECT a.name, b.tel_phone FROM employees_info a JOIN employees_contact
Python3样例工程章节,获取样例代码,获取hetu-jdbc-XXX.jar文件,并复制到自定义目录中。 编辑样例代码,根据集群实际情况修改url、user等信息,并根据实际路径修改“jdbc_location”。 Windows系统路径填写示例:"D:\\hetu-examples-python3\\hetu-jdbc-XXX
topic中获取消息的角色称为Consumer。 Broker Kafka集群中的每一个节点服务器称为Broker。 keytab file 存放用户信息的密钥文件。应用程序采用此密钥文件在集群中进行API方式认证。 父主题: Kafka开发指南(普通模式)
设置为“false”,表示关闭该功能,表示日志不会收集到HDFS中。 修改参数值后,需重启Yarn服务使其生效。 说明: 在修改值为“false”并生效后,生效前的日志无法在WebUI中获取。 如果需要在WebUI界面上查看之前产生的日志,建议将此参数设置为“true”。 true yarn.nodemanager
应用程序开发或运行过程中,需通过集群相关配置文件信息连接MRS集群,配置文件通常包括集群组件信息文件以及用于安全认证的用户文件,可从已创建好的MRS集群中获取相关内容。 用于程序调测或运行的节点,需要与MRS集群内节点网络互通,同时配置hosts域名信息。 场景一:准备本地Windows开发环境调测程序所需配置文件。
每n次进行一次全量备份 说明: 备份Manager数据和组件元数据时不支持增量备份,仅支持“每次都全量备份”。 如果“路径类型”要使用NFS或CIFS,不能使用增量备份功能。因为在NFS或CIFS备份时使用增量备份时,每次增量备份都会刷新最近一次全量备份的备份数据,所以不会产生新的恢复点。 在“备份配置”,勾选“OMS”。
如果未指定具体列的数据类型,则使用默认数据类型(string)。 如果未设置可选参数scan.caching,则将采用默认值1000。 用户表必须存在。 表中指定的索引不能存在。 如果用户表中已经存在名称为'd'的ColumnFamily,则用户必须使用TableIndexer工具构建索引数据。 在执行以上的
指定属性“transactional=true”可以让表支持“原子性、一致性、隔离性、持久性”写入的事务能力,但是将表定义为事务表后,无法通过设置“transactional=false”将其退化为非事务表。 transactional='true'或 '0'在执行过程中不会进行类型转换,所以这种写法会抛出异常:
表1 参数配置-1 参数 描述 默认值 mapreduce.input.fileinputformat.split.maxsize map输入信息应被拆分成的数据块的最大大小。 由用户定义的分片大小的设置及每个文件block大小的设置,可以计算分片的大小。计算公式如下: splitSize
WebUI查看应用程序运行情况。可参见“更多信息 > 对外接口 > Web UI ”。 通过HBase shell命令查看应用程序运行情况。可参见“更多信息 > 对外接口 > Shell ”。 通过运行日志可查看应用提交后的执行详情,例如,hbase-example样例运行成功后,显示信息如下: 2280 [main]
HCatalog是建立在Hive元数据之上的一个表信息管理层,吸收了Hive的DDL命令。为Mapreduce提供读写接口,提供Hive命令行接口来进行数据定义和元数据查询。基于MRS的HCatalog功能,Hive、Mapreduce开发人员能够共享元数据信息,避免中间转换和调整,能够提升数据处理的效率。
如果未指定具体列的数据类型,则使用默认数据类型(string)。 如果未设置可选参数scan.caching,则将采用默认值1000。 用户表必须存在。 表中指定的索引不能存在。 如果用户表中已经存在名称为'd'的ColumnFamily,则用户必须使用TableIndexer工具构建索引数据。 在执行以上的
kinit Storm用户 执行以下命令,提交Storm拓扑: storm jar 拓扑包路径 拓扑Main方法的类名称 拓扑名称 界面提示以下信息表示提交成功: Finished submitting topology: topo1 执行以下命令,查看Storm中的拓扑。启用Kerb
Workflow”),可以直接单击该名称进行修改,例如“MapReduce-Workflow”。 保存完成后,单击,提交该作业。 作业提交后,可通过Hue界面查看作业的详细信息、日志、进度等相关内容。 父主题: 使用Hue提交Oozie作业
Workflow”),可以直接单击该名称进行修改,例如“MapReduce-Workflow”。 保存完成后,单击,提交该作业。 作业提交后,可通过Hue界面查看作业的详细信息、日志、进度等相关内容。 父主题: 使用Hue提交Oozie作业