正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
HBase输出 概述 “HBase输出”算子,用于配置已生成的字段输出到HBase表的列。 输入与输出 输入:需要输出的字段 输出:HBase表 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 HBase表类型 配置HBase表类型,可选项为normal(普通HBase表)和phoenix表。
户,因此,当前访问控制仅对安全模式下的Hive有效。 如果已经在实际业务逻辑中使用了“current_user()”函数,那么,在安全模式与普通模式互转时,需要充分评估可能的风险。 操作示例 不采用“current_user”函数,要实现不同的用户,访问不同数据,需要创建不同的视图:
ition子句中列出表的所有字段。 不支持复杂类型数据,比如Array,Map等。 不支持外部表(external)。 数据文件的格式应当与目标表的文件格式一样。 创建目标表时,应该指定好文件的分割符,并且分割符要与数据文件中的分割符保持一致。 示例 创建文件“f1.txt”,填
ark/Spark2x、Yarn。 启用Ranger鉴权后,该组件所有鉴权将由Ranger统一管理,原鉴权插件设置的权限将会失效(HDFS与Yarn的组件ACL规则仍将生效),请谨慎操作,建议提前在Ranger上做好权限部署。 停用Ranger鉴权后,该组件所有鉴权将由组件自身权
读取HDFS文件失败,报错“FileNotFoundException” 问题背景与现象 有MapReduce任务所有map任务均成功,但reduce任务失败,查看日志发现报异常“FileNotFoundException...No lease on...File does not
Kafka生产者写入单条记录过长问题 问题背景与现象 用户在开发一个Kafka应用,作为一个生产者调用新接口(org.apache.kafka.clients.producer.*)往Kafka写数据,单条记录大小为1100055,超过了kafka配置文件server.properties中message
在告警列表中单击该告警的,从“附加信息”中获取产生告警的数据模块。 选择“运维 > 备份恢复 > 备份管理 > 创建”。 配置备份任务,需要配置的备份数据与该告警的附加信息保持一致。 可以参考备份数据将数据备份到第三方服务器,例如备份到:远端HDFS(RemoteHDFS)、NAS(NFS/CI
使用Phoenix创建HBase表后,向索引表中加载数据报错 问题背景与现象 使用Phoenix创建HBase表后,使用命令向索引表中加载数据报错: MRS 2.x及之前版本:Mutable secondary indexes must have the hbase.regionserver
List”栏可查看当前集群已创建的Topic的名称、状态、分区数量、创建时间和副本个数等信息。 单击Topic名称可进入Topic详情页面。在该页面可查看Topic与分区的详细信息。 在“Producer Message”栏可根据业务需求选择“Day”、“Week”、“Month”不同时段查看此Topic生产数据条数。
MRS集群管理员已明确业务需求。 登录Manager。 操作步骤 选择“系统 > 权限 > 角色”。 单击“添加角色”,然后“角色名称”和“描述”输入角色名字与描述。 设置角色“配置资源权限”请参见表1。 Yarn权限: “集群管理操作权限”:Yarn管理员权限。 “调度队列”:队列资源管理。 表1
接(semi-join)返回第一张表中的记录。与条件连接相反,即使在右节点中找到几条匹配的记录,左节点的表也只会返回一条记录。另外,右节点的表一条记录也不会返回。半连接通常使用IN或EXISTS作为连接条件。 而anti-join则与semi-join相反,即当在第二张表没有发现
当执行结果输出到文件或者其他,由Flink应用程序指定,您可以通过指定文件或其他获取到运行结果数据。以下用Checkpoint、Pipeline和配置表与流JOIN为例: 查看Checkpoint结果和文件 结果在flink的“taskmanager.out”文件中。用户可以进入Yarn的WebUI页面,选择“Jobs
当执行结果输出到文件或者其他,由Flink应用程序指定,您可以通过指定文件或其他获取到运行结果数据。以下用Checkpoint、Pipeline和配置表与流JOIN为例: 查看Checkpoint结果和文件 结果在flink的“taskmanager.out”文件中。用户可以进入Yarn的WebUI页面,选择“Jobs
'(\d+)([a-z]+)',2);-- [a, b, m] regexp_extract(string, pattern) → varchar 描述:返回与字符串中的正则表达式模式匹配的第一个子字符串。 SELECT regexp_extract('1a 2b 14m','\d+');-- 1
取值范围:1~3600s proxy_connect_timeout 定义与代理服务器建立tcp连接的超时时间。使用数字和单位组合,m表示分钟,s表示秒。 默认值:3m 取值范围:1-60m或1-3600s proxy_timeout 与代理服务器的tcp连接上两次连续读取或写入操作之间的超时。
DBService服务不可用”的处理步骤处理该故障。 在告警列表中,查看“Hive服务不可用”告警是否清除。 是,处理完毕。 否,执行17。 检查Hive与ZooKeeper、HDFS、Yarn和DBService之间的网络连接。 在FusionInsight Manager首页,选择“集群 >
将工程编译生成的jar包复制到“/opt/client/lib”目录下。 将IntelliJ IDEA工程“src/main/resources”目录下的所有文件复制到与依赖库文件夹同级的目录“src/main/resources”下,即“/opt/client/src/main/resources”。“/o
Kafka Broker上报进程异常,日志提示“IllegalArgumentException” 问题背景与现象 使用Manager提示进程故障告警,查看告警进程为Kafka Broker。 可能原因 Broker配置异常。 原因分析 在Manager页面,在告警页面得到主机信息。
HBase输出 概述 “HBase输出”算子,用于配置已生成的字段输出到HBase表的列。 输入与输出 输入:需要输出的字段 输出:HBase表 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 HBase表类型 配置HBase表类型,可选项为normal(普通HBase表)和phoenix表。
设置Hadoop中各模块的RPC通道是否加密。通道包括: 客户端访问HDFS的RPC通道。 HDFS中各模块间的RPC通道,如DataNode与NameNode间的RPC通道。 客户端访问Yarn的RPC通道。 NodeManager和ResourceManager间的RPC通道。