检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
loader-tool工具使用示例 操作场景 loader-tool工具支持通过作业模板或参数选项的方式,对连接器或者作业进行创建、更新、查询、删除等操作。 本文将以“从SFTP服务器导入数据到HDFS”的作业为例,通过引用作业模板的方式,介绍loader-tool工具的使用方法。
ClickHouse获取临时委托凭据失败 本章节仅适用于MRS 3.3.1及之后版本。 告警解释 系统配置冷热分离功能和委托后,每隔1分钟检测一次临时委托凭据的更新状态,当连续3次检测到获取临时委托凭据失败时,系统产生告警。 当检测到系统获取临时委托凭据成功时,告警自动消除。 告警属性 告警ID 告警级别
选择“服务管理 > HDFS > 实例”,查看“NameNode(主)”的“管理IP”。 登录集群B的客户端节点。 例如在Master2节点更新客户端,则在该节点登录客户端。 执行以下命令,查看集群A中的目录“/tmp”。 hdfs dfs -ls hdfs://192.168.6
ClickHouse应用开发规范 Doris应用开发规范 Flink应用开发规范 Hudi应用开发规范 以下所有第三方教程均来自于华为云社区,由于云服务产品持续更新与迭代,相关社区教程中的内容可能存在时效性,不一定与产品最新版本能力完全保持一致,相关内容仅供学习和参考。 表2 开发者社区精选最佳实践 分类
当前ClickHouse可支持上万列的宽表横向扩展。 在大部分场景下,有大表两表join以及多表join的场景,且多个join的表数据变化更新频率较低,这种情况,建议对多个表join查询逻辑提前进行加工处理,将处理后的数据写入到一个宽表中,宽表中包含所有要查询的数据字段,以供后续应用完全自助OLAP的高性能查询。
字符串空格清除转换:字符串空格清除步骤,配置已生成的字段通过清除空格,转换出新的字段。 过滤行转换:过滤行步骤,配置逻辑条件过滤掉含触发条件的行。 更新域:更新域步骤,配置当满足某些条件时,更新指定字段的值。 输出类型 文件输出:文本文件输出步骤,配置已生成的字段通过分隔符连接并输出到文件。 表输出:关系型数据
字符串空格清除转换:字符串空格清除步骤,配置已生成的字段通过清除空格,转换出新的字段。 过滤行转换:过滤行步骤,配置逻辑条件过滤掉含触发条件的行。 更新域:更新域步骤,配置当满足某些条件时,更新指定字段的值。 输出类型 文件输出:文本文件输出步骤,配置已生成的字段通过分隔符连接并输出到文件。 表输出:关系型数据
界面显示以下信息表示配置刷新更新成功: ReFresh components client config is complete. Succeed to refresh components client config. 在Master节点使用客户端。 在已更新客户端的主管理节点,例如
Kudu支持的压缩算法有哪些? 如何查看Kudu日志? 新建集群Kudu服务异常如何处理? Presto如何配置其他数据源? MRS 1.9.3 Ranger证书如何更新? MRS的Storm集群提交任务时如何指定日志路径? 如何检查Yarn的ResourceManager配置是否正常? 如何修改Cli
对接OBS场景中,spark-beeline登录后指定loaction到OBS建表失败 问题 对接OBS ECS/BMS集群,spark-beeline登录后,指定location到OBS建表报错失败。 图1 错误信息 回答 HDFS上ssl.jceks文件权限不足,导致建表失败。
有的集群/节点资源。 集群标签:可以在创建集群时添加标签,也可以在集群创建完成后,在集群的详情页添加标签,您最多可以给集群添加20个标签。更新集群标签会将标签同步到该集群下的所有节点上。 节点标签:可以通过默认标签、配置弹性伸缩策略时为MRS集群的节点添加标签,节点标签会占用标签
x509 -noout -text -in server.crt查看HA用户证书的生效时间与失效时间。 根据需要,选择业务空闲期,执行6~7更新HA证书。 执行命令cd ${BIGDATA_HOME}/FusionInsight_Flink_*/install/FusionInsi
息显示“数据盘: --(请同步磁盘信息)”,需要同步最新云硬盘时,可以使用同步磁盘信息功能。 同步磁盘信息用于检查集群云磁盘最新信息并进行更新,使控制台展示的云硬盘信息与实际最新云硬盘信息保持一致。 同步MRS集群节点磁盘约束条件 同步磁盘信息功能仅支持同步云硬盘信息,不支持同步本地盘信息。
界面显示以下信息表示配置刷新更新成功: ReFresh components client config is complete. Succeed to refresh components client config. 对于MRS 1.8.5及之后版本集群,步骤1~4的操作也可以参考更新客户端(3
更换MRS集群证书 更换CA证书 更换HA证书 父主题: MRS集群安全配置
创建租户时将自动创建租户对应的角色、计算资源和存储资源。默认情况下,新的计算资源和存储资源的全部权限将分配给租户的角色。 修改租户的计算资源或存储资源,对应的角色关联权限将自动更新。 Manager还提供了多实例的功能,使用户在资源控制和业务隔离的场景中可以独立使用HBase、Hive和Spark组件。多实例功能默认关闭,可以选择手动启用。
查询connector 查询framework 查询step 数据源连接管理 查询数据源连接 增加数据源连接 更新数据源连接 删除数据源连接 激活数据源连接 禁用数据源连接 作业管理 查询作业 创建作业 更新作业 删除作业 激活作业 禁用作业 查询作业所有执行记录 查询作业最近执行记录 提交作业 停止作业
Spark2x样例工程介绍 MRS样例工程获取地址为https://github.com/huaweicloud/huaweicloud-mrs-example,切换分支为与MRS集群相匹配的版本分支,然后下载压缩包到本地后解压,即可获取各组件对应的样例代码工程。 当前MRS提供以下Spark2x相关样例工程:
JobHistoryServer地址(mapreduce.jobhistory.address / mapreduce.jobhistory.webapp.<https.>address)是MapReduce参数,MapReduce客户端提交作业时,会将此地址随任务一起提交给ResourceManage
ZooKeeper上Client和Server之间的凭证由X509AuthenticationProvider执行。根据以下参数指定服务端证书及信任客户端证书,并通过这些证书初始化X509AuthenticationProvider。 zookeeper.ssl.keyStore.location