检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用sqoop-shell工具导入数据到HDFS 操作场景 本文将以从SFTP服务器导入数据到HDFS的作业为例，介绍如何分别在交互模式和批量模式下使用sqoop-shell工具进行创建和启动Loader作业。 前提条件 已安装并配置Loader客户端，具体操作请参见使用客户端运行Loader作业。
CDL数据集成概述 CDL是一种简单、高效的数据实时集成服务，能够从各种OLTP数据库中抓取Data Change事件，然后推送至Kafka中，最后由Sink Connector消费Topic中的数据并导入到大数据生态软件应用中，从而实现数据的实时入湖。 CDL服务包含了两个重要
创建FlinkServer作业 操作场景 定义Flink的作业，包括Flink SQL和Flink Jar作业。 新建作业 访问Flink WebUI，请参考访问FlinkServer WebUI界面。 单击“作业管理”进入作业管理页面。 单击“新建作业”，在新建作业页面可选择新建Flink
String 参数解释： 程序执行的关键参数。 约束限制： 该参数由用户程序内的函数指定，MRS只负责参数的传入。 取值范围： 该参数可为空。 默认取值： 不涉及 hql String 参数解释： HQL脚本语句。 约束限制： 不涉及 取值范围： 不涉及 默认取值： 不涉及 job_state
HetuEngine用户权限说明 HetuEngine在集群已启用Kerberos认证（安全模式）时提供了如下两种权限管控方式，默认使用Ranger权限模型；在集群未启用Kerberos认证（普通模式）时提供了Ranger权限模型，默认未开启Ranger权限模型： Ranger权
Flink客户端使用实践 本节提供使用Flink运行wordcount作业的操作指导。 前提条件 MRS集群中已安装Flink组件。 集群正常运行，已安装集群客户端，例如安装目录为“/opt/hadoopclient”。以下操作的客户端目录只是举例，请根据实际安装目录修改。 使用Flink客户端（MRS
Doris建表规范 该章节主要介绍创建Doris表时需遵循的规则和建议。 Doris建表规则 在创建Doris表指定分桶buckets时，每个桶的数据大小应保持在100MB~3GB之间，单分区中最大分桶数量不超过5000。 表数据超过5亿条以上必须设置分区分桶策略。 表的分桶列不
查询可用区信息 功能介绍 在创建集群时，需要配置实例所在的可用区ID，可通过该接口查询可用区的ID。 调用方法 请参见如何调用API。 URI GET /v1.1/{region_id}/available-zones 表1 路径参数 参数 是否必选 参数类型 描述 region_id
系统会在本地集群中创建恢复对应的表分区等结构。创建完成后，该表可见，但是不可访问。 本地snapshot 将在本地集群中创建的表做一个快照，是一个空快照（刚创建的表没有数据），用于在Backend上产生对应的快照目录，接收从远端仓库下载的快照文件。 下载快照 远端仓库中的快照文件，会被下
管理MRS集群角色 根据不同业务场景需要，管理员使用Manager创建并管理不同角色，通过角色对Manager和组件进行授权管理。 MRS 3.x及之后版本，Manager最大支持5000个角色（包括系统内置角色，不包括租户自动创建的角色）。 MRS 2.x及之前版本，Manager最大支持的角色数为1000。
Flink常用配置参数 配置说明 Flink所有的配置参数都可以在客户端侧进行配置，建议用户直接修改客户端的“flink-conf.yaml”配置文件进行配置，如果通过Manager界面修改Flink服务参数，配置完成之后需要重新下载安装客户端： 配置文件路径：客户端安装路径/F
创建ClickHouse租户 本章节内容仅适用于MRS 3.2.0及之后版本。 操作场景 集群管理员通过FusionInsight Manager页面可以创建ClickHouse租户，并关联逻辑集群。系统用户绑定该租户后，则拥有该租户的逻辑集群相关权限。 创建ClickHouse租户
application/json; charset=utf-8。 每个接口的请求消息体内容不同，也并不是每个接口都需要有请求消息体（或者说消息体为空），GET、DELETE操作类型的接口就不需要消息体，消息体具体内容需要根据具体接口而定。 对于管理员创建IAM用户接口，您可以从接口的请求
FusionInsight_Cluster_1_Services_ClientConfig 执行如下命令安装客户端到指定目录（目录可以不存在，如果存在则必须为空）。 例如安装到“/opt/client”目录，执行以下命令： ./install.sh /opt/client 等待客户端安装完成。 ..
进程运行日志 记录进程运行信息及调试信息，如函数入口和出口打印、模块间接口消息等。 进程运行异常日志 记录导致进程运行时错误的错误信息，如输入对象为空、编解码失败等错误。 进程运行环境信息日志 记录进程运行环境的信息，如资源状态、环境变量等。 脚本日志 记录脚本执行的过程信息。 资源回收日志
解决JDBC插入时多文件下的性能问题 Hadoop 解决Superior调度器分配资源到用户时有可能会卡住的问题 解决ResourceManager偶现空指针报错而重启的问题 Hive 解决Hive使用udf时内存泄漏的问题 解决int列分区，值为01场景，无法删除分区的问题 解决Hive使用beeline连接出现卡住无法连接
准备Flink安全认证 场景说明 在安全集群环境下，各个组件之间的相互通信不能够简单的互通，而需要在通信之前进行相互认证，以确保通信的安全性。 用户在提交Flink应用程序时，需要与Yarn、HDFS等之间进行通信。那么提交Flink的应用程序中需要设置安全认证，确保Flink程序能够正常运行。
Flink常用配置参数 配置文件说明 Flink所有的配置参数都可以在客户端侧进行配置，建议用户直接修改客户端的“flink-conf.yaml”配置文件进行配置，如果通过Manager界面修改Flink服务参数，配置完成之后需要重新下载安装客户端： 配置文件路径：客户端安装路径
使用omm用户登录故障节点，执行如下命令。 ps -ef | grep "Dprocess.name=nodeagent" | grep -v grep 检查查询结果是否为空。 是，执行19。 否，执行21。 查看Agent启动与运行日志排查故障原因，待故障解决后执行20。 Agent运行日志：/var/log/
MRS集群创建失败错误码列表如表6所示。 表6 错误码 错误码 说明 MRS.101 用户请求配额不足，请联系客服提升配额。 MRS.102 用户Token为空或不合法，请稍后重试或联系客服。 MRS.103 用户请求不合法，请稍后重试或联系客服。 MRS.104 用户资源不足，请稍后重试或联系客服。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
