检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
/sqoop2-shell -uk false -u username -p encryptedPassword 命令中如果携带认证密码信息可能存在安全风险，在执行命令前建议关闭系统的history命令记录功能，避免信息泄露。 通过Kerberos模式认证： ./sqoop2-shell -uk
息 配置磁盘存储策略 自定义冷热分离数据存储策略 导入数据ClickHouse测试验证 原理介绍 OBS对象存储是支持海量数据存储，并提供安全可靠的、低成本的分布式存储服务，ClickHouse基于OBS的优势构建冷热分离存储架构。ClickHouse实例所在的SSD云盘存放最近
载集群客户端。 在“下载集群客户端”弹窗中填写集群客户端下载信息。 图3 下载集群客户端 “选择客户端类型”中选择“完整客户端”。 “选择平台类型”必须与待安装节点的架构匹配，以“x86_64”为例。 勾选“仅保存到如下路径”，填写下载路径，本示例以“/tmp/FusionIns
x及之后版本。 前提条件 主备集群都已经安装并启动成功，且获取集群的管理员权限。 必须保证主备集群间的网络畅通和端口的使用。 如果主集群部署为安全模式且不由一个FusionInsight Manager管理，主备集群必须已配置跨集群互信。如果主集群部署为普通模式，不需要配置跨集群互信。
stream_mor union all select * from stream_write_cow; Kafka端口号： 集群的“认证模式”为“安全模式”时为“sasl.port”的值，默认为“21007”。 集群的“认证模式”为“普通模式”时为“port”的值，默认为“9092”。如
单击“立即购买”，等待MRS集群创建成功。 图1 集群购买成功 准备应用开发配置文件 集群创建成功后，登录FusionInsight Manager创建用于样例工程安全认证的集群用户。 选择“系统 > 权限 > 用户 > 添加用户”，在新增用户界面创建一个人机用户，例如developuser。 “用户组”需加入“hadoop”用户组。
此告警修复后，系统会自动清除此告警，无需手工清除。 参考信息 相关参数获取方法如下： MRS 2.x及以前版本： 当前慢盘故障告警的检查原理为： 在Linux平台上判断IO是否存在问题，输入命令iostat -x -t 1，观察svctm的值（如图所示红色框中的部分）。 svctm值表示该磁盘IO服务时间。
丢失的HDFS块数量超过阈值 HDFS存储数据丢失，HDFS可能会进入安全模式，无法提供写服务。丢失的块数据无法恢复。 0 需要复制副本的块总数 14028 待补齐的块数超过阈值 HDFS存储数据丢失，HDFS可能会进入安全模式，无法提供写服务。丢失的块数据无法恢复。 1000 主NameNode
Spark SQL需要配置Spark SQL语句(hql)和sql程序路径(hive_script_path)。 开启Kerberos认证的安全集群暂不支持使用该接口提交作业。 调试 您可以在API Explorer中调试该接口。 URI POST /v1.1/{project_id}/jobs/submit-job
下的容灾。 前提条件 主备集群都已经安装并启动成功，且获取集群的管理员权限。 必须保证主备集群间的网络畅通和端口的使用。 如果主集群部署为安全模式且不由一个FusionInsight Manager管理，主备集群必须已配置跨集群互信。如果主集群部署为普通模式，不需要配置跨集群互信。
创建集群时以VPC平台第一个名称的子网为准。推荐使用“subnet_id”。 取值范围： 不涉及 默认取值： 不涉及 security_groups_id 否 String 参数解释： 集群安全组的ID。 当该ID为空时MRS后台会自己创建安全组，自动创建的安全组名称以mrs_{cluster_name}开头。
默认取值： 不涉及 safe_mode_kerberos_exclude_components Array of strings 参数解释： 安全模式kerberos排除组件列表。 约束限制： 不涉及 取值范围： 不涉及 默认取值： 不涉及 表7 NodeConstraints 参数
taskmanager.network.netty.sendReceiveBufferSize: 0 # netty的传输方式，默认方式会根据运行的平台选择合适的方式 taskmanager.network.netty.transport：auto 内存总体调优 Flink内部对内存进行了
ZKFC进程状态异常 ALM-14034 Router进程状态异常 ALM-14035 HttpFS进程状态异常 ALM-14036 NameNode进入安全模式 ALM-14037 存在集群外的DataNode ALM-14038 Router堆内存使用率超过阈值 ALM-14039 集群内存在慢DataNode
Stage 每个Job由多个Stage组成，每个Stage是一个Task集合，由DAG分割而成。 Task 承载业务逻辑的运算单元，是Spark平台上可执行的最小工作单元。一个应用根据执行计划以及计算量分为多个Task。 Spark应用运行原理 Spark的应用运行架构如图 Spark应用运行架构所示，运行流程如下所示：
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
