检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
statistics.histogram.enabled:指定是否开启直方图功能,默认为false。 配置参数 登录FusionInsight Manager系统,选择“集群 > 待操作集群的名称 > 服务 > Spark2x > 配置”,单击“全部配置”,搜索以下参数。 参数 说明 默认值 取值范围
Array[String]) { val ssc = createContext(args) //启动Streaming系统。 ssc.start() ssc.awaitTermination() } def createContext(args
Array[String]) { val ssc = createContext(args) //启动Streaming系统。 ssc.start() ssc.awaitTermination() } def createContext(args
IoTDB/config/* root@客户端节点IP地址:/opt/client/conf 检查客户端节点网络连接。 在安装客户端过程中,系统会自动配置客户端节点“hosts”文件,建议检查“/etc/hosts”文件内是否包含集群内节点的主机名信息,如未包含,需要手动复制解压目
指定节点不安装补丁。 隔离主机仅支持隔离非管理节点。 该任务指导用户在MRS上根据实际业务或运维规划手工将主机隔离。 隔离MRS集群节点对系统的影响 主机隔离后该主机上的所有角色实例将被停止,且不能对主机及主机上的所有实例进行启动、停止和配置等操作。 主机隔离后无法统计并显示该主
teger、Long、Float、Double、String、Date、Decimal 支持的数据格式:parquet、orc 支持的文件系统:obs、hdfs 支持的机型: AMD64、ARM 支持的场景:spark-sql模式 配置参数 在Spark客户端的“{客户端安装目录
statistics.histogram.enabled:指定是否开启直方图功能,默认为false。 配置参数 登录FusionInsight Manager系统,选择“集群 > 服务 > Spark2x > 配置”,单击“全部配置”,搜索以下参数。 参数 说明 默认值 取值范围 spark.sql
Manager新增文件句柄数量监控 MRS Manager新增大数据组件发生重启事件上报 MRS 镜像 解决ECS VNC登录不停打印输出问题 解决操作系统日志转储配置问题 MRS 1.7.1.3 修复问题列表: MRS Manager新增运维通道功能。 MRS 1.7.1.2 修复问题列表:
Hive集群的元数据会默认存储到MRS DBService组件,也可以选择RDS(MySQL)作为外置元数据库。 Hive的业务数据,存储在HDFS文件系统或OBS对象存储中。 图1 Hive数据迁移示意 方案优势 场景化迁移通过迁移快照数据然后再恢复表数据的方法,能大大提升迁移效率。 约束与限制
命令中如果携带认证密码信息可能存在安全风险,在执行命令前建议关闭系统的history命令记录功能,避免信息泄露。 通过Kerberos模式认证: ./sqoop2-shell -uk true -k user.keytab -s userPrincipal 系统显示如下信息: Welcome to sqoop
面。 在HBase全部配置界面查看相关参数。 表1 HBase Index相关参数 配置入口 配置项 默认值 描述 “HMaster > 系统” hbase.coprocessor.master.classes org.apache.hadoop.hbase.hindex.server
RootVolumeSize Integer 参数解释: 节点系统盘大小,不可配置,默认为40GB。 约束限制: 不涉及 取值范围: 不涉及 默认取值: 不涉及 RootVolumeProductId String 参数解释: 节点系统盘的产品ID。 约束限制: 不涉及 取值范围: 不涉及
and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"] projectId = "{project_id}"
RootVolumeSize Integer 参数解释: 节点系统盘大小,不可配置,默认为40GB。 约束限制: 不涉及 取值范围: 不涉及 默认取值: 不涉及 RootVolumeProductId String 参数解释: 节点系统盘的产品ID。 约束限制: 不涉及 取值范围: 不涉及
已创建用户flume_hdfs并授权验证日志时操作的HDFS目录和数据。 操作步骤 在FusionInsight Manager管理界面,选择“系统 > 权限 > 用户”,选择“更多 > 下载认证凭据”下载用户flume_hdfs的kerberos证书文件并保存在本地。 图1 下载认证凭据
Array[String]) { val ssc = createContext(args) //启动Streaming系统。 ssc.start() ssc.awaitTermination() } def createContext(args
<directory> [-tf <time-format> -s <sqlfile>]”命令。命令中如果携带认证密码信息可能存在安全风险,在执行命令前建议关闭系统的history命令记录功能,避免信息泄露。 运行示例: ./export-csv.sh -h x.x.x.x -p 22260 -u test
memory.mb” yarn.nodemanager.resource.memory-mb 说明: 需要在FusionInsight Manager系统进行配置。 16384 Server 如果所有的任务(map/reduce)需要读写数据至磁盘,多个进程将会同时访问一个磁盘。这将会导致磁
存储目录将同步修改。 更改NodeManager单个实例的存储目录,只对单个实例生效,其他节点NodeManager实例存储目录不变。 对系统的影响 更改NodeManager角色的存储目录需要停止并重新启动集群,集群未启动前无法提供服务。 更改NodeManager单个实例的存
已创建用户flume_hdfs并授权验证日志时操作的HDFS目录和数据。 操作步骤 在FusionInsight Manager管理界面,选择“系统 > 权限 > 用户”,选择用户flume_hdfs,选择“更多 > 下载认证凭据”下载Kerberos证书文件并保存在本地。 图1 下载认证凭据