检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
摘要:表示查看选中的文件或目录的HDFS存储信息。 存储策略定义使用介绍 如果Hue的服务配置参数“fs_defaultFS”配置为“viewfs://ClusterX”时,不能启用存储策略定义功能。 存储策略定义在Hue的WebUI界面上分为两大类: 静态存储策略 当前存储策略 根据HDFS的文档访问频率、重要性
当IDEA可以识别出Scala SDK时,在设置界面,选择编译的依赖jar包,然后单击“OK”应用设置 图21 Add Scala Support 当系统无法识别出Scala SDK时,需要自行创建。 单击“Create...”。 图22 Create... 在“Select JAR's for
“D:\FusionInsight_Cluster_1_Services_ClientConfig_ConfigFiles”目录下(路径中不能有空格)。 进入客户端解压路径“FusionInsight_Cluster_1_Services_ClientConfig_ConfigF
result String 参数解释: 更新映射请求操作结果。 约束限制: 不涉及 取值范围: succeeded:操作成功 failed:操作失败 默认取值: 不涉及 请求示例 在node_group_1节点组上缩容1个节点。 /v2/ff8080828997cb24018a1b2d
进入网络控制台,创建一个新的子网。 - 集群节点 MRS集群内节点的规格信息及数量配置。 MRS 3.x及之后版本集群Master节点规格不能小于64GB。 根据自身需要选择集群节点规格数量。 Kerberos认证 MRS集群中各组件是否启用Kerberos认证。Kerberos
“*”配置多个字符。 在匹配条件前加“^”表示取反,即文件过滤。 * 文件过滤器 配置通配符对源文件的输入文件名进行过滤。配置多个过滤条件时使用“,”隔开。不能配置为空。不支持正则表达式过滤。 “?”匹配单个字符。 “*”配置多个字符。 在匹配条件前加“^”表示取反,即文件过滤。 * 文件类型 文件导入类型:
jar”。 上传jar包及源数据 将编译后的jar包上传到客户端节点,例如上传到“/opt/client/lib”目录下。 如果本地网络无法直接连接客户端节点上传文件,可先将jar文件或者源数据上传至OBS文件系统中,然后通过MRS管理控制台集群内的“文件管理”页面导入HDFS中,再通过HDFS客户端使用hdfs
“*”配置多个字符。 在匹配条件前加“^”表示取反,即文件过滤。 * 文件过滤器 配置通配符对源文件的输入文件名进行过滤。配置多个过滤条件时使用“,”隔开。不能配置为空。不支持正则表达式过滤。 “?”匹配单个字符。 “*”配置多个字符。 在匹配条件前加“^”表示取反,即文件过滤。 * 文件类型 文件导入类型:
tar”,继续解压该文件。解压到本地PC的“D:\FusionInsight_Cluster_1_Services_ClientConfig”目录下(路径中不能有空格)。 进入客户端解压路径“FusionInsight_Cluster_1_Services_ClientConfig\HetuEng
“D:\FusionInsight_Cluster_1_Services_ClientConfig_ConfigFiles”目录下(路径中不能有空格)。 进入客户端解压路径“FusionInsight_Cluster_1_Services_ClientConfig_ConfigF
1及之后版本无需修改taskmanager.memory.network.max网络缓存的最大值 如果不能使用broardcast join应该尽量减少shuffle数据 不能broadcast join那么必定会发生shuffle,可通过各种手段来减少发生shuffle的数据量,例如谓词下推,Runtime
“D:\FusionInsight_Cluster_1_Services_ClientConfig_ConfigFiles”目录下(路径中不能有空格)。 进入客户端解压路径“FusionInsight_Cluster_1_Services_ClientConfig_ConfigF
委托名称:设置委托名称,例如:agency-MRS-to-OBS。 委托类型:选择“普通账号”。 委托的账号:填写本用户的云账号,即使用手机号开通的账号,不能是联邦用户或者IAM用户。 持续时间:选择“永久”。 在授权的确认弹窗中,单击“立即授权”,在弹出的授权页面,单击“新建策略”。 在新建策略界面配置以下参数并单击“下一步”:
面。 集群中部分服务提供服务级别的资源监控项,默认显示12小时的监控数据。用户可单击自定义时间区间。单击可导出相应报表信息,无数据的监控项无法导出报表。支持资源监控的服务及监控项如下表所示。 表1 服务资源监控 服务 监控指标 说明 HDFS 资源使用(按租户) 按租户统计HDFS的资源使用情况。
“D:\FusionInsight_Cluster_1_Services_ClientConfig_ConfigFiles”目录下(路径中不能有空格)。 进入客户端解压路径“FusionInsight_Cluster_1_Services_ClientConfig_ConfigF
SQL中包含了HetuEngine支持的会根据参数的类型获得不同类型的返回值的函数 SQL中函数存在嵌套使用,或者是使用的函数会发生异常导致重写失败的函数 物化视图创建语句改写不支持二段式表名,支持一段式和三段式表名。 如支持改写表名为“hive.mvschema.t1”和“t1”,不支持改写表名为“mvschema
请求操作结果。非包周期节点组扩容请求下发成功时,会包含该字段且内容为success。 约束限制: 不涉及 取值范围: succeeded:操作成功 failed为操作失败 默认取值: 不涉及 order_id String 参数解释: 订单ID。对包周期节点组进行扩容时,会返回本次扩容产生的订单ID,需要客
jar”。 步骤3:上传jar包及源数据 将编译后的jar包上传到客户端节点,例如上传到“/opt/client/lib”目录下。 如果本地网络无法直接连接客户端节点上传文件,可先将jar文件或者源数据上传至OBS文件系统中,然后通过MRS管理控制台集群内的“文件管理”页面导入HDFS中,再通过HDFS客户端使用hdfs
上传jar包及准备源数据 将编译后的jar包上传到客户端节点,例如上传到“/opt/client/sparkdemo”目录下。 如果本地网络无法直接连接客户端节点上传文件,可先将jar文件或者源数据上传至OBS文件系统中,然后通过MRS管理控制台集群内的“文件管理”页面导入HDFS中,再通过HDFS客户端使用hdfs
的用户组A进行绑定,即可实现用户组A只拥有访问某一OBS文件系统中的日志文件的权限。 在以下场景运行作业时,提交作业的用户名为内置用户名,无法实现MRS多用户访问OBS: spark-beeline在开启Kerberos认证的集群中提交作业的内置用户名为spark,在未开启Ker