检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
AM委托对接OBS。 存算分离功能使用流程: 配置存算分离集群。 请选择如下其中一种配置即可(推荐使用委托方式)。 通过为MRS集群绑定ECS委托方式访问OBS,避免了AK/SK直接暴露在配置文件中的风险,具体请参考配置MRS集群通过IAM委托对接OBS。 在MRS集群中配置AK
指定用于driver端进程的内存,其中SparkContext已初始化。 说明: 在客户端模式下,不要使用SparkConf在应用程序中设置该参数,因为驱动程序JVM已经启动。要配置该参数,请在--driver-memory命令行选项或默认属性文件中进行配置。 spark.executor.memory 4GB 指定每个执行程序进程使用的内存。
是,集群已绑定委托。 否,执行4.b。 单击“管理委托”,为集群绑定具有OBS文件系统操作权限的委托。 您可以直接选择系统默认的“MRS_ECS_DEFAULT_AGENCY”,也可以单击“新建委托”自行创建其他具有OBS文件系统操作权限的委托。 提交wordcount作业。 在M
eAsTextFile。 还有一个检查点算子checkpoint。当Lineage特别长时(这在图计算中时常发生),出错时重新执行整个序列要很长时间,可以主动调用checkpoint把当前数据写入稳定存储,作为检查点。 Shuffle Shuffle是MapReduce框架中的一个特定的phase,介于Map
指定用于driver端进程的内存,其中SparkContext已初始化。 说明: 在客户端模式下,不要使用SparkConf在应用程序中设置该参数,因为驱动程序JVM已经启动。要配置该参数,请在--driver-memory命令行选项或默认属性文件中进行配置。 spark.executor.memory 4GB 指定每个执行程序进程使用的内存。
nProvider, simpleJdbcMapper).withTableName("GOAL").withQueryTimeoutSecs(30); WordSpout wordSpout = new WordSpout();TopologyBuilder builder
序化的实现对沙箱的控制。高危操作,UDF拥有该权限后可以修改/关闭服务的SecurityManager。 exitVM:允许代码关闭整个虚拟机。 getClassLoader:允许代码访问类加载器以获得某个特定的类。 setContextClassLoader:允许代码为某线程设置上下文类加载器。
mapreduce.TableIndexer -Dtablename.to.index=hbase_sample_table -Dindexspecs.to.add='IDX1=>info:[name->String]' -Dindexnames.to.build='IDX1' 然后用户
mapreduce.TableIndexer -Dtablename.to.index=hbase_sample_table -Dindexspecs.to.add='IDX1=>info:[name->String]' -Dindexnames.to.build='IDX1' 然后用户
mapreduce.TableIndexer -Dtablename.to.index=hbase_sample_table -Dindexspecs.to.add='IDX1=>info:[name->String]' -Dindexnames.to.build='IDX1' 然后用户
mapreduce.TableIndexer -Dtablename.to.index=hbase_sample_table -Dindexspecs.to.add='IDX1=>info:[name->String]' -Dindexnames.to.build='IDX1' 然后用户
源版本无法代理HTTPS请求,所以无法通过YARN代理访问Flink的原生页面,用户可以在集群的同一个VPC下,创建windows虚拟机,在该虚拟机中访问Flink 原生页面。 表4 参数描述 参数 参数值示例 描述 security.ssl.rest.enabled true
procId: 64 completed 在Linux中调测Phoenix样例 在linux环境中调测Phoenix样例,需有与集群环境网络相通的ECS,详情请参见准备本地应用开发环境。 修改样例。将样例代码TestMain中“enablePhoenix”值改为“true”,开启调用Phoenix样例程序接口。
场景二:准备Linux环境运行程序所需配置文件。 在节点中安装客户端。 例如客户端安装目录为“/opt/client”。 客户端机器的时间与集群的时间要保持一致,时间差小于5分钟。 获取配置文件: 登录FusionInsight Manager,选择“集群 > 概览 > 更多 > 下载客户端
withTableName(JDBC_INSERT_TBL) .withQueryTimeoutSecs(30); JDBCSpout wordSpout = new JDBCSpout(); // 构造拓
withTableName(JDBC_INSERT_TBL) .withQueryTimeoutSecs(30); JDBCSpout wordSpout = new JDBCSpout(); // 构造拓
"template_type" : "clusterFusion", "image_id" : "ECS:X86:deda7c89-6069-46d3-af7c-4afc31eec0d9,ECS:ARM:d5f0087b-9fd7-4977-b9c8-d07262f452d6,BMS:
解决重装主机后hetu的worker启动不到该主机上的问题 解决混搭集群,arm镜像证书与X86镜像证书不互信,导致作业提交到该arm节点上运行失败问题 解决获取ECS的临时ak/sk失败告警帮助文档缺失问题 大数据组件 解决Hive snappy文件调用movefile加入_1后,文件内容出现乱码问题 解决Hive
strings 参数解释: 缩容节点时指定待删除节点的资源ID列表。resource_ids为空时,按照系统规则自动选择删除节点。仅支持删除状态异常的ecs节点。会针对指定节点进行强制删除。可通过查询主机接口获取resource_id。 约束限制: 不涉及 取值范围: 不涉及 默认取值: 不涉及
<系统域名> 系统随机生成 ZooKeeper系统启动用户。 zkcli/hadoop.<系统域名> 系统随机生成 登录Zookeeper服务器用户。 oozie 系统随机生成 Oozie系统启动与Kerberos认证用户。 kafka/hadoop.<系统域名> 系统随机生成 用于Kafka安全认证。