检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
用户可在程序中设置option("checkpointLocation", "checkpoint路径")启用checkpoint。 从checkpoint恢复时,应用程序或者配置可能发生变更,有部分变更会导致从checkpoint恢复失败,具体限制如下: 不允许source的个数或者类型发生变化。 source的参
用户可在程序中设置option("checkpointLocation", "checkpoint路径")启用checkpoint。 从checkpoint恢复时,应用程序或者配置可能发生变更,有部分变更会导致从checkpoint恢复失败,具体限制如下: 不允许source的个数或者类型发生变化。 source的参
MRS各组件样例工程汇总 样例工程获取地址参见获取MRS应用开发样例工程,切换分支为与MRS集群相匹配的版本分支,然后下载压缩包到本地后解压,即可获取各组件对应的样例代码工程。 MRS样例代码库提供了各组件的基本功能样例工程供用户使用,当前版本各组件提供的样例工程汇总参见表1。 表1
username处输入镜像的用户名。 集群节点镜像的用户名是root。 选择“Connection > SSH > Auth”,在最下面一个配置项“Private key file for authentication”中,单击“Browse”,选择.ppk格式的私钥文件或9转化的私钥文件。
提供Spark的各种功能,如连接Spark集群,创建RDD,累积量和广播量等。它的作用相当于一个容器。 SparkConf:Spark应用配置类,如设置应用名称,执行模式,executor内存等。 JavaRDD:用于在java应用中定义JavaRDD的类,功能类似于scala中的RDD(Resilient
GET/v2/{project_id}/autoscaling-policy/{cluster_id} mrs:cluster:policy √ √ 配置弹性伸缩规则 POST /v1.1/{project_id}/autoscaling-policy/{cluster_id} √ √ 更新用户代理信息
使用并发的标记-清理GC算法减少GC暂停时间。 运行pyspark建议 运行pyspark应用时,不能使用集群自带的python环境,需要用户自行安装python环境,并将python相关依赖包打包上传到HDFS。 父主题: Spark应用开发规范
假设用户在2023/07/24 14:38:04购买了按需计费的MRS普通版集群,并在2023/07/24 15:38:04时刻将其删除,该集群的规格配置为: master_node_default_group节点组(简称Master节点组): 节点个数:3 节点规格:c6.4xlarge.4(16
[sharding_key]) Distributed表参数解析如下: cluster_name:集群名称,在对分布式表执行读写的过程中,使用集群的配置信息查找对应的ClickHouse实例节点。 database_name:数据库名称。 table_name:数据库下对应的本地表名称,用于将分布式表映射到本地表上。
[sharding_key]) Distributed表参数解析如下: cluster_name:集群名称,在对分布式表执行读写的过程中,使用集群的配置信息查找对应的ClickHouse实例节点。 database_name:数据库名称。 table_name:数据库下对应的本地表名称,用于将分布式表映射到本地表上。
String 参数解释: 服务ID,为扩展接口,预留此参数。用户不需要配置。 约束限制: 不涉及 取值范围: 不涉及 默认取值: 不涉及 plan_id 否 String 参数解释: 套餐ID,为扩展接口,预留此参数。用户不需要配置。 约束限制: 不涉及 取值范围: 不涉及 默认取值: 不涉及
default本地表所在的数据库名称。 test为本地表名称,该例中为2中创建的表名。 (可选的)分片键(sharding key) 该键与config.xml中配置的分片权重(weight)一同决定写入分布式表时的路由,即数据最终落到哪个物理表上。它可以是表中一列的原始数据(如site_id),也可以
smartctl -d sat+megaraid,2 -t long /dev/sda 是,执行16。 否,执行17。 磁盘不支持smart,通常是因为配置的RAID卡不支持,此时需要使用对应RAID卡厂商的检查工具进行处理,然后执行16。 例如LSI一般是MegaCLI工具。 在告警详情页面
MRS各组件样例工程汇总 样例工程获取地址参见获取MRS应用开发样例工程,切换分支为与MRS集群相匹配的版本分支,然后下载压缩包到本地后解压,即可获取各组件对应的样例代码工程。 MRS样例代码库提供了各组件的基本功能样例工程供用户使用,当前版本各组件提供的样例工程汇总参见表1。 表1
不涉及 launcher_id String 参数解释: 真实作业编号。 取值范围: 不涉及 properties String 参数解释: 配置参数,用于传-d参数。 取值范围: 不涉及 app_id String 参数解释: 实际作业编号。 取值范围: 不涉及 tracking_url
properties文件,单击“Copy Path/Reference > Absolute Path”。 事务样例工程无需执行此步骤。 图2 复制配置文件绝对路径 使用clickhouse-example.properties路径替换Demo.java中getProperties()方法中proPath的路径。
不涉及 launcher_id String 参数解释: 真实作业编号。 取值范围: 不涉及 properties String 参数解释: 配置参数,用于传-d参数。 取值范围: 不涉及 app_id String 参数解释: 实际作业编号。 取值范围: 不涉及 tracking_url
多租户模式是将JDBCServer和租户绑定,每一个租户对应一个或多个JDBCServer,而一个JDBCServer只给一个租户提供服务。不同的租户可以配置不同的YARN队列,从而达到资源隔离,且JDBCServer根据需求动态启动,可避免浪费资源。 实现方案 多租户模式的HA方案原理如图2所示。
configurations) throws Exception “beforeStart”方法有以下作用: 帮助用户解析SQL语句中的UDF参数。 配置UDF运行时必要的信息,即指定UDF访问原始数据时采取的策略和输出结果序列的类型。 创建资源,比如建立外部链接,打开文件等。 UDFParameters
32354 1575428400000,120.165421,30.314834 导入数据 GeoHash默认实现类扩展自定义索引抽象类。如果没有配置handler属性为自定义的实现类,则使用默认的实现类。用户可以通过扩展默认实现类来挂载geohash的自定义实现类。自定义索引抽象类方法包括: