检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用CDM服务迁移HBase数据至MRS集群 使用CDM服务迁移Hive数据至MRS集群 使用BulkLoad工具向HBase中批量导入数据 使用CDM服务迁移MySQL数据至MRS Hive 使用CDM服务迁移MRS HDFS数据至OBS
是否使用Hash算法连接ProxyServer。 true为使用Hash算法,使用多租户模式时,该参数需配置为true。 false为使用随机连接,多主实例模式,配置为false。 true 说明: 该参数修改后需要重新下载客户端。 父主题: 配置Spark HA增强高可用
DGC方式如何创建Flink Hive Sql作业 问题现象 使用DGC方式如何创建Flink Hive Sql作业。 解决方法 若通过DGC方式创建提交Flink Hive作业,以读Kafka写Hive作业为例,步骤如下: 提前在Hive客户端中创建Hive表。例如: create
是否使用Hash算法连接ProxyServer。 true为使用Hash算法,使用多租户模式时,该参数需配置为true。 false为使用随机连接,多主实例模式,配置为false。 true 说明: 该参数修改后需要重新下载客户端。 父主题: 配置Spark HA增强高可用
所有BlockManager监测的端口。这些同时存在于Driver和Executor上。 随机端口范围 spark.driver.port Driver监测的端口,用于Driver与Executor进行通信。 随机端口范围 随机端口范围 所有随机端口必须在一定端口范围内。 表22 参数说明 参数 描述 默认值
添加ClickHouse数据源 添加GAUSSDB数据源 添加HBase数据源 添加跨集群HetuEngine数据源 添加IoTDB数据源 添加MySQL数据源 添加Oracle数据源 添加GBase数据源 父主题: 使用HetuEngine
ClickHouse数据导入 配置ClickHouse对接RDS MySQL数据库 配置ClickHouse对接OBS源文件 配置ClickHouse对接HDFS源文件(MRS 3.2.0-LTS) 配置ClickHouse对接HDFS源文件(MRS 3.3.0-LTS及之后版本)
分小数部分的值 select quotient(25,4);-- 6 随机数 rand() → double 同random() random() → double 返回范围为0.0 <= x <1.0的伪随机值 select random();-- 0.021847965885988363
2及之后版本ClickHouse服务的节点,必须等退服成功后,才能进行退订操作。 退订包周期集群指定节点操作 关闭待退订节点集群的自动续费功能,具体请参见如何取消自动续费。 登录MRS服务控制台。 选择“现有集群”,单击待退订节点的集群名称进入集群详情页面。 在集群“概览”页单击“IAM用户同步”右侧的“同步”。
mv server.cer ca.crt mv server_key.pem ca.key 若由集群用户生成,执行以下命令在管理节点的omm用户目录生成证书文件和密钥文件: 生成密钥文件: 执行以下命令,查看OpenSSL的版本是否为1.1.1及之后版本。 /usr/bin/openssl
所有BlockManager监测的端口。这些同时存在于Driver和Executor上。 随机端口范围 spark.driver.port Driver监测的端口,用于Driver与Executor进行通信。 随机端口范围 随机端口范围 所有随机端口必须在一定端口范围内。 表22 参数说明 参数 描述 默认值
Sqoop常见问题 报错找不到QueryProvider类 使用hcatalog方式同步数据,报错getHiveClient方法不存在 连接postgresql或者gaussdb时报错 使用hive-table方式同步数据到obs上的hive表报错 使用hive-table方式同步数据到orc表或者parquet表失败
rmi://%s/kafka #修改kafka mysql jdbc driver address数据库相关的配置 efak.driver=com.mysql.cj.jdbc.Driver efak.url=jdbc:mysql://IP:Port/ke?useUnicode=
HBase(MRS 3.x及之后版本)、Hive和NameNode数据时,无法访问集群。 每个备份任务可同时备份不同的数据源,每个数据源将生成独立的备份文件,每次备份的所有备份文件组成一个备份文件集,可用于恢复任务。备份任务支持将备份文件保存在Linux本地磁盘、本集群HDFS与备集群HDFS中。
支持范围:MRS 3.1.3及之后版本 HSBroker 是 否 否 确保业务侧和HetuEngine服务端HSBroker、Coordinator(随机分布在Yarn NodeManger)所在业务节点网络互通 需对外开放Coordinator的IP,端口 支持范围:MRS 3.1.0及之后版本
UI界面部分batch time对应Input Size为0 records 问题 在Spark Streaming应用执行过程中重启Kafka时,应用无法从Kafka获取topic offset,从而导致生成Job失败。如图1所示,其中2017/05/11 10:57:00~2017/05/11
参数名 说明 示例 名称 关系型数据库连接的名称。 clickhouse_jdbc_test JDBC连接字符串 集群已启用Kerberos认证,JDBC连接字符串格式为“jdbc:clickhouse://访问数据库IP:数据库端口号/数据库名称?ssl=true&sslmode=none”
r角色管理功能在表授权、列授权和数据库授权三个场景下的操作。 操作步骤 SparkSQL表授权、列授权、数据库授权与Hive的操作相同,详情请参见Hive用户权限管理。 在权限管理中,为了方便用户使用,授予数据库下表的任意权限将自动关联该数据库目录的HDFS权限。为了避免产生性能
在MRS集群中查询SparkSql和SparkScript两种类型作业的SQL语句运行完成后返回的查询结果。 接口约束 无 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/clusters/{cluster_id}/job-executions/
如何读取“__consumer_offsets”内部topic的内容 用户问题 Kafka如何将consumer消费的offset保存在内部topic“ __consumer_offsets”中? 处理步骤 以客户端安装用户,登录安装Kafka客户端的节点。 切换到Kafka客户