检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ark Streaming建立于Spark之上,因此其Worker节点也具备了同样的容错能力。然而,由于Spark Streaming的长正常运行需求,其应用程序必须也具备从Driver进程(协调各个Worker的主要应用进程)故障中恢复的能力。使Spark Driver能够容错
约束限制: 不涉及 取值范围: 只能由英文字母、数字以及“_”和“-”组成,且长度为[1-64]个字符。 默认取值: 不涉及 请求参数 表2 请求Body参数 参数 是否必选 参数类型 描述 service_id 否 String 参数解释: 服务ID,为扩展接口,预留此参数。用户不需要配置。
--schema 数据库名 例如执行以下命令: hetu-cli --catalog oracle_1 --schema oralce 执行以下命令,可正常查看数据库表信息或不报错即表示连接成功。 show tables; Oracle与HetuEngine数据类型映射 数据映射约束: Het
huawei.hadoop.hbase.io.crypto.CryptoRuntimeException”异常。此时hbase shell中仍可正常读取该表数据,即加密配置成功。 修改密钥文件 在加密HFile和WAL内容操作中需要生成对应的密钥文件并设置密码,为确保系统安全,在运行一
MRS集群创建失败错误码列表如表6所示。 表6 错误码 错误码 说明 MRS.101 用户请求配额不足,请联系客服提升配额。 MRS.102 用户Token为空或不合法,请稍后重试或联系客服。 MRS.103 用户请求不合法,请稍后重试或联系客服。 MRS.104 用户资源不足,请稍后重试或联系客服。
tls.ephemeralDHKeySize=2048 spark.shuffle.servicev2.port Shuffle服务监测数据获取请求的端口。 27338 spark.ssl.historyServer.enabled 配置history server是否使用SSL。 true
tls.ephemeralDHKeySize=2048 spark.shuffle.servicev2.port Shuffle服务监测数据获取请求的端口。 27338 spark.ssl.historyServer.enabled 配置history server是否使用SSL。 true
ink默认配置中不存在,用户如果开启外部连接SSL,则需要添加以下参数。开启外部连接SSL后,因为YARN目前的开源版本无法代理HTTPS请求,所以无法通过YARN代理访问Flink的原生页面,用户可以在集群的同一个VPC下,创建windows虚拟机,在该虚拟机中访问Flink 原生页面。
径的操作权限。 Hive表格式仅支持Parquet、ORC、TextFile。 前提条件 已创建包含Doris服务的集群,集群内各服务运行正常。 待连接Doris数据库的节点与MRS集群网络互通。 创建具有Doris管理权限的用户。 集群已启用Kerberos认证(安全模式) 在FusionInsight
ark Streaming建立于Spark之上,因此其Worker节点也具备了同样的容错能力。然而,由于Spark Streaming的长正常运行需求,其应用程序必须也具备从Driver进程(协调各个Worker的主要应用进程)故障中恢复的能力。使Spark Driver能够容错
输入消息内容,输入完成后按回车发送消息: 1,name1 2,name2 3,name3 执行以下命令查看Sink表中是否接收到数据,即查看Kafka topic是否正常写入数据。 sh kafka-console-consumer.sh --topic 主题名称 --bootstrap-server Ka
则参数配置请参见表3。 表3 选择器规则 配置项 必选/可选 配置说明 user 可选 匹配用户名的正则表达式。 source 可选 匹配请求源,参见选择器属性的配置中--source选项的配置值。 queryType 可选 配置任务类型: DATA_DEFINITION:更改/
难恢复的场景。 任意HDFS目录均可以配置启用快照功能并创建对应的快照文件,为目录创建快照前系统会自动启用此目录的快照功能。创建快照不会对正常的HDFS操作有任何影响。每个HDFS目录最多可创建65536个快照。 如果一个HDFS目录已创建快照,那么在快照完全删除以前,此目录无法
询不到数据。 select * from test; SELECT * FROM test Ok. 查询test_all分布式表数据,能正常查询到数据信息。 select * from test_all; SELECT * FROM test ┌───────────Even
支持导入CSV、Parquet、ORC格式的数据,默认支持导入CSV格式数据。 前提条件 已创建包含Doris服务的集群,集群内各服务运行正常。 待连接Doris数据库的节点与MRS集群网络互通。 创建具有Doris管理权限的用户。 集群已启用Kerberos认证(安全模式) 在FusionInsight
在节点上安装客户端,例如安装到“/opt/client”目录,安装方法可参考《MapReduce服务用户指南》的“客户端管理”章节。 确认服务端HDFS组件已经安装,并正常运行。 客户端运行环境已安装1.7或1.8版本的JDK。 获取并解压缩安装“MRS_HDFS_Client.tar”包。执行如下命令解压。
Hudi并同步数据至Hive的任务,因为Hudi对大小写敏感,Hive对大小写不敏感,所以在Hudi表中的字段不建议使用大写字母,否则可能会造成数据无法正常读写。 使用HMS方式同步元数据到Hive CREATE TABLE stream_mor( uuid VARCHAR(20), name
约束限制: 不涉及 取值范围: 只能由英文字母、数字以及“_”和“-”组成,且长度为[1-64]个字符。 默认取值: 不涉及 请求参数 表2 请求Body参数 参数 是否必选 参数类型 描述 job_type 是 String 参数解释: 作业类型。 约束限制: 不涉及 取值范围:
的“启动”,等待作业启动。 观察数据传输是否生效,例如在MySQL数据库中对作业中指定的表进行插入数据操作,查看Hudi导入的文件内容是否正常。 父主题: 创建CDL作业
使用流式计算引擎(如Flink)把实时数据写入ClickHouse,借助ClickHouse的优异查询性能,在亚秒级内响应多维度、多模式的实时查询分析请求。 离线查询场景 把规模庞大的业务数据导入到ClickHouse,构造数亿至数百亿记录规模、数百以上的维度的大宽表,随时进行个性化统计和持