检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
以JayDeBeApi-1.2.3为例,提示Successfully installed JayDeBeApi-1.2.3表示已安装成功。 客户端机器必须安装Java,支持的版本可参考表1中的“安装JDK”。 获取Python3样例代码。 参考获取MRS应用开发样例工程,获取样例代码解压目录中
所有参与分区间并发写入的任务,都必须配置上述参数。 不建议同分区内并发写,这种并发写入需要开启Hudi OCC方式并发写入,必须严格遵守并发参数配置,否则会出现表数据损坏的问题。 并发OCC参数控制: SQL方式: --开启OCC。 set hoodie.write.concurrency.mode=
作业状态编码。 约束限制: 不涉及 取值范围: -1:Terminated表示已终止的作业状态。 2:Running表示运行中的作业状态。 3:Completed表示已完成的作业状态。 4:Abnormal表示异常的作业状态。 默认取值: 不涉及 job_final_status Integer
及时对Hudi表进行compaction防止Hudi Source算子Checkpoint完成时间过长 当Hudi Source算子Checkpoint完成时间长时,可检查该Hudi表compaction是否正常。因为当长时间不做compaction时list性能会变差。 在事实表与维度
以JayDeBeApi-1.2.3为例,提示Successfully installed JayDeBeApi-1.2.3表示已安装成功。 客户端机器必须安装Java,支持的版本可参考表1中的“安装JDK”。 获取Python3样例代码。 参考获取MRS应用开发样例工程,获取样例代码解压目录中
配置SSL传输,用户主要在客户端的“flink-conf.yaml”文件中做如下配置: 打开SSL开关和设置SSL加密算法,配置参数如表2所示,请根据实际情况修改对应参数值。 表2 参数描述 参数 参数值示例 描述 security.ssl.internal.enabled true 打开内部SSL开关。
在集群外节点上安装客户端 准备一个用于安装MRS集群客户端的Linux弹性云服务器。 云服务器操作系统及版本建议如下: 表1 操作系统参考列表 CPU架构 操作系统 支持的版本号 x86计算 Euler 可用:Euler OS 2.2 可用:Euler OS 2.3 可用:Euler
假定Hive的person表存储用户当天消费的金额信息,HBase的table2表存储用户历史消费的金额信息。 现person表有记录name=1,account=100,表示用户1在当天消费金额为100元。 table2表有记录key=1,cf:cid=1000,表示用户1的历史消息记录金额为1000元。
与MRS集群相匹配的版本分支,然后下载压缩包到本地后解压,即可获取各组件对应的样例代码工程。 当前MRS提供以下IoTDB相关样例工程: 表1 IoTDB相关样例工程 样例工程位置 描述 iotdb-examples/iotdb-flink-example 通过Flink访问Io
closeResultSet。 可以调用SessionDataSetWrapper的getColumnNames()方法得到结果集列名。 表1 Session对应的接口的简要介绍及对应参数 方法 说明 Session(String host, int rpcPort) Session(String
MRS 2.1.0.1补丁说明 补丁基本信息 表1 补丁基本信息 补丁号 MRS 2.1.0.1 发布时间 2020-02-12 解决的问题 MRS 2.1.0.1 修复问题列表: MRS Manager 优化V2作业提交hive sql返回结果、解决委托token提交V2作业失败问题。
Submit作业操作HBase表,HBase表权限控制未生效 MRS manager补丁机制优化 MRS大数据组件 Spark执行load data inpath慢 Spark建表支持列名带$字符 OBS相关问题修复 MRS 2.1.0.1 修复问题列表: MRS Manager 优化V2作业提交hive
使用约束 不支持Hudi表的脱敏。 不支持涉及直接读写HDFS的操作的脱敏。 不支持复杂数据类型array、map、struct的脱敏。 自定义脱敏策略仅支持字符串类型字段,且脱敏后的值会强制设置为“***”。 脱敏策略传递时,若目标表已有脱敏策略且与源表有冲突,则目标表脱敏策略强制重置为“Custom:“***””。
参数解释: core节点支持的规格列表。 约束限制: 不涉及 取值范围: 不涉及 默认取值: 不涉及 task Array of strings 参数解释: task节点支持的规格列表。 约束限制: 不涉及 取值范围: 不涉及 默认取值: 不涉及 表10 RoleDeployMeta
java”中的定义,但需要遵循目标系统的约束,例如HDFS/OBS目录不支持特殊符号等。 Loader宏定义 目前Loader默认支持以下时间宏定义: 表1 Loader常用宏定义 名称 替换后效果 说明 @{dateformat("yyyy-MM-dd")}@ 2016-05-17 当前日期。
运行任务的Container。 当ApplicationMaster(从ResourceManager端)收到新分配的Container列表后,会向对应的NodeManager发送信息以启动Container。 ResourceManager分配Container给Applica
多流Join场景支持配置表级别的TTL时间 本章节适用于MRS 3.3.0及以后版本。 在Flink双流Join场景下,如果Join的左表和右表其中一个表数据变化快,需要较短时间的过期时间,而另一个表数据变化较慢,需要较长时间的过期时间。目前Flink只有表级别的TTL(Time To
closeResultSet。 可以调用SessionDataSetWrapper的getColumnNames()方法得到结果集列名。 表1 Session对应的接口的简要介绍及对应参数 方法 说明 Session(String host, int rpcPort) Session(String
json_array_get('["a", [3, 9], "c"]', 1); -- JSON '[3,9]' 索引页支持负数,表示从最后开始,-1表示最后一个元素,索引超过实际长度会返回null SELECT json_array_get('["c", [3, 9], "a"]'
产生告警的集群或系统名称 服务名 产生告警的服务名称 角色名 产生告警的角色名称 表名 产生告警的表名、库名 主机名 产生告警的主机名 对系统的影响 ClickHouse表part数量过多可能导致业务报错。 可能原因 ClickHouse表数据分布不合理,或后台合并任务执行慢导致part数量多。 处理步骤