检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
个数 配置数据操作的MapReduce任务中同时启动的map数量。参数值必须小于或等于3000。 20 设置数据转换 单击“下一步”,进入“转换”界面,设置数据传输过程中的转换操作。算子的选择和参数设置具体请参考Loader算子帮助及表2。 表2 算子输入、输出参数设置 输入类型 输出类型
更换HA证书 HA证书用于主备进程与高可用进程的通信过程中加密数据,实现安全通信。该任务指导用户为Manager完成主备管理节点的HA证书替换工作,以确保产品安全使用。适用于以下场景: 首次安装好集群以后,需要更换企业证书。 企业证书有效时间已过期或安全性加强,需要更换为新的证书。
MRS约束限制说明 MRS集群组件介绍 MRS产品功能 如果title超长,将自动截断(文字超长时,列表项样式改为:listitem_qFLwPs2_100) 如果title超长,将自动截断(文字超长时,列表项样式改为:listitem_qFLwPs2_100) 03 入门 创建M
Flink应用开发常见问题 Flink常用API介绍 如何处理用户在使用chrome浏览器时无法显示任务状态的title 如何处理IE10/11页面算子的文字部分显示异常 如何处理Checkpoint设置RocksDBStateBackend方式时Checkpoint慢 如何处理blob.storage
Flink应用开发常见问题 Flink常用API介绍 如何处理用户在使用chrome浏览器时无法显示任务状态的title 如何处理IE10/11页面算子的文字部分显示异常 如何处理Checkpoint设置RocksDBStateBackend方式时Checkpoint慢 如何处理blob.storage
Flink应用开发常见问题 Flink常用API介绍 如何处理用户在使用chrome浏览器时无法显示任务状态的title 如何处理IE10/11页面算子的文字部分显示异常 如何处理Checkpoint设置RocksDBStateBackend方式时Checkpoint慢 如何处理blob.storage
基于全局二级索引查询HBase表数据 功能简介 添加了全局二级索引的用户表,在使用索引条件进行查询时,可以转换为对索引表的范围查询,性能高于针对无二级索引用户表的数据查询。 代码样例 以下代码片段在com.huawei.bigdata.hbase.examples包的“Globa
基于全局二级索引查询HBase表数据 功能简介 添加了全局二级索引的用户表,在使用索引条件进行查询时,可以转换为对索引表的范围查询,性能高于针对无二级索引用户表的数据查询。 代码样例 以下代码片段在com.huawei.bigdata.hbase.examples包的“Globa
xclude”表示策略适用于除去当前输入内容之外的其他对象。 table 将适用该策略的Hive表名称。 如果需要添加基于UDF的策略,可切换为UDF,然后输入UDF的名称。 “Include”策略适用于当前输入的对象,“Exclude”表示策略适用于除去当前输入内容之外的其他对象。
使用“cast(id as char)”数据类型转换时,结果只截取第一位,导致数据错误。如果转换字段正好是主键字段则会丢失大量数据。 配置“table.exec.legacy-cast-behaviour=ENABLED”也可以解决转换发生错误的问题,但是不建议使用。 在Flink
记录ZooKeeper角色实例其中任意一个的IP地址即可。 根据业务情况,准备好客户端,参考使用MRS客户端章节,登录安装客户端的节点。 执行以下命令,切换到客户端目录,例如“/opt/client/Kafka/kafka/bin”。 cd /opt/client/Kafka/kafka/bin
UTF-8 后缀名 源文件导入成功后对输入文件增加的后缀值。该值为空,表示不加后缀。 .log 设置数据转换 单击“下一步”,进入“转换”界面,设置数据传输过程中的转换操作。算子的选择和参数设置具体请参考算子帮助及表2。 表2 算子输入、输出参数设置 输入类型 输出类型 CSV文件输入
产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 如果Loader服务不可用,数据加载,导入,转换的功能也不可用。 可能原因 Loader服务依赖的内部服务异常。 ZooKeeper服务异常。 HDFS服务异常。 DBService服务异常。
产生告警的服务名称。 RoleName 产生告警的角色名称。 HostName 产生告警的主机名。 对系统的影响 如果Loader服务不可用,数据加载,导入,转换的功能也不可用。 可能原因 Loader服务依赖的内部服务异常。 ZooKeeper服务异常。 HDFS服务异常。 DBService服务异常。
对于可以压缩的数据,配置压缩算法可以有效减少磁盘的IO,从而达到提高性能的目的。 说明: 并非所有数据都可以进行有效压缩。例如一张图片的数据,因为图片一般已经是压缩后的数据,所以压缩效果有限。常用的压缩算法是SNAPPY,因为它有较好的Encoding/Decoding速度和可以接受的压缩率。
对于可以压缩的数据,配置压缩算法可以有效减少磁盘的IO,从而达到提高性能的目的。 说明: 并非所有数据都可以进行有效压缩。例如一张图片的数据,因为图片一般已经是压缩后的数据,所以压缩效果有限。常用的压缩算法是SNAPPY,因为它有较好的Encoding/Decoding速度和可以接受的压缩率。
稀疏存储结构,当需要更高效处理时会转为密集型数据结构。P4HyperLogLog则在其整改生命周期都是密集型数据结构。如有必要,可以显式地转换cast(hll as P4HyperLogLog)。在当前数据引擎的实现中,hll的数据草图是通过一组32位的桶来存储对应的最大hash。
SQL查询样例介绍 功能简介 Phoenix是构建在HBase之上的一个SQL中间层,提供一个客户端可嵌入的JDBC驱动,Phoenix查询引擎将SQL输入转换为一个或多个HBase scan,编译并执行扫描任务以产生一个标准的JDBC结果集。 代码样例 客户端“hbase-example/conf/hbase-site
UTF-8 后缀名 源文件导入成功后对输入文件增加的后缀值。该值为空,表示不加后缀。 .log 设置数据转换 单击“下一步”,进入“转换”界面,设置数据传输过程中的转换操作。算子的选择和参数设置具体请参考算子帮助及表2。 表2 算子输入、输出参数设置 输入类型 输出类型 CSV文件输入
UTF-8 后缀名 源文件导入成功后对输入文件增加的后缀值。该值为空,表示不加后缀。 .log 设置数据转换 单击“下一步”,进入“转换”界面,设置数据传输过程中的转换操作。算子的选择和参数设置具体请参考Loader算子帮助及表2。 表2 算子输入、输出参数设置 输入类型 输出类型