检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置输入字段列数,大于原始数据实际包含的字段列数,全部数据成为脏数据。 随机值转换 不涉及处理NULL值、空字符串,不生成脏数据。 增加常量字段 不涉及处理NULL值、空字符串,不生成脏数据。 拼接转换 原始数据包含NULL值,将转换为空字符串。 配置输入字段列数,大于原始数据实际包含的字段列数,全部数据成为脏数据。
Spark输出 概述 “Spark输出”算子,用于配置已生成的字段输出到SparkSQL表的列。 输入与输出 输入:需要输出的字段 输出:SparkSQL表 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 Spark文件存储格式 配置SparkSQL表文件的存储
将索引添加到有数据的表中。此方法将用户指定的索引添加到表中,并会对已经存在的用户数据创建对应的索引数据,也可先调用该方法生成索引再在存入用户数据的同时生成索引数据。当数据表中存在大量数据时,不建议使用此接口。 删除索引 dropIndices() 仅删除索引,索引元数据与索引数
配置HBase本地二级索引提升查询效率 HBase本地二级索引介绍 批量加载HBase数据并生成本地二级索引 使用TableIndexer工具生成HBase本地二级索引 父主题: HBase企业级能力增强
配置HBase本地二级索引提升查询效率 HBase本地二级索引介绍 批量加载HBase数据并生成本地二级索引 使用TableIndexer工具生成HBase本地二级索引 迁移HBase索引数据 父主题: HBase企业级能力增强
/<path>/hbase.jks表示生成的jks文件存储路径。 <type>表示加密的类型,支持SMS4和AES。 <length>表示密钥的长度,SMS4支持16位长度,AES支持128位长度。 <alias>为密钥文件的别名,第一次生成时请使用缺省值“omm”。 例如,生成SMS4加密的密钥执行:
最后单击“OK”完成配置。 生成Jar包。 在IntelliJ IDEA中,选择“Build > Build Artifacts...”。 图6 Build Artifacts 在弹出的菜单中,选择“storm-examples:jar > Build”开始生成Jar包。 图7 Build
Root 最后单击“OK”完成配置。 生成Jar包。 在IDEA主页面,选择“Build > Build Artifacts...”。 图6 Build Artifacts 在弹出的菜单中,选择“storm-examples:jar > Build”开始生成Jar包。 图7 Build 当Event
配置MRS集群外节点用户访问普通模式集群资源 操作场景 集群安装为普通模式时,各组件客户端不支持安全认证且无法使用kinit命令,所以集群外的节点默认无法使用集群中的用户,可能导致在这些节点访问某个组件服务端时用户鉴权失败。 如果需要在集群外节点以组件用户身份访问集群资源,管理员
最后单击“OK”完成配置。 生成jar包。 打开IntelliJ IDEA,选择“Build > Build Artifacts...”。 图6 Build Artifacts 在弹出的菜单中,选择“kafka-example:jar > Build”开始生成jar包。 图7 Build
检查每个主机当前的磁盘使用率、内存使用率和CPU使用率。关注当前内存与CPU使用率是否处于上升趋势。 检查集群告警信息 检查前一天是否生成了未处理异常告警,包含已自动恢复的告警。 检查集群审计信息 检查前一天是否有“高危”和“危险”的操作,是否已确认操作的合法性。 检查集群备份情况
输入字段列数不等于原始数据实际包含字段列数,该行数据会保存为脏数据。 样例 源文件如下图: 配置“CSV文件输入”算子,分隔符为“,”,生成两个字段A、B。 将A、B输出,结果如下: 父主题: 输入算子
“CHAR”时实际长度不足则空格补齐,“类型”为“VARCHAR”时实际长度不足则不补齐。 map 是 无 数据处理规则 将指定的列按顺序生成字段。具体的表列是在作业配置的第二步“输入设置”中指定,当配置了“表列名”时,就是配置的值;当没配置“表列名”时,默认该表的所有列或者是“
文件。申请的证书需要有签发功能。 更换HA证书(MRS 3.x及之后版本) 以omm用户登录主管理节点。 选择证书和密钥文件的生成方式: 若由证书中心生成,请在主备管理节点“${OMS_RUN_PATH}/workspace0/ha/local/cert”目录保存申请的证书文件与密钥文件。
输入字段列数不等于原始数据实际包含字段列数,该行数据会保存为脏数据。 样例 源文件如下图: 配置“CSV文件输入”算子,分隔符为“,”,生成两个字段A、B。 将A、B输出,结果如下: 父主题: Loader输入类算子
“CHAR”时实际长度不足则空格补齐,“类型”为“VARCHAR”时实际长度不足则不补齐。 map 是 无 数据处理规则 将指定的列按顺序生成字段。具体的表列是在作业配置的第二步“输入设置”中指定,当配置了“表列名”时,就是配置的值;当没配置“表列名”时,默认该表的所有列或者是“
install”的编译结果 编译完成,打印“BUILD SUCCESS”,生成target目录,生成Jar包在target目录中。 导入依赖的Jar包。 以root用户,登录IoTDBServer所在的节点,执行su - omm命令切换到omm用户,将1生成的Jar包导入到目录“$BIGDATA_HOME
install”的编译结果 编译完成,打印“BUILD SUCCESS”,生成target目录,生成Jar包在target目录中。 导入依赖的Jar包。 以root用户,登录IoTDBServer所在的节点,执行su - omm命令切换到omm用户,将1生成的Jar包导入到目录“$BIGDATA_HOME
termial输入“mvn clean install” 编译完成,打印“Build Success”,生成target目录,生成jar包在target目录中。 图5 编译完成,生成jar包 将工程编译生成的jar包复制到“/opt/client/lib”目录下。 将IntelliJ IDEA工
termial输入“mvn clean install” 编译完成,打印“Build Success”,生成target目录,生成jar包在target目录中。 图5 编译完成,生成jar包 将工程编译生成的jar包复制到“/opt/client/lib”目录下。 将IntelliJ IDEA工