检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
空字符串 被拼接字段名 配置需要被拼接字段名。 字段名:需填写上一个转换步骤生成的字段名,可添加多个。 map 是 无 数据处理规则 按顺序将“被拼接字段名”中配置的字段的值,通过连接符拼接后,赋给“输出字段名”。 当有字段的值为null时,会转化为空字符串,再与其他字段值拼接。 样例
metastore获取元数据信息。HetuEngine提供了元数据缓存的功能,当首次访问Hive数据源的库或表时,会将该库或表的元数据信息(数据库名、表名、表字段、分区信息、权限信息等)缓存起来,后续访问时不需要再次访问Hive metastore,在Hive数据源的表数据变化不频繁的场景下,可以一定程度上提升查询的性能。
BulkLoad工具支持根据rowkey的命名规则、rowkey的范围、字段名以及字段值统计符合条件的行数。 操作步骤 直接执行如下命令统计满足如下条件的行数。rowkey在从“row_start”到“row_stop”的范围,字段“f3:age”的值为“25”,rowkey的前两个字符为“mi”的行数。
登录MRS集群的Manager界面时,输入用户名及密码信息后登录失败,界面提示“认证信息无效”。 原因分析 当前输入的用户名或密码信息错误。 当前登录用户的密码已过期。 处理步骤 如果用户密码输入错误,请检查并输入正确密码。 MRS集群默认管理用户为admin,密码为创建集群时用户设置。 或参考如
问题节点。命令中如果携带认证密码信息可能存在安全风险,在执行命令前建议关闭系统的history命令记录功能,避免信息泄露。 clickhouse client --host clickhouse实例IP --user 用户名 --password 密码 执行以下命令获取当前表所在
根据查询结果创建新表,使用CREATE AS SELECT句式。 这种方式比较灵活,可以在复制原表表结构的同时指定要复制哪些字段,不包括表的存储格式。 目前表名长度最长为128,字段名长度最长为128,字段注解长度最长为4000,WITH SERDEPROPERTIES 中key长度最长为256,valu
进入作业参数配置界面,配置作业名称,并分别为源连接和目的连接选择步骤 5中创建的对应数据连接并选择要迁移的数据库和表名,单击“下一步”。 图3 Hive作业配置 配置源字段和目的字段的映射关系, 并单击“下一步”。 进入任务配置页面,不做修改,直接单击“保存”。 选择“作业管理”的“表/文件迁移”页签,在待运行作业
map 是 无 数据处理规则 对字段值进行运算后生成新的字段。 当前新字段的类型只能为VARCHAR。 样例 通过“CSV文件输入”算子,生成两个字段A和B。 源文件见下图: 配置“EL操作转换”算子,生成C、D、E和F四个字段: 依次输出这六个字段,结果如下图: 父主题: 转换算子
map 是 无 数据处理规则 对字段值进行运算后生成新的字段。 当前新字段的类型只能为VARCHAR。 样例 通过“CSV文件输入”算子,生成两个字段A和B。 源文件见下图: 配置“EL操作转换”算子,生成C、D、E和F四个字段: 依次输出这六个字段,结果如下图: 父主题: Loader转换类算子
name, dob, created_at, updated_at] 回答 这种情况通常当标记为recordKey或partitionKey的字段在某些传入记录中不存在时发生。 请交叉验证传入记录。 父主题: 数据采集
"id=name", -- 关系型数据库用户 "qubit.sql.dbcp.username" = "test", -- 关系型数据库密码,命令中如果携带认证密码信息可能存在安全风险,在执行命令前建议关闭系统的history命令记录功能,避免信息泄露。 "qubit.sql.dbcp.password"
插入ClickHouse数据 本章节介绍插入ClickHouse数据样例代码。 创建ClickHouse表创建的表具有三个字段,分别是String、UInt8和Date类型。 示例代片段参考如下: String insertSql = "insert into " + databaseName
eNamespace”一致。 映射表建表支持:直接关联HBase数据源中的表、创建并关联HBase数据源中不存在的新表的两种形式。 映射表字段支持的数据类型包括:VARCHAR、TINYINT、SMALLINT、INTEGER、BIGINT、DOUBLE、BOOLEAN、TIME、DATE、TIMESTAMP。
ClickHouse数据查询 数据查询规则 禁止select *查询 只查询需要的字段可以减少磁盘io和网络io,提升查询性能。 使用uniqCombined替代distinct uniqCombined对去重逻辑进行了优化,通过近似去重提升十倍查询性能,如果对查询允许有误差,可
连接驱动包 --help 帮助信息 --password 连接数据库密码 --username 连接数据库的用户名 --verbose 在控制台打印详细信息 import参数 --fields-terminated-by 设定字段分隔符,和Hive表或hdfs文件保持一致 --lines-terminated-by
连接驱动包 --help 帮助信息 --password 连接数据库密码 --username 连接数据库的用户名 --verbose 在控制台打印详细信息 import参数 --fields-terminated-by 设定字段分隔符,和Hive表或HDFS文件保持一致 --lines-terminated-by
bleName表中任意10条数据;查询语句2:querySql2通过内置函数对创建ClickHouse表创建的tableName表中的日期字段取年月后进行聚合。 示例代片段参考如下: private void queryData(String databaseName, String
请参见修改或重置MRS集群admin用户密码。 节点操作系统用户 ommdba 随机密码 创建系统数据库的用户。在管理节点生成,属于操作系统用户,无需设置为统一的密码。该用户不能用于远程登录。 请参见修改MRS集群节点操作系统用户密码。 omm 随机密码 系统的内部运行用户。在全部节点生
插入ClickHouse数据 本章节介绍插入ClickHouse数据样例代码。 创建ClickHouse表创建的表具有三个字段,分别是String、UInt8和Date类型。 示例代片段参考如下: String insertSql = "insert into " + databaseName
细说明请参见配置OBS目的端参数。 单击“下一步”进入字段映射界面,CDM会自动匹配源和目的字段。 如果字段映射顺序不匹配,可通过拖拽字段调整。 CDM的表达式已经预置常用字符串、日期、数值等类型的字段内容转换,详细请参见字段转换。 单击“下一步”配置任务参数,一般情况下全部保持默认即可。