检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
准备HetuEngine应用开发环境 准备本地应用开发环境 导入并配置HetuEngine样例工程 导入并配置HetuEngine Python3样例工程 父主题: HetuEngine开发指南(普通模式)
LdapServer > 实例”,查看LDAP服务对应的节点。 切换到“配置”,查看集群LDAP端口号,即“LDAP_SERVER_PORT”参数值,默认为“21780”。 以root用户通过LDAP服务的IP地址登录LDAP节点。 执行以下命令,查看iptables过滤列表中INPUT策略。
类型”为“VARCHAR”时实际长度不足则不补齐。 map 是 无 数据处理规则 对字段的值做逆序操作。 传入数据为NULL值,不做转换处理。 配置输入字段列数,大于原始数据实际包含字段列数,全部数据成为脏数据。 样例 通过“CSV文件输入”算子,生成两个字段A和B。 源文件如下:
对齐类型:配置清除方式(前空格、后空格、前后空格)。 map 是 无 数据处理规则 清空值两边的空格,支持只清除左边、只清除右边和同时清除左右空格。 传入数据为NULL值,不做转换处理。 配置输入字段列数,大于原始数据实际包含字段列数,全部数据成为脏数据。 样例 通过“CSV文件输入”算子,生成三个字段A、B和C。
类型”为“VARCHAR”时实际长度不足则不补齐。 map 是 无 数据处理规则 对字段的值做逆序操作。 传入数据为NULL值,不做转换处理。 配置输入字段列数,大于原始数据实际包含字段列数,全部数据成为脏数据。 样例 通过“CSV文件输入”算子,生成两个字段A和B。 源文件如下:
B段时间)进入Kafka数据生成的任务,最后再处理应用重启完成后(C段时间)进入Kafka数据生成的任务。并且对于B段时间进入Kafka的数据,Spark将按照终止时间(batch时间)生成相应个数的任务,其中第一个任务读取全部数据,其余任务可能不读取数据,造成任务处理压力不均匀。
在FusionInsight Manager,选择“运维 > 告警 > 阈值设置 > 待操作集群的名称 > 主机 > 网络读信息 > 读包错误率”,查看该告警阈值是否合理(默认0.5%为合理值,用户可以根据自己的实际需求调节)。 是,执行4。 否,执行2。 根据实际服务的使用情况在“运维 >
对齐类型:配置清除方式(前空格、后空格、前后空格)。 map 是 无 数据处理规则 清空值两边的空格,支持只清除左边、只清除右边和同时清除左右空格。 传入数据为NULL值,不做转换处理。 配置输入字段列数,大于原始数据实际包含字段列数,全部数据成为脏数据。 样例 通过“CSV文件输入”算子,生成三个字段A、B和C。
R”时实际长度不足则不补齐。 map 是 无 数据处理规则 按照输入字段的长度依次截取源文件,生成字段。 当字段的值与实际的类型不匹配时,该行数据会成为脏数据。 配置字段分割长度,大于原字段值的长度,则数据分割失败,当前行成为脏数据。 样例 源文件如下图: 配置“固定宽度文件输入”算子,生成三个字段A、B和C。
例如:原有的数据存储目录为“/srv/BigData/hadoop/data1”,“/srv/BigData/hadoop/data2”,如需将data1目录的数据迁移至新建的“/srv/BigData/hadoop/data3”目录,则将服务级别的此参数替换为现有的数据存储目录,如果有多个存储目录,用“
准备HetuEngine应用开发环境 准备本地应用开发环境 导入并配置HetuEngine样例工程 导入并配置HetuEngine Python3样例工程 配置HetuEngine应用安全认证 父主题: HetuEngine开发指南(安全模式)
MRS集群服务启用Ranger鉴权 登录Ranger WebUI界面 添加Ranger权限策略 Ranger权限策略配置示例 查看Ranger审计信息 配置Ranger安全区信息 查看Ranger用户权限同步信息 Ranger性能调优 Ranger日志介绍 Ranger常见问题 Ranger故障排除
ve节点同步的状态以便在必要时进行快速主备切换。 为保持Active和Standby节点的数据一致性,两个节点都要与一组称为JournalNode的节点通信。当Active对文件系统元数据进行修改时,会将其修改日志保存到大多数的JournalNode节点中,例如有3个Journa
后,对于进入Kafka数据的任务,系统默认优先处理应用终止前(A段时间)未完成的任务和应用终止到重启完成这段时间内(B段时间)进入Kafka数据生成的任务,最后再处理应用重启完成后(C段时间)进入Kafka数据生成的任务。并且对于B段时间进入Kafka的数据,Spark将按照终止
T-Digest函数 概述 T-digest是存储近似百分位信息的数据草图。HetuEngine中用tdigest表示这种数据结构。T-digest可以合并,在存储时可以强转为VARBINARY,检索时再由VARBINARY转换为T-digest 函数 merge(tdigest)→tdigest
ALM-45743 请求IAM接口失败 本章节仅适用于MRS 3.1.5及之后版本。 告警解释 当Guardian调用IAM接口获取临时aksk时,如果调用该接口失败,则产生该告警。 告警属性 告警ID 告警级别 是否自动清除 45743 重要 是 告警参数 参数名称 参数含义 来源
不能以小数点、下划线开头或以小数点结尾。 长度为1-64个字符。 在“企业项目”处选择业务需要的企业项目,也可单击“查看企业项目”,在企业项目管理页面查看全部企业项目。 单击“确定”,完成日志流的创建。 在日志流页面中,可以查看日志流的名称、企业项目、日志存储时间、创建时间和创建类型。 可以给不同的组件设置不同的日志流进行区分。
使用Hcatalog方式同步Hive和MySQL之间的数据,timestamp和data类型字段会报错 问题 使用Hcatalog方式同步Hive和MySQL之间的数据,timestamp和data类型字段会报错: 回答 调整Sqoop源码包中的代码,将timestamp强制转换类型和Hive保持一致。
IDX1:索引名称 cf1:列族名称。 q1:列名。 datatype:数据类型。数据类型仅支持Integer、String、Double、Float、Long、Short、Byte、Char类型。 父主题: HBase数据读写示例程序
DAP服务器配置和创建用户,实现账号和权限的统一集中管理和权限控制等操作。此方案适合从OpenLDAP服务器中批量向ClickHouse中导入用户。 本章节操作仅支持MRS 3.1.0及以上集群版本。 前提条件 MRS集群及ClickHouse实例运行正常,已安装ClickHouse客户端。