检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
脏数据。 字符截取的起点位置或终点位置，大于输入字段的长度时，当前行成为脏数据。 EL操作转换 传入数据为NULL值，不做转换处理。 输入一个或多个字段的值，输出计算结果。 输入类型和算子不兼容时，当前行为脏数据。 字符串大小写转换 传入数据为NULL值，不做转换处理。 配置输入
默认值 spark.sql.keep.distinct.expandThreshold 由cube等引起的数据膨胀多少倍时，触发该优化。需要配置一个大于0的数值来启用。例如1024，代表数据膨胀1024倍及以上时，触发该优化。 -1 spark.sql.distinct.aggregator
确认是该条SQL对表的操作，所有列的字节长度超过4000的限制，导致SQL执行失败，需要修改该限制。 处理步骤 以root用户登录集群任意一个Master节点，并执行su - omm命令切换到omm用户。 执行如下命令登录数据库。命令中如果携带认证密码信息可能存在安全风险，在执行
ent”为例，examples具体目录为“/opt/client/Oozie/oozie-client-*/examples”。 如下通过一个Mapreduce工作流的示例演示如何配置，并通过Shell命令调用。 场景说明 假设存在这样的业务需求： 每天需要对网站的日志文件进行离
由于ClickHouseServer业务数据主要存储在本地磁盘上，数据量可能会随着集群使用时间增长而增长，通常建议ClickHouse数据盘单独挂载，元数据盘共享第一个数据盘目录。 磁盘实际容量 由于磁盘存在1MB = 1024KB或者1000KB的不同算法，一般来说，磁盘实际可用容量 = 磁盘标注容量 *
CDC场景下Hudi读写表需要开启Changelog CDC场景下为保障Flink计算的准确，需要在Hudi表中保留+I、+U、-U、-D。所以同一个Hudi表在写入、流读时都需要开启Changelog。 父主题： Flink on Hudi开发规范
于存档及问题分析。 Manager关键特性：租户管理 Manager引入了多租户的概念，集群拥有的CPU、内存和磁盘等资源，可以整合规划为一个集合体，这个集合体就是租户。多个不同的租户统称多租户。 多租户功能支持层级式的租户模型，支持动态的添加和删除租户，实现资源的隔离，可以对租
准备MapReduce开发和运行环境 准备工程 MapReduce提供了不同场景下的样例程序，您可以导入样例工程进行程序学习。或者您可以根据指导，新建一个MapReduce工程。 导入并配置MapReduce样例工程 根据场景开发工程 提供了样例工程。 帮助用户快速了解MapReduce各部件的编程接口。
准备本地应用开发环境 准备工程 HetuEngine提供了不同场景下的样例程序，您可以导入样例工程进行程序学习。或者您可以根据指导，新建一个HetuEngine工程。 导入并配置HetuEngine样例工程 根据场景开发工程 提供了Java语言的样例工程，包括连接HetuEng
群Manager界面，详情请参考访问MRS集群Manager。 通过管理控制台启停节点角色 登录MRS管理控制台。 选择“现有集群”，选中一个运行中的集群并单击集群名称，进入集群信息页面。 在集群详情页，单击“节点管理”。 展开节点组信息，勾选待操作节点前的复选框。 选择“节点操作
读取文本数据，生成相应DataStream，解析数据生成UserRecord信息。 筛选女性网民上网时间数据信息。 按照姓名、性别进行keyby操作，并汇总在一个时间窗口内每个女性上网时间。 筛选上网时间超过阈值的用户，并获取结果。 父主题： DataStream程序
询操作（select）。 表授权：不支持修改类权限（update、Alter、write、All）。 备份与恢复：由于ro表和rt表均由同一个Hudi源表映射的，备份其中一张表，另一张也会跟着备份，恢复也是同时恢复的，因此只需备份其中一张表即可。 组件版本： Hive：Fusio
配置条件逻辑连接符，可配置“AND”或“OR”。 enum 是 AND 条件 配置过滤条件相关信息： 输入字段名：配置输入字段名，需填写上一个转换步骤生成的字段名。 操作：配置操作符。 比较值：配置比较值，可直接输入值或输入“#{已存在的字段名}”格式引用字段的具体值。 map 是
配置条件逻辑连接符，可配置“AND”或“OR”。 enum 是 AND 条件 配置过滤条件相关信息： 输入字段名：配置输入字段名，需填写上一个转换步骤生成的字段名。 操作：配置操作符。 比较值：配置比较值，可直接输入值或输入“#{已存在的字段名}”格式引用字段的具体值。 map 是
当“使用外部数据源存储元数据”开启时，选择数据连接类型为“RDS服务MySQL数据库”，数据连接实例选择已创建的数据连接实例，或单击“创建数据连接”新创建一个数据连接。 图2 使用RDS服务MySQL数据库 当用户选择的数据连接为“RDS服务MySQL数据库”时，请确保使用的数据库用户为root
ent”为例，examples具体目录为“/opt/client/Oozie/oozie-client-*/examples”。 如下通过一个MapReduce工作流的示例演示如何配置，并通过Shell命令调用。 场景说明 假设存在这样的业务需求： 每天需要对网站的日志文件进行离
ent”为例，examples具体目录为“/opt/client/Oozie/oozie-client-*/examples”。 如下通过一个MapReduce工作流的示例演示如何配置文件，并通过Shell命令调用。 场景说明 假设存在这样的业务需求： 每天需要对网站的日志文件进
ent”为例，examples具体目录为“/opt/client/Oozie/oozie-client-*/examples”。 如下通过一个Mapreduce工作流的示例演示如何配置文件，并通过Shell命令调用。 场景说明 假设存在这样的业务需求： 每天需要对网站的日志文件进
查看MRS节点引导操作执行记录 您可以在集群详情页选择“引导操作” 页签查看引导操作的执行结果。 查看执行结果 登录MRS管理控制台。 选择“现有集群”，选中一个运行中的集群并单击集群名称，进入集群信息页面。 在集群详情页面选择“引导操作”页签。系统显示创建集群时所添加的引导操作信息。 图1 引导操作信息
选择“集群 > 待操作集群的名称 > 服务 > Storm > Nimbus”，进入Nimbus实例页面。 查看“角色”中是否存在且仅存在一个状态为主的Nimbus节点。 是，执行13。 否，执行10。 勾选两个Nimbus角色实例，选择“更多 > 重启实例”，查看是否重启成功。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
