检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
e所在集群中的HDFS组件的该配置项的值保持一致。 需修改Doris所在集群的DBroker的“BROKER_GC_OPTS”配置项的“-Djava.security.krb5.conf”参数,值为拷贝Hive所在集群的任一HiveServer实例节点的“$BIGDATA_HOM
”,当为其它类型时,“+”、“-”分别表示值的加和减。针对支持的所有类型,运算符“=”都表示直接赋新值。 输入与输出 输入:字段 输出:输入字段 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 更新字段名 需要更新的字段 string 是 无 操作符 操作符,支持“+”、“-”和“=”
如何查看Flume日志 Flume日志保存在/var/log/Bigdata/flume/flume/flumeServer.log 里。绝大多数数据传输异常、数据传输不成功,在日志里都可以看到提示。可以直接输入以下命令查看: tailf /var/log/Bigdata/flu
实现了StoppableFunction接口的作业。“stop”命令会等待所有资源都正确关闭。相比“cancel”命令,“stop”停止作业的方式更为优雅,但可能导致停止作业失败。 flink脚本的其他参数可以通过以下命令获取: bin/flink --help 注意事项 如果yarn-session
partition为Topic分区。 replicas中的数字对应Broker_ID。replicas必须与分区的副本数相对应,不然会造成副本缺少的情况。在本案例中分区所在的replicas对应6和5,只迁移Broker_ID为6的节点的分区中的数据时,也必须把Broker_ID为5的节点的分区带上。 log_d
Hive启用Ranger鉴权后,在Hue页面能查看到没有权限的表和库 问题现象 普通集群(未开启Kerberos认证)中,Hive启用Ranger鉴权后,集群用户在Hue页面能查看到没有被授权的数据表和数据库内容。 本章节仅适用于MRS 3.2.1及之后版本。 原因分析 Hive启用Ranger鉴权后,默认的Hive
如果导入并配置ClickHouse样例工程中的“clickhouse-example.properties”配置文件中“sslUsed”参数配置为“true”时,则需要在ClickhouseJDBCHaDemo、Demo、NativeJDBCHaDemo和Util文件创建connection的样例中设置如下连接属性:
如果导入并配置ClickHouse样例工程中的“clickhouse-example.properties”配置文件中“sslUsed”参数配置为“true”时,则需要在ClickhouseJDBCHaDemo、Demo、NativeJDBCHaDemo和Util文件创建connection的样例中设置如下连接属性:
如果导入并配置ClickHouse样例工程中的“clickhouse-example.properties”配置文件中“sslUsed”参数配置为“true”时,则需要在ClickhouseJDBCHaDemo、Demo、NativeJDBCHaDemo和Util文件创建connection的样例中设置如下连接属性:
查看HetuEngine物化视图自动化任务 本章节指导用户在HSConsole页面查看HetuEngine自动化任务的任务状态和任务执行结果等信息。用户可定期查看任务执行情况,帮助评估集群运行健康状况。 查看HetuEngine物化视图自动化任务步骤 使用用于访问HetuEngine
partition为Topic分区。 replicas中的数字对应Broker_ID。replicas必须与分区的副本数相对应,不然会造成副本缺少的情况。在本案例中分区所在的replicas对应6和5,只迁移Broker_ID为6的节点的分区中的数据时,也必须把Broker_ID为5的节点的分区带上。 log_d
检测Yarn内存使用情况 配置场景 针对所提交应用的内存使用无法预估的情况,可以通过修改服务端的配置项控制是否对内存使用进行检测。 如果不检测内存使用,Container会占用内存直到内存溢出;如果检测内存使用,当内存使用超过配置的内存大小时,相应的Container会被kill掉。
检测Yarn内存使用情况 配置场景 针对所提交应用的内存使用无法预估的情况,可以通过修改服务端的配置项控制是否对内存使用进行检测。 若不检测内存使用,Container会占用内存直到内存溢出;若检测内存使用,当内存使用超过配置的内存大小时,相应的Container会被kill掉。
长度:配置字段长度,字段值实际长度太长则按配置的长度截取,“类型”为“CHAR”时实际长度不足则空格补齐,“类型”为“VARCHAR”时实际长度不足则不补齐。 常量值:配置符合类型的常量值。 map 是 无 数据处理规则 生成指定类型的常量字段。 样例 通过“CSV文件输入”算子,生成两个字段A和B。
在用户的表中预先存在大量数据的情况下,可基于MapReaduce任务,批量构建已有数据的索引数据。 批量构建全局二级索引数据 只有处于INACTIVE状态的索引才能进行批量构建,如需重建索引数据,请先修改索引状态。 数据表中存在大量数据时,构建耗时较长,建议将nohup命令放在后台执行,避免操作被意外中断。
在告警列表中单击该告警,从“告警详情”的“定位信息”处获得“HostName”。 登录主集群HBase客户端所在节点。执行以下命令切换用户: sudo su - root su - omm 执行status 'replication', 'source'命令查看故障节点的容灾同步状态。 节点的容灾同步状态如下:
Client执行命令的目录需要可以直接访问该相对路径。 security.ssl.internal.keystore: ssl/flink.keystore security.ssl.internal.truststore: ssl/flink.truststore 在Flink的CLI yarn-session
原因分析 当前提交任务的用户不具备Yarn对应队列的权限。 处理步骤 为当前用户配置Yarn队列的权限。 在Manager界面为当前用户绑定对应权限的角色,例如:default,详细操作请参考修改用户信息章节。 若Hive启用了Ranger鉴权,也可以参考添加Yarn的Ranger访问
Doris > 实例”,查看任一FE实例的业务IP地址获取。 Doris FE实例IP地址可通过登录MRS Doris集群的Manager界面,选择“集群 > 服务 > Doris > 配置 > 全部配置”,搜索并查看“query_port”参数值获取。 执行以下命令创建数据库(例如名称为“example_db”)并切换。
MapReduce应用程序运行完成后,可通过如下方式查看应用程序的运行情况。 在IntelliJ IDEA中查看应用程序运行情况。 通过MapReduce日志获取应用程序运行情况。 登录MapReduce WebUI查看应用程序运行情况。 登录Yarn WebUI查看应用程序运行情况。 在MapReduce