检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Manager，具体请参见访问集群Manager。 操作步骤 选择“系统 > 权限 > 角色”。 单击“添加角色”，然后“角色名称”和“描述”输入角色名字与描述。 设置角色“权限”请参见表1。 设置角色的权限时，不能同时选择跨资源权限，如果需要设置多个资源的相关权限，请依次逐一设置。 Loader权限：
conf文件中的IP地址修改为对应IP的主机名称。 配置集群安全组规则。 在集群“概览”界面，选择“添加安全组规则 > 管理安全组规则”。 在“入方向规则”页签，选择“添加规则”，在“添加入方向规则”窗口配置Windows的IP和21730TCP、21731TCP/UDP、21732TCP/UDP端口。
粒度的权限，具体主要操作页面功能描述参见表1。 表1 Ranger界面操作入口功能描述 入口 功能描述 Access Manager 查看当前Ranger已集成的各服务权限管理插件，用户可通过对应插件设置更细粒度的权限，具体操作请参考添加Ranger权限策略。 Audit 查看R
出现此告警时，说明当前Loader实例设置非堆内存大小无法满足当前业务使用场景，建议打开“Loader非堆内存资源状况”监控图表，观察该监控图表中“Loader使用的非堆内存大小”的变化趋势，根据当前非堆内存使用的大小，调整“-XX:MaxPermSize”的值为当前非堆内存
log文件是omm用户的操作记录，以方便问题的定位，用户可以清理。 因为日志占用了一部分存储空间，建议管理员清除比较久远的操作日志释放资源空间。 日志文件较大，可以将此文件目录添加到“/etc/logrotate.d/syslog”中，让系统做日志老化 ，定时清理久远的日志 。 更改文件日志目录：sed -i '3 a/var/log/sudo/sudo
原因分析 问题1： 最常见的无法提交任务原因是认证失败， 还有可能是参数设置不正确。 问题2： 集群默认会把分析节点的hadoop相关jar包添加到任务的classpath中，如果提示yarn的包找不到，一般都是因为hadoop的相关配置没有设置。 问题3： 常见的场景是使用--files上传了user
写Kudu数据 功能简介 通过KuduClient.newSession()方法生成一个KuduSession对象，然后再把插入记录动作执行到Kudu表里。 代码样例 如下是写数据的代码片段： // Create a KuduSession. KuduSession session = client
写Kudu数据 功能简介 通过KuduClient.newSession()方法生成一个KuduSession对象，然后再把插入记录动作执行到Kudu表里。 代码样例 如下是写数据的代码片段： // Create a KuduSession. KuduSession session = client
cat /proc/sys/net/ipv4/neigh/default/gc_thresh* 512 2048 4096 还可以将以下参数添加到“/etc/sysctl.conf”中，即使主机重启，配置依然能生效。 net.ipv4.neigh.default.gc_thresh1
532 is lost rpc with driver,but is still alive, going to kill it”所示信息，表明Executor丢失是由于JVM Crash导致的。 JVM的关键Crash错误日志，如下： # # A fatal error has been
UI”右侧的“HMaster(主机名，主)”超链接进入HBase WebUI页面。 在“Tables”区域，单击“test_multicast”表名链接进入表页面，在“Table Regions”找到该表Region所在的RegionServer信息。 在FusionInisight Manager界面，选择“集群
singletonList(this.topic)); // 消息消费请求 ConsumerRecords<Integer, String> records = consumer.poll(waitTime); // 消息处理
number_of_loads; 参数描述 表1 SHOW SEGMENTS FOR TABLE参数描述 参数 描述 db_name Database名，若未指定，则使用当前database。 table_name 在给定database中的表名。 number_of_loads 加载数的限制。
number_of_loads; 参数描述 表1 SHOW SEGMENTS FOR TABLE参数描述 参数 描述 db_name Database名，如果未指定，则使用当前database。 table_name 在给定database中的表名。 number_of_loads 加载数的限制。
Spark SQL企业级能力增强 配置矢量化读取ORC数据 配置过滤掉分区表中路径不存在的分区 配置Drop Partition命令支持批量删除 配置Hive表分区动态覆盖 配置Spark SQL开启Adaptive Execution特性 配置Spark SQL语法支持关联子查询不带聚合函数
> 向前插规则”。 添加网络ACL规则，其中“策略”选择“允许”，“源地址”填入4中获取的“虚拟私有云”对应的“IPv4网段”，其他值保持默认即可。 单击“确定”完成网络ACL规则添加。 如果您不想放开VPC对应的全部IPv4网段的规则，请继续参考9~13添加切换前后两个子网对应
w.everyone.if.no.acl.found”的值修改为“true”(普通集群不需配置)。 创建Topic。 {zkQuorum}表示ZooKeeper集群信息，格式为IP:port。 $KAFKA_HOME/bin/kafka-topics.sh --create --zookeeper
果发现平均文件大小小于16MB，则认为分区下有小文件，Spark会启动一个Job合并这些小文件，并将合并后的大文件写入到最终的表目录下。 使用约束 写入表的类型为：Hive、Datasource 支持的数据格式：parquet、orc 配置参数 在Spark客户端的“{客户端安装
都不要超过40个，否则可能导致界面响应时间过长。 表1 Flume角色客户端所需修改的参数列表 参数名称 参数值填写规则 参数样例 名称 不能为空，必须唯一。 test kafka.topics 订阅的Kafka topic列表，用逗号分隔，此参数不能为空。 test1 kafka
都不要超过40个，否则可能导致界面响应时间过长。 表1 Flume角色服务端所需修改的参数列表 参数名称 参数值填写规则 参数样例 名称 不能为空，必须唯一。 test kafka.topics 订阅的Kafka topic列表，用逗号分隔，此参数不能为空。 test1 kafka
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
