检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
解如何管理及使用全局二级索引。 该样例程序仅适用于MRS 3.3.0及之后版本。 场景说明 假定用户开发一个应用程序，其中一个功能需要记录用户信息及地址，记录数据如下表： 表1 用户信息表 id name age address 1 Zhang 20 CityA 2 Li 30 CityB
背景信息 假定用户开发一个应用程序，用于管理企业中的使用A业务的用户信息，使用Hive客户端实现A业务操作流程如下： 普通表的操作： 创建用户信息表user_info。 在用户信息中新增用户的学历、职称信息。 根据用户编号查询用户姓名和地址。 A业务结束后，删除用户信息表。 表1
需按照实际环境修改以下参数： hiveserverIp：替换为实际需要连接的HiveServer节点IP地址，可登录FusionInsight Manager，选择“集群 > 服务 > Hive > 实例”查看。 hiveserverPort：需要替换为Hive服务的端口，可在FusionInsight
Connection refused (172.16.4.200是DBService的浮动IP) DBService backup failed. 解决办法 登录DBService主节点（绑定有DBService浮动IP的master节点）。 检查 /etc/ssh/sshd_config文件中Li
found”。该问题原因是操作系统的GLIBCXX版本较低，导致该特性依赖的libnativetask.so.1.0.0库无法加载，进而导致任务失败。 规避手段： 设置配置项mapreduce.job.map.output.collector.class的值为org.apache.hadoop.mapred
"/tmp/hudi/h1"; 注意事项 对表执行clean操作时需要表的owner才可以执行。 如果需要修改clean默认的参数，需要在执行前以set方式设置好需要保留的commit数等参数。 系统响应 可在driver日志和客户端中查看命令运行成功或失败。 父主题： Hudi DML语法说明
paction执行合并的过程必须和实时任务解耦，通过周期调度Spark任务来完成异步Compaction，这个方案的关键之处在于如何合理的设置这个周期，周期如果太短意味着Spark任务可能会空跑，周期如果太长可能会积压太多的Compaction Plan没有去执行而导致Spark
Acl管理。 服务端使用Ranger鉴权插件时，若“allow.everyone.if.no.acl.found”配置为“true”，使用非安全端口访问时，所有行为将直接放行。建议使用Ranger鉴权插件的安全集群，不要开启“allow.everyone.if.no.acl.found”。
DIR目录。 切回Mapreduce引擎后默认不读取目录下的文件，所以没有读取到HIVE_UNION_SUBDIR目录下的数据。 此时可以设置参数set mapreduce.input.fileinputformat.input.dir.recursive=true，开启union优化，决定是否读取目录下的数据。
如何查看Kudu日志？ 登录集群的Master节点。 执行su - omm命令，切换到omm用户。 执行cd /var/log/Bigdata/kudu/命令，进入到“/var/log/Bigdata/kudu/”目录，即可查看Kudu日志信息。 父主题： 组件配置类
SHOW SEGMENTS 命令功能 SHOW SEGMENTS命令是用来向用户展示CarbonData table的Segment。 命令格式 SHOW SEGMENTS FOR TABLE [db_name.]table_name LIMIT number_of_loads;
SHOW SEGMENTS 命令功能 SHOW SEGMENTS命令是用来向用户展示CarbonData table的Segment。 命令格式 SHOW SEGMENTS FOR TABLE [db_name.]table_name LIMIT number_of_loads;
对于管理员创建IAM用户接口，如果调用后返回状态码为“201”，则表示请求成功。 响应消息头 对应请求消息头，响应同样也有消息头，如“Content-Type”。 对于管理员创建IAM用户接口，返回如图1所示的消息头，其中“x-subject-token”就是需要获取的用户Token。有
Topic监控是否支持发送告警？ 问： 在MRS流式集群中，Kafka Topic的监控是否支持发送告警？ 答： 暂不支持Kafka Topic监控发送邮件和短信告警，用户可以在集群Manager界面查看组件相关告警信息。 父主题： 集群管理类
Guardian提供了如下表2所示的日志级别。 日志的级别优先级从高到低分别是ERROR、WARN、INFO、DEBUG，程序会打印高于或等于所设置级别的日志，设置的日志等级越高，打印出来的日志就越少。 表2 日志级别 级别 描述 ERROR ERROR表示系统运行的错误信息。 WARN WARN表示当前事件处理存在异常信息。
split(",").map(_.trim) assert(filePaths.length > 0) // windowTime设置窗口时间大小，默认2分钟一个窗口足够读取文本内的所有数据了 val windowTime = ParameterTool.fromArgs(args)
val env = StreamExecutionEnvironment.getExecutionEnvironment // 设置并发度 env.setParallelism(1) // 解析运行参数 val paraTool = ParameterTool
e_name}表示表名称）： set hoodie.${table_name}.consume.mode=INCREMENTAL; //设置增量读取模式 set hoodie.${table_name}.consume.max.commits=3; // 指定最大消费的commits数量
对于数据量过大，需要调整executor的内存大小的，使用--executor-memory指定内存大小； 对于同时运行的task太多，主要看--executor-cores设置的vcore数量。 问题2： 需要在相应的task的日志里面查找异常原因。如果有OOM的情况，请参照问题1。 父主题： 使用Spark
filesize”定义小表的大小，默认为25MB。 Map Join的方法有两种： 使用/*+ MAPJOIN(join_table) */。 执行语句前设置如下参数，当前版本中该值默认为“true”。 set hive.auto.convert.join=true; 使用Map Join时没有
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
