检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
AUTHORIZATION”区域的组件插件名称“OBS”，为对应用户的用户组赋予OBS存储路径的“Read”和“Write”的权限。 例如，为“hgroup1”用户组赋予“obs://obs-test/test/”目录的“Read”和“Write”的权限： 图7 为用户组赋予OBS路径读和写的权限 在首页中单击“HADOOP
（可选）单击“+”按钮展开更多选项，选择已创建的ENV，默认为“defaultEnv”。 单击“确定”，完成Hudi作业参数配置。 作业参数配置完成后，拖拽图标将作业进行关联，然后单击“保存”，作业配置完成。 在“作业管理”的作业列表中，找到创建的作业名称，单击操作列的“启动”，等待作业启动。 观
（可选）单击“+”按钮展开更多选项，选择已创建的ENV，默认为“defaultEnv”。 单击“确定”，完成Hudi作业参数配置。 作业参数配置完成后，拖拽图标将作业进行关联，然后单击“保存”，作业配置完成。 在“作业管理”的作业列表中，找到创建的作业名称，单击操作列的“启动”，等待作业启动。 观
参数配置组合决定了每节点任务(map、reduce)的并发数。 如果所有的任务（map/reduce）需要读写数据至磁盘，多个进程将会同时访问一个磁盘。这将会导致磁盘的IO性能非常低下。为了改善磁盘的性能，请确保客户端并发访问磁盘的数不大于3。 最大并发的container数量应该为[2.5 *
时，应该选择对应类型的连接，每种连接在该场景中需要配置连接的属性。 本章节适用于MRS 3.x之前版本。 obs-connector 表1 obs-connector数据源连接属性 参数 说明 桶名 保存源数据的OBS文件系统。 源目录或文件 源数据实际存储的形态，可能是文件系统
一个表可以拥有一个或者多个分区，每个分区以文件夹的形式单独存在表文件夹的目录下。对分区内数据进行查询，可缩小查询范围，加快数据的检索速度和可对数据按照一定的条件进行管理。 分区是在创建表的时候用PARTITIONED BY子句定义的。 CREATE EXTERNAL TABLE
e，导出kafka样例工程依赖的jar包，比如放到kafka-examples-lib目录。 在第一步指定的目录下生成一个Jar包和一个存放lib的文件夹。 将刚才生成的依赖库文件夹（此处为“kafka-examples-lib”）拷贝到MRS服务的某个Linux环境上任意目录下
DEBUG表示记录系统及系统的调试信息。 如果您需要修改日志级别，请执行如下操作： 请参考修改集群服务配置参数，进入Kafka的“全部配置”页面。 左边菜单栏中选择所需修改的角色所对应的日志菜单。 选择所需修改的日志级别。 保存配置，在弹出窗口中单击“确定”使配置生效。 日志格式 Kafka的日志格式如下所示：
确保上传的Jar是安全的，Flink默认开启了沙箱功能，可参考为指定Jar包配置权限通过配置参数“flinkserver.security.policy”的值设置沙箱权限，参考关闭FlinkServer安全沙箱配置参数“security.manager.enabled”的值关闭沙箱功能。
首次安装先安装一台服务器，然后按照继承批量安装的方式安装其他所有主机。 创建主机组，把1中已安装的ICAgent的主机加到主机组里面。 在云日志服务管理控制台，单击“主机管理”，进入主机管理页面，单击右上角“新建主机组”。 在弹出的新建主机组页面，输入“主机组名称”，选择主机类型
如果所有的任务(map/reduce)需要读写数据至磁盘，多个进程将会同时访问一个磁盘。这将会导致磁盘的IO性能非常低下。为了改善磁盘的性能，请确保客户端并发访问磁盘的数不大于3。 最大并发的container数量应该为[2.5 * Hadoop中磁盘配置数 ]。 mapreduce.map
Manager，进入Yarn服务的原生页面，找到对应作业的Application，单击Application名称，进入到作业详情页面。 若作业尚未结束，可单击“Tracking URL”链接进入到Flink的原生页面，查看作业的运行信息。 若作业已运行结束，对于在session中提交的作业，可以单击“Tracking
Files”页面，选中“lib”目录下的所有Jar包，然后单击“OK”。 Flink相关的依赖包：选择“lib”目录下的所有Jar包。或者可以根据不同样例工程，最小化选择其对应的Jar包。 当样例代码使用其他MRS组件时，请去对应MRS组件的服务端安装目录查找并添加依赖包。 图19
多级嵌套子查询以及混合Join的SQL调优 操作场景 本章节介绍在多级嵌套以及混合Join SQL查询的调优建议。 前提条件 例如有一个复杂的查询样例如下： select s_name, count(1) as numwait from ( select s_name from (
多级嵌套子查询以及混合Join的SQL调优 操作场景 本章节介绍在多级嵌套以及混合Join SQL查询的调优建议。 前提条件 例如有一个复杂的查询样例如下： select s_name, count(1) as numwait from ( select s_name from (
Kafka对外发布的端口，默认值为空。 格式为：Broker ID:Port。“Port”为将要绑定的端口，此端口为自定义端口，配置的端口必须为可用的端口。配置多个映射时，使用英文半角逗号分隔。 将2中记录的每个Broker实例的Broker ID与此Broker将要绑定的端口做映射。
单击root，进入存储组资源类型，在对应的存储组权限上勾选“修改”，表示在该存储组递归的所有路径上的时间序列具有修改时间序列的权限。 单击指定的存储组，进入时间序列资源类型，在对应的时间序列权限上勾选“修改”，表示具有修改该时间序列的权限。 设置用户向时间序列插入数据的权限 在“配置资源权限”的表格中选择“待操作集群的名称
策略允许条件，配置本策略内允许的权限及例外，例外条件优先级高于正常条件。 在“Select Role”、“Select Group”、“Select User”列选择已创建好的需要授予权限的Role、用户组或用户，单击“Add Conditions”，添加策略适用的IP地址范围，单击“Add
不支持对Hive Ranger策略中的“Deny Conditions”进行级联授权，即“Deny Conditions”的权限仅限制表权限，不能生成HDFS存储源端的权限。 级联授权生成的HDFS存储源端的权限弱于HDFS Ranger策略的权限，即如果已经对表的HDFS存储源设置了HDFS
操作场景 Kafka消息传输保障机制，可以通过配置不同的参数来保障消息传输，进而满足不同的性能和可靠性要求。本章节介绍如何配置Kafka高可用和高可靠参数。 本章节内容适用于MRS 3.x及后续版本。 对系统的影响 配置高可用、高性能的影响： 配置高可用、高性能模式后，数据可靠性会降低
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
