检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
/client”。 使用客户端安装用户，执行source /opt/client/bigdata_env命令配置环境变量。 执行kinit admin命令。 执行zkCli.sh -server ZooKeeper节点业务IP地址:2181连接ZooKeeper。 执行deleteall
spark.sql.adaptive.skewJoin.enabled 当此配置为true且spark.sql.adaptive.enabled设置为true时，启用运行时自动处理join运算中的数据倾斜功能。 true spark.sql.adaptive.skewJoin.skewedPartitionFactor
务长时间处于pending状态，执行2。 登录MRS Console页面，在现有集群中，选择集群名称，在“节点信息”页面，查看当前集群的节点规格。 提高nodemanager进程所持有的集群资源。 MRS Manager界面操作： 登录MRS Manager页面，选择“服务管理 >
升级规格：升级Master节点的实例规格，请参见升级Master节点规格。 弹性伸缩：根据业务数据量的变化动态调整集群节点数量以增减资源，请参见配置弹性伸缩规则。 在创建集群时，Task节点只配置了弹性伸缩的取值范围，而没有配置实例数量时，当前不会产生实际费用。如果客户配置了实例数量，则产品报价
Producer重要参数 参数 描述 备注 bootstrap.servers Broker地址列表。 生产者通过此参数值，创建与Broker之间的连接。 security.protocol 安全协议类型。 生产者使用的安全协议类型，当前安全模式下仅支持SASL协议，需要配置为SASL_PLAINTEXT。
Hudi表主键参数“table.primarykey.mapping”未配置。 处理步骤 登录FusionInsight Manager，选择“集群 > 服务 > CDL”，单击“CDLService UI”右侧的超链接进入CDLService WebUI界面，在数据同步任务作业列表界面选择该作业所在行的“更多
servers Broker地址列表。 生产者通过此参数值，创建与Broker之间的连接。 sasl.kerberos.service.name 服务名。 Kafka集群运行，所使用的Kerberos用户名（需配置为kafka）。 key.serializer 消息Key值序列化类。
x之前版本，单击集群名称，登录集群详情页面，选择“组件管理 > Hive > 服务配置”，单击“基础配置”下拉菜单，选择“全部配置”。 如果集群详情页面没有“组件管理”页签，请先完成IAM用户同步（在集群详情页的“概览”页签，单击“IAM用户同步”右侧的“同步”进行IAM用户同步）。 MRS
图1 配置用户创建topic的权限 用户使用Linux命令行创建topic，执行命令前需要使用kinit命令进行人机认证，如：kinit flinkuser。 flinkuser需要用户自己创建，并拥有创建Kafka的topic权限。具体操作请参考准备MRS应用开发用户章节。 创建topic的命令格式：
在MRS集群中新增并提交一个作业。 需要先在集群详情页的“概览”页签，单击“IAM用户同步”右侧的“同步”进行IAM用户同步，然后再通过该接口提交作业。 如需使用OBS加密功能，请先参考“MRS用户指南 > 管理现有集群 > 作业管理 > 使用OBS加密数据运行作业”页面进行相关配置后，再调用API接口运行作业。
'table-name' = 'customer_t1', 'username' = 'username', --连接MySQL数据库的用户名 'password' = 'password',--连接MySQL数据库的密码 'filter.record.enabled' = 'true',
执行Yarn客户端命令查询历史作业报错，进程被终止。具体错误如下: 原因分析 客户端分配内存不足，导致提交命令报错。 处理步骤 以root用户登录HDFS客户端安装节点。 执行以下命令编辑文件。 vim /opt/client/HDFS/component_env 调大参数“ export
ClickHouse > Clickhouse管理员权限”。 选择“系统 > 权限 > 用户 > 添加用户”，创建一个人机用户，例如developuser，“角色”加入developrole。 用户创建成功后，使用该用户登录FusionInsight Manager，根据界面提示修改初始密码。 获取样例工程
导入并配置HetuEngine样例工程 根据场景开发工程 提供了Java语言的样例工程，包括连接HetuEngine、SQL语句执行、结果解析，断开连接等全流程的样例工程。 开发HetuEngine应用 编译并运行程序 指导用户将开发好的程序编译并提交运行。 调测HetuEngine应用 查看程序运行结果
准备集群配置文件 集群创建成功后，登录FusionInsight Manager创建用于提交Flink作业的集群用户。 选择“系统 > 权限 > 用户 > 添加用户”，在新增用户界面创建一个人机用户，例如sparkuser。 “用户组”需加入“supergroup”用户组，并关联“System_administrator”角色。
查看HBase的HMaster日志，报如下错误： 检查HDFS上HBase的路径发现acl表路径丢失。 解决办法 停止HBase组件。 在HBase客户端使用hbase用户登录认证，执行如下命令。 例如： hadoop03:~ # source /opt/client/bigdata_env hadoop03:~
配置MRS集群通过Guardian对接OBS 配置Guardian服务对接OBS MRS集群服务对接OBS示例 父主题： 配置MRS集群存算分离
EXISTS] db_name [PROPERTIES ("key"="value", ...)]; 使用示例 使用具有Doris管理权限的用户通过MySQL客户端连接到Doris。 执行以下命令创建数据库example_db： create database if not exists example_db;
相同路径下的示例工程。 安装Maven 开发环境的基本配置。用于项目管理，贯穿软件开发生命周期。 准备开发用户 参考准备MRS应用开发用户进行操作，准备用于应用开发的集群用户并授予相应权限。 7-zip 用于解压“*.zip”和“*.rar”文件，支持7-zip 16.04版本。
port的值修改为Hive提供Thrift服务的端口。 HiveServer业务平面IP地址可登录FusionInsight Manager，选择“集群 > 服务 > Hive > 实例”查看。 port可在FusionInsight Manager界面，选择“集群 > 服务 >
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
