检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如以下语句,在集群default_cluster上创建testUser用户,设置ldap_server为6中<ldap_servers>标签下的OpenLDAP服务名,本示例为ldap_server_name。 CREATE USER testUser ON CLUSTER default_cluster IDENTIFIED
map2(K, V), ..., mapN(K, V)) 描述:合并多个map,当key值一样时,取最后一个map的value来构造键值对。如下示例中,a就使用了最后一个map的value值10。 select map_concat(map(ARRAY['a','b'],ARRAY[1
S服务全部配置页面,搜索对应参数查看),HDFS会删除多余块副本来保证集群资源利用率。 删除规则如下: 优先删除不满足任何表达式的副本。 示例:文件默认副本数为3 /test标签表达式为“LA[replica=1],LB[replica=1],LC[replica=1]”; /t
界面中并将其连接。 例如采用Kafka Source、File Channel和HDFS Sink,如图3所示。 图3 Flume配置工具示例 双击对应的source、channel以及sink,根据实际环境并参考表1设置对应的配置参数。 如果想在之前的“properties.p
updatetime, gamepointid,contractnumber'); 其中,“test.csv”为准备CSV文件的CSV文件,“x1”为示例的表名。 CSV样例内容如下: 13418592122,1001,MAC地址,2017-10-23 15:32:30,2017-10-24
ZooKeeper中的用户详情: 在ZooKeeper中,不同的认证方案使用不同的凭证作为用户。 基于认证供应商的要求,任何参数都可以被认为是用户。 示例: SAMLAuthenticationProvider使用客户端主体作为用户。 X509AuthenticationProvider使用客户端证书作为用户。
如以下语句,在集群default_cluster上创建testUser用户,设置ldap_server为6中<ldap_servers>标签下的OpenLDAP服务名,本示例为ldap_server_name。 CREATE USER testUser ON CLUSTER default_cluster IDENTIFIED
热数据迁移特性。 操作方法为: 修改HDFS服务的NameNode的如下参数值。参数修改方法请参考修改集群服务配置参数。 参数 描述 取值示例 dfs.auto.data.mover.enable 表示是否启用自动冷热数据迁移特性。默认值是“false”。 true dfs.auto
在“备份对象”选择待操作的集群。 在“备份类型”选择备份任务的运行类型。 “周期备份”表示按周期自动执行备份,“手动备份”表示由手工执行备份。 表1 周期备份参数 参数 示例 参数说明 开始时间 2024/11/22 10:29:11 任务第一次启动的时间。 周期 1天 任务下次启动,与上一次运行的时间间隔,支持按“小时”或按“天”。
界面中并将其连接。 例如采用Kafka Source、File Channel和HDFS Sink,如图3所示。 图3 Flume配置工具示例 双击对应的source、channel以及sink,根据实际环境并参考表1设置对应的配置参数。 如果想在之前的“properties.p
S服务全部配置页面,搜索对应参数查看),HDFS会删除多余块副本来保证集群资源利用率。 删除规则如下: 优先删除不满足任何表达式的副本。 示例:文件默认副本数为3 /test标签表达式为“LA[replica=1],LB[replica=1],LC[replica=1]”; /t
面中并将其连接。 采用SpoolDir Source、File Channel和HDFS Sink,如图2所示。 图2 Flume配置工具示例 双击对应的source、channel以及sink,根据实际环境并参考表1设置对应的配置参数。 如果对应的Flume角色之前已经配置过服
number参数时,偶现同步数据丢失问题。 解决当CDL存在连接源端库失败的作业,task线程泄漏,导致作业启动超时问题。 解决CDL Hudi connector代码中增加hoodie.datasource.hive_sync.skip_sync_schema参数,默认为true,优化元数据同步性能,减少性能毛刺问题。
在“备份对象”选择待操作的集群。 在“备份类型”选择备份任务的运行类型。 “周期备份”表示按周期自动执行备份,“手动备份”表示由手工执行备份。 表1 周期备份参数 参数 示例 参数说明 开始时间 2024/11/22 10:29:11 任务第一次启动的时间。 周期 1天 任务下次启动,与上一次运行的时间间隔,支持按“小时”或按“天”。
字母顺序排列。 目前规则运算表达式支持“*”或“%”用于匹配任何字符,下划线“_”用于匹配一个字符,或“|”用于条件连接两个或多个条件。 示例 SHOW MATERIALIZED VIEWS; hetuengine:tpcds_2gb> SHOW MATERIALIZED VIEWS;
updatetime, gamepointid,contractnumber'); 其中,“test.csv”为准备CSV文件的CSV文件,“x1”为示例的表名。 CSV样例内容如下: 13418592122,1001,MAC地址,2017-10-23 15:32:30,2017-10-24
“作业类型”选择“HiveSql”并参考表1配置HiveSql作业信息。 图1 添加HiveSql作业 表1 作业配置信息 参数 描述 示例 作业名称 作业名称,只能由字母、数字、中划线和下划线组成,并且长度为1~64个字符。 hivesql SQL类型 SQL语句提交类型。 SQL:直接运行手动输入的SQL语句。
下载客户端”,弹出“下载客户端”信息提示框。 MRS 3.3.0及之后版本,可以在主页中直接单击“下载客户端”。 表1 客户端下载参数说明 参数 描述 示例 选择客户端类型 完整客户端:包含完整客户端软件包及配置文件,适用于非开发任务场景。 仅配置文件:仅下载客户端配置文件,适用于应用开发任务
单击“保存配置”,勾选“重新启动受影响的服务或实例。”并单击“确定”重启服务。 界面提示“操作成功。”,单击“完成”,服务成功启动。 任务示例:添加Hive自定义参数 Hive依赖于HDFS,默认情况下Hive访问HDFS时是HDFS的客户端,生效的配置参数统一由HDFS控制。 例如HDFS参数“ipc
登录其中一个集群的FusionInsight Manager。 选择“系统 > 权限 > 域和互信”。 修改配置参数“互信对端域”。 表1 相关参数 参数 示例 参数说明 realm_name MRSTEST.COM 填写对端系统的域名。 ip_port 10.0.0.1:21732,10.0.0