检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如果用户组添加了角色,则用户可获得对应角色中的权限。 例如,为新用户分配Hive的权限,请将用户加入Hive组。 主组 选择一个组作为用户创建目录和文件时的主组。下拉列表包含“用户组”中勾选的全部组。 角色 单击“添加”为用户绑定租户的角色。 说明: 若一个用户想要获取使用“tenant1
当前补丁Spark组件优化了数据库和表的location的黑名单目录列表,在{客户端安装目录}/Spark/spark/conf/spark-defaults.conf文件的参数spark.sql.insert.overwrite.dir.blacklist后追加",/user/hive/warehouse/
jks path System.setProperty("iotdb_ssl_truststore", "truststore文件路径"); } Session session = new Session(LOCAL_HOST, 22260, "认证用户名"
将ApplicationMaster的内存配置调大,在客户端“客户端安装路径/Yarn/config/mapred-site.xml”配置文件中优化如下参数: “yarn.app.mapreduce.am.resource.mb” “yarn.app.mapreduce.am.c
行缩容操作。 原因:确保缩容后剩余空间足够存放现有数据,并预留一部分空间。 说明: 为了保证数据的可靠性,HDFS中每保存一个文件则自动生成1个备份文件,即默认共2个副本。 HBase/RegionServer 规则:除缩容节点外,其他节点RegionServer剩余可用内存的总
集群组件安装、集群扩容、集群缩容、升级Master节点规格功能不可用。 集群的运行状态、告警、事件无法监控。 集群详情页的节点管理、组件管理、告警管理、文件管理、作业管理、补丁管理、租户管理功能不可用。 Manager页面、各组件的Web站点无法访问。 再次开启通信安全授权,集群状态会恢复为“
在“作业管理”的作业列表中,找到创建的作业名称,单击操作列的“启动”,等待作业启动。 观察数据传输是否生效,例如在Hudi中对表进行插入数据操作,查看DWS导入的文件内容。 父主题: 创建CDL作业
3/server/webapps/loader/WEB-INF/ext-lib chown omm:wheel jar包文件名 chmod 600 jar包文件名 登录FusionInsight Manager系统,选择“集群 > 待操作集群的名称 > 服务 > Loader >
3/server/webapps/loader/WEB-INF/ext-lib chown omm:wheel jar包文件名 chmod 600 jar包文件名 登录FusionInsight Manager系统,选择“集群 > 服务 > Loader > 更多 > 重启服务”,输入管理员密码重启Loader服务。
<table_name>","< list of segment ids >");” 说明: 不建议在carbon.properties文件中设置该属性,因为所有会话都包含段列表,除非发生会话级或线程级覆盖。 示例 添加(Add)或更新(Update): SET enable.unsafe
解决管控面提交Flink作业打印敏感日志的问题。 解决Hudi到DWS任务unknown以及无法删除问题。 解决Hudi filegroup下只有一个4bytes文件时,Hudi读写报错的问题。 解决CDL定时线程增加异常保护,防止线程异常,告警不上报的问题。 解决CDL解密环境变量冲突,导致升级时hudi源任务运行失败的问题。
间,可以配置相同的名称。 脚本路径 obs://mrs-samples/test.sh 脚本的路径。路径可以是OBS文件系统的路径或虚拟机本地的路径。 OBS文件系统的路径,必须以obs://开头,以.sh结尾。例如:obs://mrs-samples/xxx.sh 虚拟机本地的
+"%Y-%m-%d %H:%M:%S" > "${TIME_RECORD_FILE}" cat ${TIME_RECORD_FILE} (确保文件生成并写入时间) cd ${BIGDATA_HOME}/FusionInsight_JobGateway_*/install/Fusion
r.java:617) at java.lang.Thread.run(Thread.java:745) 使用客户端hdfs命令查看,如下文件不存在。 hdfs://hacluster/kylin/kylin_metadata/coprocessor/kylin-coprocessor-1
、作业开发Flink SQL标准化等。 图1 可视化运维 快速建立集群连接:通过集群连接功能配置访问一个集群,需要客户端配置、用户认证密钥文件。 快速建立数据连接:通过数据连接功能配置访问一个组件。创建“数据连接类型”为“HDFS”类型时需创建集群连接,其他数据连接类型的“认证类
约束限制: 不涉及 取值范围: 不涉及 默认取值: default archive_path 否 String 参数解释: SQL执行结果的转储文件夹。只有select语句才会转储查询的结果。当前仅支持转储到OBS中。 约束限制: 不涉及 取值范围: 不涉及 默认取值: 不涉及 响应参数
修改角色信息:在要修改信息角色所在的行,单击“修改”。 导出角色信息:单击“导出全部”,可一次性导出所有角色信息,可导出“TXT”或者“CSV”格式文件。 角色信息包含角色名、描述等信息。 导出角色信息操作仅适用于MRS 3.x及之后版本。 删除角色:在要删除角色所在行,单击“删除”。如果
分区目录 容量 用途 OS分区 / 220GB 操作系统根分区目录和程序存放目录,包括了所有目录(除去下面指定的目录)。 /tmp 10GB 临时文件存放目录。 /var 10GB 操作系统运行目录。 /var/log OS盘剩余空间都分配给“/var/log”分区 日志存放目录。 /srv/BigData
RIGHT OUTER JOIN b ON aid=bid; 配置描述 在Spark Driver端的“spark-defaults.conf”配置文件中添加如下表格中的参数。 表1 参数说明 参数 描述 默认值 spark.sql.adaptive.enabled 自适应执行特性的总开关。
--command-config ../config/consumer.properties 确保当前consumer在线消费。 确保配置文件consumer.properties中的group.id与命令中--group的参数均配置为待查询的group。 Kafka集群IP端口