检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
通过算子导出文件或算子模板文件将字段配置信息导入到算子中。 导出操作 将算子的字段配置信息以json文件导出保存到本地。 前提条件 获取登录“Loader WebUI”的账户和密码。 操作步骤 关联操作 登录“Loader WebUI”界面。 登录FusionInsight Manager系统,具体请参见访问集群Manager。
“<原有日志名>-<yyyy-mm-dd_hh-mm-ss>.[编号].log.zip”。最多保留最近的20个压缩文件,压缩文件保留个数和压缩文件阈值可以配置。 表1 Tez日志列表 日志类型 日志文件名 描述 运行日志 tezui.out TezUI运行环境信息日志 tezui
abric 说明: XXX:驱动名,请以实际样例代码中的内容为准。 catalog、schema分别是JDBC客户端要连接的catalog和schema名称。 HSFabric_IP:HSFabric_Port是HSFabric的URL,多个URL以逗号隔开。例如:“192.168
Name 策略名称,可自定义,不能与本服务内其他策略名称重复。 Policy Label 为当前策略指定一个标签,您可以根据这些标签搜索报告和筛选策略。 job 配置当前策略适用的job名,可以填写多个值。这里支持通配符,例如:test、test*、*。 “Include”策略适用
“<原有日志名>-<yyyy-mm-dd_hh-mm-ss>.[编号].log.zip”。最多保留最近的20个压缩文件,压缩文件保留个数和压缩文件阈值可以配置。 表1 Tez日志列表 日志类型 日志文件名 描述 运行日志 tezui.out TezUI运行环境信息日志 tezui
UI”右侧的超链接,进入CDL原生界面。 选择“连接管理 > 新增连接”,进入“新增连接”参数配置窗口,参考下表,分别新增“pgsql”和“kafka”连接,相关数据连接参数介绍请参见创建CDL数据库连接。 表1 PgSQL数据连接配置参数 参数名称 示例 Link Type pgsql
配置 > 全部配置”,搜索参数“IOTDB_SERVER_RPC_PORT”获得。 安全模式下,登录IoTDBServer所在节点的用户名和密码由FusionInsight Manager统一控制,参考准备MRS应用开发用户,确保该用户具有操作IoTDB服务的角色权限。 本端域可以在Manager界面,选择“系统
从Yarn的日志看到,Yarn读取的Spark Web UI地址为http://10.120.169.53:23011,是10网段的IP地址。由于192网段的IP和10网段的IP不能互通,所以导致访问Spark Web UI界面失败。 修改方案: 登录10.120.169.53客户端机器,修改/etc/hosts文件,将10
从Yarn的日志看到,Yarn读取的Spark Web UI地址为http://10.10.169.53:23011,是10网段的IP地址。由于192网段的IP和10网段的IP不能互通,所以导致访问Spark Web UI界面失败。 处理步骤 登录10.10.169.53客户端机器。 修改“/etc/hosts”文件,将10
从Yarn的日志看到,Yarn读取的Spark Web UI地址为http://10.120.169.53:23011,是10网段的IP地址。由于192网段的IP和10网段的IP不能互通,所以导致访问Spark Web UI界面失败。 修改方案: 登录10.120.169.53客户端机器,修改/etc/hosts文件,将10
批量导出Loader作业 操作场景 Loader支持批量导出已有作业。 本章节适用于MRS 3.x及后续版本。 前提条件 当前用户具备待导出作业的编辑“Edit”权限或作业所在分组的编辑“Jobs Edit”权限。 操作步骤 登录“Loader WebUI”界面。 登录FusionInsight
查看“server.port”的值,默认为“29900”。 192.168.1.1:29900 区域 当前请求发起方所属区域,只能包数字和下划线。 0755_01 接收超时时长(秒) 等待接收数据的超时时长(单位:秒)。 60 Task总超时时长(秒) 每个跨域Task执行的总超时时长(单位:秒)。
的时候会自动压缩,压缩后的日志文件名规则为:“<原有日志名>.log.[编号].gz”。默认最多保留最近的20个压缩文件,压缩文件保留个数和压缩文件阈值可以配置。 审计日志压缩后的日志文件名规则为:“audit.log.[yyyy-MM-dd].[编号].zip”。该文件永远都不会删除。
在左侧的导航列表中选择“HiveServer(角色) > 自定义”,为自定义参数“hive.metastore.customized.configs”和“hive.server.customized.configs”添加配置项“hive.metastore.warehouse.dir”,设置
通过算子导出文件或算子模板文件将字段配置信息导入到算子中。 导出操作 将算子的字段配置信息以json文件导出保存到本地。 前提条件 获取登录“Loader WebUI”的账户和密码。 操作步骤 关联操作 登录“Loader WebUI”界面。 登录FusionInsight Manager系统,具体请参见访问FusionInsight
IoTDBServer RPC端口 运行该命令后,根据实际需求指定业务用户名: 指定业务用户名,则输入“yes”,并根据提示输入业务用户名和对应的业务用户密码: 不指定业务用户名,则输入“no”;此时,则使用5中的用户执行后续操作: 输入其他,则退出登录: 集群未启用Kerber
ClickHouse数据批量导入 本章节适用于MRS 3.3.0及之后版本。 操作场景 当同时存在较多待导入的数据文件,用户可以使用多线程导入工具批量导入ClickHouse。 前提条件 已安装ClickHouse客户端,例如客户端安装目录为“/opt/client”。 如果集群
{BrokerList} {Topic} 如果开启了kerberos认证,需要将客户端的配置文件“spark-defaults.conf”和sparkJDBC服务端中的配置项spark.yarn.security.credentials.hbase.enabled置为true。
Settings”。弹出“Settings”窗口。 在左边导航上选择“Editor > File Encodings”,在“Project Encoding”和“Global Encoding”区域,设置参数值为“UTF-8”,单击“Apply”后,单击“OK”,如图1所示。 图1 设置IntelliJ
Spark故障排除 访问Spark应用获取的restful接口信息有误 为什么从Yarn Web UI页面无法跳转到Spark Web UI界面 HistoryServer缓存的应用被回收,导致此类应用页面访问时出错 加载空的part文件时,app无法显示在JobHistory的页面上