检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
complete. 执行以下命令,配置环境变量。 source /opt/Flumeenv/bigdata_env 客户端数量是否为1。 是,采用单独安装模式,执行8,安装结束。 否,采用批量安装模式,执行9。 在Flume客户端安装目录下执行以下命令,安装客户端到指定目录(绝对
按照报错提示修改请求参数 400 0179 The job type must be SparkSql or SparkScript. 作业类型必须是SparkSql或者SparkScript 按照报错提示修改请求参数 400 0180 The job is being submitted
keyprovider.parameters.encryptedtext 导致HBase服务启动异常 修改相关配置项时请严格按照提示描述,加密相关配置项是有关联的,确保修改后的值有效 已使用加密的情况下关闭或者切换加密算法 关闭主要指修改hbase.regionserver.wal.encry
端口列表。 开源 MRS集群网络配置 表2 MRS集群网络配置参数 参数 描述 示例 可用区 当前区域内,待创建资源所归属的可用区,可用区是在同一区域下,电力、网络隔离的物理区域。 说明: 当您为IES购买MRS时,请选择可用区为“边缘可用区”。 可用区1 虚拟私有云 MRS集群
G PROPERTIES,则将所有表属性复制到新表中。如果WITH子句指定的属性名称与复制的属性名称相同,则将使用WITH子句中的值。默认是EXCLUDING PROPERTIES属性,而且最多只能为一个表指定INCLUDING PROPERTIES属性。 PARTITIONED
spark.shuffle.manager 处理数据的方式。有两种实现方式可用:sort和hash。sort shuffle对内存的使用率更高,是Spark 1.2及后续版本的默认选项。 SORT spark.deploy.zookeeper.url Zookeeper的地址,多个地址以逗号隔开。
spark.shuffle.manager 处理数据的方式。有两种实现方式可用:sort和hash。sort shuffle对内存的使用率更高,是Spark 1.2及后续版本的默认选项。Spark2.x及后续版本不支持hash。 SORT spark.deploy.zookeeper.url
参数类型 描述 project_id 是 String 参数解释: 项目编号。获取方法,请参见获取项目ID。 约束限制: 不涉及 取值范围: 只能由英文字母和数字组成,且长度为[1-64]个字符。 默认取值: 不涉及 version_name 是 String 参数解释: 集群版本。例如“MRS
SQL作业分号前带注释时,作业提交失败的问题。 解决FlinkServer界面设置作业重启策略,重启策略失败重试间隔时间单位设置为s,实际是ms的问题。 解决Flink写Hudi表同步Hive在非安全环境hms模式下报错,连接HiveMetaStore失败的问题。 解决DGC提交
'password':创建的具有FlinkServer、Doris管理员权限的用户密码。 doris_label_xxx:sink.label-prefix的值,必须是唯一的,每次启任务必须保持其值的唯一性。 在界面左侧配置作业“基础参数”。 并行度:3 JobManager内存(MB):4096 提交队列:自定义,默认default
设置任务的用户需要获取该任务的执行权限,并获取该任务对应的连接的使用权限。 操作步骤 是否第一次从Loader导出数据到关系型数据库? 是,执行2。 否,执行3。 修改关系型数据库对应的驱动jar包文件权限。 获取关系型数据库对应的驱动jar包保存在Loader服务主备节点的l
Avro Source常用配置 参数 默认值 描述 channels - 与之相连的Channel,可以配置多个。用空格隔开。 在单个代理流程中,是通过channel连接sources和sinks。一个source实例对应多个channels,但一个sink实例只能对应一个channel。
Avro Source常用配置 参数 默认值 描述 channels - 与之相连的Channel,可以配置多个。用空格隔开。 在单个代理流程中,是通过channel连接sources和sinks。一个source实例对应多个channels,但一个sink实例只能对应一个channel。
设置任务的用户需要获取该任务的执行权限,并获取该任务对应的连接的使用权限。 操作步骤 是否第一次从Loader导出数据到关系型数据库? 是,执行2。 否,执行3。 修改关系型数据库对应的驱动jar包文件权限。 获取关系型数据库对应的驱动jar包保存在Loader服务主备节点的l
参数类型 描述 project_id 是 String 参数解释: 项目编号。获取方法,请参见获取项目ID。 约束限制: 不涉及 取值范围: 只能由英文字母和数字组成,且长度为[1-64]个字符。 默认取值: 不涉及 cluster_id 是 String 参数解释: 集群ID。
权限。 设置任务的用户需要获取该任务的执行权限,并获取该任务对应的连接的使用权限。 操作步骤 是否第一次从MRS导入数据到关系型数据库: 是,执行2。 否,执行3。 修改关系型数据库对应的驱动jar包文件权限。 登录Loader服务的主备管理节点,获取关系型数据库对应的驱动jar
登录FusionInsight Manager页面,单击“集群 > 待操作集群的名称 > 服务”,选择“HDFS”,单击进入HDFS服务状态页面。 由于webhdfs是http/https访问的,需要主NameNode的IP和http/https端口。 单击“实例”,进入HDFS实例界面,找到“NameNode(hacluster
登录FusionInsight Manager页面,单击“集群 > 待操作集群的名称 > 服务”,选择“HDFS”,单击进入HDFS服务状态页面。 由于webhdfs是http/https访问的,需要主NameNode的IP和http/https端口。 单击“实例”,进入HDFS实例界面,找到“NameNode(hacluster
权限。 设置任务的用户需要获取该任务的执行权限,并获取该任务对应的连接的使用权限。 操作步骤 是否第一次从MRS导入数据到关系型数据库? 是,执行2。 否,执行3。 修改关系型数据库对应的驱动jar包文件权限。 登录Loader服务的主备管理节点,获取关系型数据库对应的驱动jar
导致系统崩溃。 ERROR ERROR表示当前事件处理出现错误信息,系统运行出错。 WARN WARN表示当前事件处理存在异常信息,但认为是正常范围,不会导致系统出错。 INFO INFO记录系统及各事件正常运行状态信息。 DEBUG DEBUG记录系统及系统的调试信息。 日志格式