检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
schedule.properties配置参数说明 配置参数 说明 示例 server.url Loader服务的浮动IP地址和端口。端口默认为21351。 为了兼容性,此处支持配置多个IP地址和端口,并以“,”进行分隔。其中第一个必须是Loader服务的浮动IP地址和端口,其余的可根据业务需求配置。
conf”配置文件中将配置项“spark.yarn.security.credentials.hbase.enabled”设置为“true”(该参数值默认为“false”,改为“true”后对已有业务没有影响。如果要卸载HBase服务,卸载前请将此参数值改回“false”),将配置项“spark
conf”配置文件中将配置项“spark.yarn.security.credentials.hbase.enabled”设置为“true”(该参数值默认为“false”,改为“true”后对已有业务没有影响。如果要卸载HBase服务,卸载前请将此参数值改回“false”),将配置项“spark
在omm用户下,执行ulimit -u,获取omm用户可以同时打开的进程最大数。 结果相除,获取到对应的omm用户进程使用率。进程使用率默认提供一个阈值范围。当检测到进程使用率超出阈值范围时产生该告警。 平滑次数为3,进程使用率小于或等于阈值时,告警恢复;如果当前平滑次数大于1
Partition Type - Hudi表属性配置-Custom Config - (可选)单击“+”按钮展开更多选项,选择已创建的ENV,默认为“defaultEnv”。 单击“确定”,完成Hudi作业参数配置。 作业参数配置完成后,拖拽图标将作业进行关联,然后单击“保存”,作业配置完成。
数据迁移 数据迁移方案介绍 数据迁移到MRS前信息收集 数据迁移到MRS前网络准备 使用CDM服务迁移Hadoop数据至MRS集群 使用CDM服务迁移HBase数据至MRS集群 使用CDM服务迁移Hive数据至MRS集群 使用BulkLoad工具向HBase中批量导入数据 使用CDM服务迁移MySQL数据至MRS
执行ping命令,查看HSBroker所在主机与ZooKeeper、HDFS、Yarn、DBService、Hive服务所在主机的网络连接是否正常。 是,执行30。 否,执行28。 联系网络管理员恢复网络。 在告警列表中,查看“ALM-45000 HetuEngine服务不可用”告警是否清除。 是,处理完毕。
ample”样例工程的“com.huawei.bigdata.hbase.examples”包的“TestMain”类中。 private static void init() throws IOException { // Default load from
ample”样例工程的“com.huawei.bigdata.hbase.examples”包的“TestMain”类中。 private static void init() throws IOException { // Default load from
> global”,勾选命名空间“default”的“创建”,单击“确定”保存。 本例中建表是保存在Hive的“default”数据库中,默认具有“default”数据库的“建表”权限。如果Hive的数据库不是“default”,则还需要执行以下步骤: 在“配置资源权限”的表格中选择“待操作集群的名称
conf”配置文件中将配置项“spark.yarn.security.credentials.hbase.enabled”设置为“true”(该参数值默认为“false”,改为“true”后对已有业务没有影响。如果要卸载HBase服务,卸载前请将此参数值改回“false”),将配置项“spark
Partition Type - Hudi表属性配置-Custom Config - (可选)单击“+”按钮展开更多选项,选择已创建的ENV,默认为“defaultEnv”。 单击“确定”,完成Hudi作业参数配置。 作业参数配置完成后,拖拽图标将作业进行关联,然后单击“保存”,作业配置完成。
Partition Type - Hudi表属性配置-Custom Config - (可选)单击“+”按钮展开更多选项,选择已创建的ENV,默认为“defaultEnv”。 单击“确定”,完成Hudi作业参数配置。 作业参数配置完成后,拖拽图标将作业进行关联,然后单击“保存”,作业配置完成。
> global”,勾选命名空间“default”的“创建”,单击“确定”保存。 本例中建表是保存在Hive的“default”数据库中,默认具有“default”数据库的“建表”权限。如果Hive的数据库不是“default”,则还需要执行以下步骤: 在“配置资源权限”的表格中选择“待操作集群的名称
rpc-address.haclusterX1”,值为“目标集群的NameNode实例备节点的业务IP:RPC端口”,NameNode RPC端口默认为“25000”。保存配置后需滚动重启Hive服务。 操作步骤 以Hive客户端安装用户登录源端集群安装客户端的节点。 执行以下命令,切换
中添加的用户本地IP是否发生变化。 检查浏览器:检查本地浏览器是否正常,例如是否配置了内部网络代理、是否添加了会拦截用户Token的安全设置。 检查Manager:EIP、安全组等相关网络配置正常的情况下,检查Manager是否运行正常。 检查用户密码:登录Manager使用的用户密码错误或失效。
{ private static final String WORD_SPOUT = "WORD_SPOUT"; private static final String COUNT_BOLT = "COUNT_BOLT"; private static final
如果程序运行在Linux上,则需要core-site.xml、hdfs-site.xml的路径修改为在Linux下客户端文件的绝对路径 * * */ private static void confLoad() throws IOException { conf = new Configuration();
createDataFrame(stringJavaRdd, schema); return dataFrame; } private void builFields(List<StructField> fields) { fields.add(DataTypes
te.xml、hdfs-site.xml的路径修改 * 为在Linux下客户端文件的绝对路径 * * */ private static void confLoad() throws IOException { conf = new Configuration();