检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
定时间段(例如凌晨3点)进行批量分析,可能仅需要消耗2小时。 MRS提供的弹性伸缩能力,可以帮助用户在进行批量分析操作时,将分析节点扩容到指定规模,而计算完毕后,则自动释放计算节点,尽可能的降低使用成本。 平衡突发查询 大数据集群上,由于有大量的数据,企业会经常面临临时的分析任务
(OBS)”。 “操作”勾选所有“写”、“列表”和“只读”权限。 “所有资源”选择“特定资源”,并配置以下参数: “object”选择“通过资源路径指定”,并单击“添加资源路径”添加路径,此处以/tmp目录为例,如需其他目录权限请参考该步骤添加对应目录及该目录下所有对象的资源路径。 例如,
set (0.01 sec) 可手动取消Broker Load作业状态不为“CANCELLED”或“FINISHED”的导入任务,取消时需要指定待取消导入任务的Label ,命令为: CANCEL LOAD FROM 数据库名称 WHERE LABEL = "Label名称"; 例如:撤销数据库demo上,
dataorigin失败,报错显示权限不足。 执行select name from dataorigin成功,符合预设的权限。 如果用户在执行命令时指定了HDFS路径,需要给该用户添加HDFS路径的读、写、执行权限,详情请参考添加HDFS的Ranger访问权限策略。也可以不配置HDFS的R
submitTopology(builder, SubmitType.REMOTE); } 修改userJarFilePath为Linux环境指定路径“/opt/test/lib/example.jar”。 private static void remoteSubmit(TopologyBuilder
Flink使用IoTDBSource从 IoTDB server读取数据。 要使用IoTDBSource,您需要构造一个IoTDBSource的实例,通过指定的IoTDBSourceOptions并在IoTDBSource中实现抽象方法convert(),convert()定义了您希望如何转换行数据。
“备份策略”:表示任务每次启动时备份的数据量。支持“首次全量备份,后续增量备份”、“每次都全量备份”和“每n次进行一次全量备份”。选择“每n次进行一次全量备份”时,需要指定n的值。 选择备份源。 在“备份配置”,勾选元数据选项,例如“OMS”和“LdapServer”。 设置备份参数。 在“OMS”和“Lda
har特性优化 OBS包升级 JDK版本升级 MRS 1.9.0.6 修复问题列表: MRS Manager MRS Manager支持包周期集群指定节点缩容 MRS大数据组件 解决Hivese提交sql卡顿问题 支持jobhistory查询失败信息接口 解决细粒度权限不生效问题 解决hive
添加Oracle数据源 添加GBase数据源 使用跨源协同分析流程 参考快速使用HetuEngine访问Hive数据源登录HetuEngine客户端。 注册Hive、HBase、GaussDB A等数据源。 hetuengine> show catalogs; Catalog ----------
209715200(200MB/s);如果集群空闲,可以改为1073741824 (1GB/s)。 如果DataNode节点的带宽无法达到指定的最大带宽,可以在FusionInsight Manager修改HDFS的参数“dfs.datanode.balance.max.concurrent
209715200(200MB/s);如果集群空闲,可以改为1073741824 (1GB/s)。 如果DataNode节点的带宽无法达到指定的最大带宽,可以在FusionInsight Manager修改HDFS的参数“dfs.datanode.balance.max.concurrent
不涉及 min_capacity 是 Integer 参数解释: 指定该节点组的最小保留节点数。 约束限制: 不涉及 取值范围: 0-500 默认取值: 不涉及 max_capacity 是 Integer 参数解释: 指定该节点组的最大节点数。 约束限制: 不涉及 取值范围: 0-500
大写字母、小写字母、数字、特殊符号,选择“5”表示可使用全部。 MRS 2.x及之前版本:可选择数值为“3”和“4”。默认值“3”表示至少必须使用大写字母、小写字母、数字、特殊符号和空格中的任意3种。 密码连续错误次数 5 用户输入错误密码超过配置值后将锁定,取值范围为3~30。默认值为“5”。
同步的IAM用户,单击“同步”。 如需同步所有的用户,在“待同步”中勾选“全部同步”即可。 如只勾选“用户组”,该用户组下的用户不会同步,必须勾选“用户组”下对应的用户名称才能同步。 在“IAM用户同步”页面会显示所有的用户组,所有灰色不能选择的用户组和用户则不能进行IAM用户同步。
Spark-client模式任务Driver运行在客户端节点上(通常是集群外的某个节点),启动时先在集群中启动AppMaster进程,进程启动后要向Driver进程注册信息,注册成功后,任务才能继续。从AppMaster日志中可以看出,无法连接至Driver,所以任务失败。 解决办法 请检查Driver进程所在的IP是否可以ping通。
r节点。对集群进行缩容时,只需要在界面调整节点个数,MRS会自动选择缩容节点,完成缩容任务。 缩容集群 退订包周期集群指定节点 用户可以根据业务需求量,通过指定节点对集群进行缩容,以使MRS拥有更优的存储、计算能力,降低运维成本。 使用限制: 1. 当集群中分析Core节点个数小
asspath中。 由于Python样例代码中未给出认证信息,请在执行应用程序时通过配置项“--keytab”和“--principal”指定认证信息。 bin/spark-submit --master yarn --deploy-mode client --keytab /opt/FIclient/user
-DincludeScope=compile,导出kafka样例工程依赖的jar包,比如放到kafka-examples-lib目录。 在第一步指定的目录下生成一个Jar包和一个存放lib的文件夹。 将刚才生成的依赖库文件夹(此处为“kafka-examples-lib”)拷贝到MRS
$BIGDATA_CLIENT_HOME/bigdata_env 启用多实例功能后,为其他HBase服务实例进行应用程序开发时还需执行以下命令,切换指定服务实例的客户端。 例如HBase2:source /opt/client/HBase2/component_env。 将2中生成的Jar
数据比对任务不支持数据表字段名包含数据库关键字的表进行数据比对。 数据比对任务单表比较仅支持100个以内的字段进行比较, 如果单表的字段超过一百, 可以分两次指定不同的比较字段的白名单进行数据比对。 当前只支持对从PgSQL抓取到Hudi的数据进行比对,如果“比较结果”为“不一致”,不一致的数据需小