已找到以下 10000 条记录
  • Druid对接OBS

    将druid-hdfs-storage加入druid.extensions.loadList。 配置Deep storageOBS中的存储路径。 配置OBSA-HDFS插件。 执行以下命令,下载OBSA-HDFS插件

  • Flink 自定义作业如何配置checkpoint保存OBS

    sStateBackend("obs路径"), true); env.setStateBackend(rocksDbBackend);其中,obs路径为obs://ak:sk@obs服务的endpoint/桶名/桶目录,ak、sk是需要上传的OBS桶所在的账号的AK/SK信息。

    作者: 极客潇
    2009
    3
  • Spark对接OBS

    Spark对接OBS 概述 Apache Spark是专为大规模数据处理而设计的快速通用的计算引擎。 前提条件 已安装Hadoop,具体请参见Hadoop对接OBS。 注意事项 为了减少日志输出,在/opt/spark-2

  • Hive对接OBS

    xml文件,添加配置: 可选配置,当添加了上述配置后在创建H

  • OBS权限配置实践--子账户桶资源隔离

    直接创建子用户,不添加到任何用户组或者添加到不具有OBS访问权限的用户组中创建userB后可以看到该用户未配置相关用户组2.2 登陆控对象存储控制台,找到需要配置子账户访问的桶,在桶策略-高级配置中添加桶策略a.为userB配置特定桶的完全访问权限(至少需要配置列举权限)点击桶功能列表的“权限”

    作者: 云小白
    发表时间: 2018-08-21 11:53:54
    16273
    0
  • Flink对接OBS

    flink-obs-fs-hadoop目前仅支持OBS并行文件系统。 不推荐state状态数据存储在OBS上。 为了减少日志输出,在/opt/flink-1.12.1/conf/log4j.properties文件中增加配置:logger.obs.name=com

  • DataX对接OBS

    //github.com/alibaba/DataX/。OBS在大数据场景中可以替代Hadoop系统中的HDFS服务,本文介绍DataX如何对接OBS。 对接步骤 下载datax源码:下载地址。 修改编译datax。

  • CheckObsBuckets 检查已经配置OBS桶是否可以成功转储 - API

    该API属于CTS服务,描述: 检查已经配置OBS桶是否可以成功转储。接口URL: "/v3/{domain_id}/checkbucket"

  • OBS权限管理配置实践

    /SK+STStoken访问OBS为例进行说明。5.2       配置操作5.2.1      登陆统一身份认证服务控制台,创建委托选择委托类型为“云服务”,在云服务中选择“ECS BMS”,在权限选择中配置“全局服务-对象存储服务的策略为Tenant Administrator”5

    作者: 云小白
    15758
    1
  • 连接OBS

    连接OBS 介绍 前提条件 数据转储 父主题: 开发准备

  • obs存储服务密钥配置

    租户名 Hizrgj联系电话 15891449679   邮箱yili003@chinasofti.comobs存储服务没有密钥,请提供一个密钥给我们! 错误信息如下:Smart Office项目下getObjectProxy服务:入参:{ "sysParams":"meeting_objectStroge

    作者: yd_283377206
    66
    2
  • BatchDeleteFlinkJobs Deleting Flink Jobs in Batches - API

    该API属于DLI服务,描述: This API is used to delete jobs in any status in batches.接口URL: "/v1.0/{project_id}/streaming/jobs/delete"

  • OBSUtil工具 FAQ

    1. 如何检查 obsutil 配置是否准确,是否能正常访问 OBSobsutil 配置完成后,通过列举桶命令来验证配置及网络连通性,命令(Linux):./obsutil ls -s 根据命令回显结果,检查配置结果:· 如果返回结果中包含“Bucket number is:”,表明配置正确。·

    作者: 数据上云专家张涛
    发表时间: 2019-08-01 15:43:20
    11489
    0
  • ListFlinkJobs Querying Flink Jobs - API

    该API属于DLI服务,描述: This API is used to query the list of the current user's jobs. You can set the job ID as the ID and query jobs whose IDs are

  • 配置SQL ON OBS桶策略,实现DWS访问分离

    GaussDB(DWS) 提供SQL on OBS功能,满足用户对OBS桶中的数据进行查询。用户可以新建OBS桶,用于存储数据,然后通过OBS外表功能,将数据导入导出到OBS桶上。 在实际业务应用中,用户需要对OBS桶进行权限管控。当前的OBS桶的权限设计中,OBS桶可以基于IAM用户层级管控,

    作者: 谈笑鸿儒
    发表时间: 2021-03-04 11:45:15
    2247
    0
  • OBS权限配置实践--桶策略限定权限下的子用户临时AK/SK+Ststoken进行OBS访问

    直接创建子用户,不添加到任何用户组或者添加到不具有OBS访问权限的用户组中 2.2 给指定桶配置该子用户的桶策略以自定义模式给子用户配置桶策略。3 权限验证3.1 获取子用户的token以postman为例进行说明,采用post方法调用IAM的v3/auth/tokens接口,在header中配置Content-

    作者: 云小白
    发表时间: 2018-11-08 16:42:01
    11733
    0
  • OBS权限配置实践--给不同租户(账户)授权

    予上传对象权限,给C账户赋予下载对象权限。 2 配置操作2.1 获取租户的账户ID2.2 使用A账户登录console,为特定桶配置桶策略举例:为账户配置obs-ydy-des桶上传对象的权限。 为B账户配置写入权限,为C账户配置读取桶内资源的权限。 3 权限验证使三个账户的AK

    作者: 云小白
    发表时间: 2018-11-08 16:01:13
    14970
    0
  • PublishAssetFromObs 创建媒资:OBS转存方式 - API

    该API属于VOD服务,描述: 若您在使用点播服务前,已经在OBS桶中存储了音视频文件,您可以使用该接口将存储在OBS桶中的音视频文件转存到点播服务中,使用点播服务的音视频管理功能。调用该接口前,您需要调用[桶授权](https://support.huaweicloud.com

  • 配置跨域资源共享 - 对象存储服务 OBS

    单击“确定”,保存该规则。 CORS配置成功后,便仅允许跨域请求来源的地址通过允许的方法访问OBS的桶。例如:为桶“testbucket”允许的来源配置为“www.example.com”,允许的方法配置为“GET”,允许的头域和补充的头域置空,缓存时间设置为“100”,则OBS仅允许来源为“www

  • 配置Flink通过IAM委托访问OBS - MapReduce服务 MRS

    配置Flink通过IAM委托访问OBS 参考配置MRS集群通过IAM委托对接OBS完成存算分离集群配置后,即可在Flink客户端访问OBS并行文件系统并运行作业。 Flink对接OBS 使用安装客户端的用户登录Flink客户端安装节点。 执行如下命令初始化环境变量。 source