检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
转储至MRS 操作前提 转储至MRS时,不支持MRS集群3.x及以上版本,且MRS集群不能开启Kerberos认证。 源数据类型JSON/BLOB/CSV==>转储文件格式Text 表1 转储Text格式文件的配置参数 参数 说明 取值 任务名称 用户创建转储任务时,需要指定转储
变更分区数量 参见初始化DIS客户端的操作初始化一个DIS客户端实例。 配置参数如下: 1 2 streamname = "" #已存在的running状态通道名 target_partition_count =”3” #变更后的数量值 配置好以上参数,执行change
删除通道 参见初始化DIS客户端的操作初始化一个DIS客户端实例。 配置参数如下: 1 streamname = "" #已存在的通道名称 配置好以上参数后,执行deleteStream_sample.py文件默认调用deleteStream_test方法,获取响应204删除成功。
查询APP详情 参见初始化DIS客户端的操作初始化一个DIS客户端实例。 配置参数如下: 1 appname=”app1” #查询的APP名称 配置好以上参数,执行describeApp_sample.py文件调用describeApp_test方法。 响应结果如下:
删除APP 参见初始化DIS客户端的操作初始化一个DIS客户端实例。 配置参数如下: 1 appName = "" #待删除的APP名称 配置好以上参数,执行deleteApp_sample.py文件调用deleteApp_test方法,响应204表示删除成功。 父主题:
创建APP 参见初始化DIS客户端的操作初始化一个DIS客户端实例。 配置参数如下: 1 appName = "" #创建的APP名称 配置好以上参数,执行createApp_sample.py文件调用createApp_test方法,响应201表示创建成功。 父主题: 使用SDK(Python)
删除转储任务 参见初始化DIS客户端的操作初始化一个DIS客户端实例。 配置参数如下: 1 2 streamname = "" #已存在的通道名称 task_name="xx" task_name配置为特定的转储任务名称,则删除通道下的该转储任务。 配置好以上参数后,执行del
创建通道 参见初始化DIS客户端的操作初始化一个DIS客户端实例。 根据stream_type选取方法,参照创建通道配置方法中的参数值。 stream_type=“” #无转储通道 配置createstream_sample.py中Dump_switch方法参数值。 stream_type=“FILE”
查询Checkpoint 参见初始化DIS客户端的操作初始化一个DIS客户端实例。 配置参数如下: 1 2 3 streamname = "" #通道名称 appName="xx" # APP名称(APP是已存在状态) partitionId="shardId-0000000000"
单击“搜索”。 系统根据标签键或标签值搜索目标通道。 图2 搜索目标通道 管理标签 在现有通道的标签页,执行标签的增、删、改、查操作。 登录管理控制台。 选择“EI企业智能 > 数据接入服务”。 在现有通道列表中,单击待管理标签的通道名称。 系统跳转至该通道详情页面。 选择“标签”页签,对通道的标签执行增、删、改、查。
查询通道详情 参见初始化DIS客户端的操作初始化一个DIS客户端实例。 配置参数如下: 1 streamname="dis-test1" #已存在的通道名 配置好以上参数后,执行describeStream_sample.py文件默认调用describeStream_test方法。
新增Checkpoint 参见初始化DIS客户端的操作初始化一个DIS客户端实例。 配置参数如下: 1 2 3 4 5 streamname = "" #通道名称 appName="xx" # APP名称(APP是已存在状态) partitionId="shardId-0000000000"
存储该通道数据的DWS数据库的密码。 kms_user_key_name String 用户在密钥管理服务(简称KMS)创建的用户主密钥名称,用于加密存储DWS数据库的密码。 kms_user_key_id String 用户在密钥管理服务(简称KMS)创建的用户主密钥ID,用于加密存储DWS数据库的密码。
请参见开通DIS通道创建通道。 添加转储任务 使用注册账户登录DIS控制台。 在左侧列表栏中选择“通道管理”。 单击申请DIS通道中创建的通道名称,进入所选通道的管理页面,选择“转储管理”页签。 单击“添加转储任务”按钮,在弹出的“添加转储任务”页面配置转储相关配置项。 每个通道最多可创建5个转储任务。
Protobuf格式上传流式数据 参见初始化DIS客户端的操作初始化一个DIS客户端实例。 初始化DIS客户端,加入一项参数bodySerializeType,如下所示: cli = disclient(endpoint='', ak=os.environ.get("HUAWEICLOUD_SDK_AK")
添加转储任务 参见初始化DIS客户端的操作初始化一个DIS客户端实例。 参照添加转储任务配置方法中的参数值。 配置如下参数: streamname='dis—test1' #已存在的通道名 task_name='113' 以添加OBS转储服务为例:value参数值设定与key对应
查询转储详情 参见初始化DIS客户端的操作初始化一个DIS客户端实例。 配置参数如下: 1 2 streamname="dis-test1"#已存在的通道名 task_name="test_1" #查询该通道下的xx转储任务 配置好以上参数后,执行describe_dump_task_sample
"retry_duration" : 1800 } } 响应示例 无 状态码 状态码 描述 201 正常返回 错误码 请参见错误码。 父主题: 转储任务管理
withEndpoint("xxxx") // 认证用的ak和sk硬编码到代码中或者明文存储都有很大的安全风险,建议在配置文件或者环境变量中密文存放,使用时解密,确保安全; // 本示例以ak和sk保存在环境变量中来实现身份验证为例,运行