检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
描述 URI-scheme 表示用于传输请求的协议,当前所有API均采用HTTPS协议。 Endpoint 指定承载REST服务端点的服务器域名或IP,不同服务不同区域的Endpoint不同,您可以从终端节点及区域说明中获取。 例如IAM服务在“华北-北京四”区域的Endpoint为“iam
根据企业的业务组织,在您的华为云账号中,给企业中不同职能部门的员工创建IAM用户,让员工拥有唯一安全凭证,并使用DIS资源。 根据企业用户的职能,设置不同的访问权限,以达到用户之间的权限隔离。 将DIS资源委托给更专业、高效的其他华为云账号或者云服务,这些账号或者云服务可以根据权限进行代运维。
DIS有哪些功能 DIS对数据传输所需要的基础设置、存储、网络和配置进行管理。您无需为数据通道担心配置、部署、持续的硬件维护等。此外,DIS还可在云区域同步复制数据,为您提供数据高可用性和数据持久性。 主要模块 DIS分为4个功能模块,各模块功能如下: 服务控制面 完成服务的开通
包含手动缩容和自动缩容)操作。 进行弹性伸缩分区后,有如下注意事项: 上传数据时,不建议设置数据的PartitionKey,DIS会自动根据通道分区的数量将数据均匀散列到多个分片中。如果设置数据的PartitionKey,可能会导致数据倾斜,产生通道限流。 下载数据时,需要定期的
partition, long offset) 接口 支持 给分区设置指定的offset void seekToBeginning(Collection<TopicPartition> partitions) 接口 支持 分区的offset设置为最旧的值 void seekToEnd(Colle
partition, long offset) 接口 支持 给分区设置指定的offset void seekToBeginning(Collection<TopicPartition> partitions) 接口 支持 分区的offset设置为最旧的值 void seekToEnd(Colle
提交相关参数设置如下: props.setProperty("enable.auto.commit", "true");// 显示设置偏移量自动提交 props.setProperty("auto.commit.interval.ms", "5000");// 设置偏移量提交时间间隔
Editor > File Encodings”, 设置pycharm编码。 Global Encoding、Project Encoding和Default encoding for properties files分别设置为UTF-8。 父主题: 使用SDK(Python)
提交相关参数设置如下: props.setProperty("enable.auto.commit", "true");// 显示设置偏移量自动提交 props.setProperty("auto.commit.interval.ms", "5000");// 设置偏移量提交时间间隔
单击“源数据类型”后的,从下拉框中选择对应的源数据类型,可修改创建通道时已设置的源数据类型。或者选择待修改源数据类型通道对应的操作列,选择“更多 > 变更源数据类型”,弹出变更源数据类型对话框,修改创建通道时已设置的源数据类型。 “源数据类型”为“BLOB”、“JSON”、“CSV”的通道,当该通道无转储任务
使用CES监控DIS 支持的监控指标 设置告警规则 查看监控指标
数据接入服务通道正常运行。 已删除的通道,云监控将默认该通道不存在,并在监控列表中删除,不再对其进行监控,但告警规则需要用户手动清理。 已在云监控页面设置告警规则,具体操作请参见设置告警规则。 操作步骤 使用注册账户登录DIS控制台。 单击管理控制台左上角的,选择区域和项目。 在左侧列表栏中选择“通道管理”。
查询通道列表 参见初始化DIS客户端的操作初始化一个DIS客户端实例。 配置参数如下: 1 start_stream_name = "" #可设置为空,或是已存在的通道名 执行listStream_sample.py文件默认调用listStream_test方法,获取响应200查询成功。
GetCheckpointRequest getCheckpointRequest = new GetCheckpointRequest(); // 设置App名称(注: 1.3.0及以前版本使用setAppId,1.3.1及后续版本请使用setAppName getCheckpointRequest
使用时解密,确保安全; // 本示例以ak和sk保存在环境变量中来实现身份验证为例,运行本示例前请先在本地环境中设置环境变量HUAWEICLOUD_SDK_AK和HUAWEICLOUD_SDK_SK。 ak=os.environ.
取值范围:true/on,false/off。缺省值为false/off。 参数为true/on,当数据导入时,若数据源文件中一行数据的最后一个字段缺失,则把最后一个字段的值设置为NULL,不报错。 参数为false/off,如果最后一个字段缺失会显示如下错误信息。 ignore_extra_data 数据源文件中
partitionId="shardId-0000000000" streamname=”dis-test1“ #已存在的通道名 5种游标设置使用参考如下: # startSeq与AT_SEQUENCE_NUMBER/AFTER_SEQUENCE_NUMBER搭配使用 r = cli
境变量中密文存放,使用时解密,确保安全; // 本示例以ak和sk保存在环境变量中来实现身份验证为例,运行本示例前请先在本地环境中设置环境变量HUAWEICLOUD_SDK_AK和HUAWEICLOUD_SDK_SK。 .withAk(System.getenv(
rtingOffsets;另外一个参数enable.auto.commit,设置为true会自动每隔5000ms(可通过设置auto.commit.interval.ms修改)提交一次offset,设置为false则不自动提交,用户可以手动调用commitAsync提交,参见示例代码中如下部分
DIS部署时通过物理区域划分,为项目级服务,需要在各区域(如华北-北京1)对应的项目(cn-north-1)中设置相关权限,并且该权限仅对此项目生效,如果需要所有区域都生效,则需要在所有项目都设置权限。访问DIS时,需要先切换至授权区域。 角色:IAM最初提供的一种根据用户的工作职能定义权限的