检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
py中Dump_switch方法参数值。 stream_type=“FILE” #文件类型通道 配置createstream_sample.py中Dump_switch_FILE方法参数值。 配置好参数后,执行createstream_sample.py文件默认调用createStream_test方法,获取响应201创建成功。
#APP名称(从该通道开始返回app列表,返回的app列表不包括此app名称。) 配置好以上参数,执行listApp_sample.py文件调用Applist_test方法。 响应结果如下: 1 2 200 {'has_more_app': False, 'apps': [{'app_id':
通过getCursor_test更改游标类型cursorType='AT_SEQUENCE_NUMBER' 配置好以上参数,执行getRecords_sample.py文件调用getRecords_test方法,响应结果如下。 1 2 200 {'next_partition_cursor': 'eyJnZX
打开pom.xml文件,选择<scope>provided</scope>这一行,并按Ctrl+/注释掉此行并保存。 右键单击pom.xml,选择“Maven > Reimport”,重新引入依赖包。 在DISFlinkStreamingSourceJavaExample文件内任意地方,右键选择“Create
add_dump_task(streamname, task_name,'OBS',obs_Schema) 配置好以上参数后,执行add_dump_task_sample.py文件默认调用add_dump_task_test方法,获取响应201创建成功。 父主题: 使用SDK(Python)
如何校验软件包完整性? 获取DIS SDK软件包及校验文件后,可以在Linux系统上按如下步骤对软件包的完整性进行校验。 前提条件 已获取“PuTTY”工具。 已获取“WinSCP”工具。 操作步骤 使用“WinSCP”工具将“huaweicloud-sdk-dis-x.x.x.zip”上传至Linux系统任一目录。
若使用JAVA SDK加密上传数据,读取数据也需要使用JAVA SDK配置相同的密钥。 使用配置文件初始化DIS SDK客户端实例。 在“dis-sdk-demo\src\main\resources”目录下的“dis.properties”文件中添加如下配置项。 ak/sk:用户在IAM中创建的AK/SK。
yy/MM/dd/HH/mm”格式生成分区字符串,用来定义写到OBS的Object文件所在的目录层次结构。 record_delimiter String 转储文件的记录分隔符,用于分隔写入转储文件的用户数据。 取值范围: 逗号 ",",默认值 分号 ";" 竖线 "|" 换行符
新增的DNS服务器地址必须位于所有原有的DNS服务器地址之前。 DNS配置操作在保存“/etc/resolv.conf”文件的修改操作后立即生效。 对“/etc/resolv.conf”文件的修改操作在弹性云服务器重启后会失效,需要重新进行配置。如果用户不希望每次重启弹性云服务器后都重新配置DN
无数据,则此时间段不会生成打包文件。 单位:秒 最小值:30 最大值:900 缺省值:300 consumer_strategy 否 String 偏移量。 LATEST:最大偏移量,即获取最新的数据。 TRIM_HORIZON:最小偏移量,即读取最早的数据。 缺省值:LATEST
)所在的记录开始读取数据。此类型为默认游标类型。- AFTER_SEQUENCE_NUMBER:从特定序列号(即starting-sequence-number定义的序列号)后的记录开始读取数据。- TRIM_HORIZON:从最早被存储至分区的有效记录开始读取。例如,某租户使用
无数据,则此时间段不会生成打包文件。 单位:秒 最小值:30 最大值:900 缺省值:300 consumer_strategy 否 String 偏移量。 LATEST:最大偏移量,即获取最新的数据。 TRIM_HORIZON:最小偏移量,即读取最早的数据。 缺省值:LATEST
无数据,则此时间段不会生成打包文件。 单位:秒 最小值:30 最大值:900 缺省值:300 consumer_strategy 否 String 偏移量。 LATEST:最大偏移量,即获取最新的数据。 TRIM_HORIZON:最小偏移量,即读取最早的数据。 缺省值:LATEST
转储相关问题 DIS如何实现转储数据至DWS的特定列 Schema如何支持字段缺省或者为NULL 如何专线接入DIS 读取通道数据时,如何区分不同类型数据?
新增访问密钥”,如图2所示。 图2 单击新增访问密钥 单击“确定”,根据浏览器提示,保存密钥文件。密钥文件会直接保存到浏览器默认的下载文件夹中。打开名称为“credentials.csv”的文件,即可查看访问密钥(Access Key Id和Secret Access Key)。 每个用户仅允许新增两个访问密钥。
对已有分区进行缩容操作后,缩容成功的分区不再进行计费也不参与配额控制。在步骤1:开通DIS通道中配置的“生命周期”时间内,缩容成功的分区可以读取数据不可写入数据,超过此时间则不可读取/写入数据。 执行自动扩缩容操作 使用注册账户登录DIS控制台。 单击管理控制台左上角的,选择区域和项目。 按照如下方法进行自动扩缩容。
查看Agent是否上传日志。 “agent.yml”中配置的监控目录下有匹配的文件,日志中会输出类似如下日志,表示解析了[N1行(B1字节数)/N2文件(B2字节数)],成功上传了[N3行/N4文件]。 Agent: Progress: [N1 records (B1 bytes)
段越长,序列号越大。 应用程序:一个DIS应用程序是读取和处理来自DIS数据通道的使用者。您可以使用客户端库(SDK)构建DIS应用程序。 客户端库:SDK是一个适用于Java的客户端库,帮助用户轻松构建DIS应用程序,用以读取和处理来自DIS数据通道的数据。 Project:用
y/MM/dd/HH/mm”格式生成分区字符串,用来定义写到OBS的Object文件所在的目录层次结构。 record_delimiter 否 String 转储文件的记录分隔符,用于分隔写入转储文件的用户数据。 取值范围: 逗号 ",",默认值 分号 ";" 竖线 "|" 换行符