检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
LOGGER.error(e.getMessage(), e); } // 用户业务需要对上传结果逐条进行判断,确认是否上传成功 if (putRecordsResult != null) { LOGGER.info("Put
参数为true/on,当数据导入时,若数据源文件中一行数据的最后一个字段缺失,则把最后一个字段的值设置为NULL,不报错。 参数为false/off,如果最后一个字段缺失会显示如下错误信息。 ignore_extra_data 数据源文件中的字段比外表定义列数多时,是否忽略多出的列。该参数只在数据导入过程中使用。
值。 配置好参数后,执行createstream_sample.py文件默认调用createStream_test方法,获取响应201创建成功。 父主题: 使用SDK(Python)
DWS或DLI资源。 使用账号首次进入界面添加转储任务时,系统会自动弹出创建委托界面。 单击 “同意授权”则平台会自动创建委托。 委托授权成功后,隶属于该账号下的IAM子用户也可添加转储任务。
DWS或DLI资源。 使用账号首次进入界面添加转储任务时,系统会自动弹出创建委托界面。 单击 “同意授权”则平台会自动创建委托。 委托授权成功后,隶属于该账号下的IAM子用户也可添加转储任务。 父主题: 入门
库。 验证Flink Streaming Source作业 实际场景中,Flink Streaming作业需要提交在Flink集群上运行,但本次验证只介绍在本地IDE上测试,目的是了解sdk基本使用方法。测试完成后用户可自行创建集(如MRS集群)并提交作业验证。 使用注册账户登录DIS控制台。
二为com.myhuaweicloud.cn-east-2.dis。然后选择专线所在的VPC和子网即可。 图1 购买终端节点 创建终端节点成功之后,会自动分配节点IP,使用此节点IP访问DIS服务即可。 图2 查看节点IP 父主题: 转储相关问题
总输入/输出记录数(个/秒) 用户指定时间范围内,指定通道的输入/输出记录数。单位:个/秒。 上传/下载请求成功次数(个/秒) 用户指定时间范围内,指定通道的上传/下载请求成功次数。单位:个/秒。 因流控拒绝的上传/下载请求次数(个/秒) 用户指定时间范围内,指定通道因流控拒绝的上传/下载请求次数。单位:个/秒。
as Project”,作为工程打开。 单击“New Window”,在新窗口打开此工程。 等待IntelliJ IDEA构建工程,完成之后会显示目录与文件 检查认证信息 检查AK/SK AK/SK (Access Key ID/Secret Access Key)是用户调用接口的访问密钥。
as Project”,作为工程打开。 单击“New Window”,在新窗口打开此工程。 等待IntelliJ IDEA构建工程,完成之后会显示目录与文件 检查认证信息 检查AK/SK AK/SK (Access Key ID/Secret Access Key)是用户调用接口的访问密钥。
配置好以上参数后,执行add_dump_task_sample.py文件默认调用add_dump_task_test方法,获取响应201创建成功。 父主题: 使用SDK(Python)
Application”运行程序,如图1所示。 图1 运行上传数据程序 数据上传过程中可在Console控制台查看数据上传通道量信息。出现类似信息表示数据上传成功。 14:40:20.090 [main] INFOcom.bigdata.dis.sdk.DISConfig - get from classLoader
支持 获取通道的分区信息,但PartitionInfo里面的leader, replicas, inSyncReplicas未实现。 Map<String, List<PartitionInfo>> listTopics() 接口 支持 获取所有的通道信息,但PartitionInfo里面的leader
支持 获取通道的分区信息,但PartitionInfo里面的leader, replicas, inSyncReplicas未实现。 Map<String, List<PartitionInfo>> listTopics() 接口 支持 获取所有的通道信息,但PartitionInfo里面的leader
Application”运行程序,如图1所示。 图1 运行上传数据程序 数据上传过程中可在Console控制台查看数据上传通道量信息。出现类似信息表示数据上传成功。 14:40:20.090 [main] INFOcom.bigdata.dis.sdk.DISConfig - get from classLoader
下载请求平均处理时间(毫秒) total_put_req_suc_per_stream:上传请求成功次数(个) total_get_req_suc_per_stream:下载请求成功次数(个) traffic_control_put:因流控拒绝的上传请求次数 (个) traffi
Agent程序的bin目录,例如“C:\dis-agent-X.X.X\bin”。 双击“start-dis-agent.bat”文件,在弹出的控制台窗口显示如下内容表示启动成功。 [INFO ] (main) com.bigdata.dis.agent.Agent Agent: Startup completed
而“sendingRecordSize”表示一个Rest请求的批量值(如250表示会发起四次请求)。当“batchSize”的数据全部发送成功之后,才会完成Flume的事务,否则事务不提交,重启时导致数据重传。当“sendingThreadSize”配置为“1”时,表示“send
设置的值大于当前分区数量表示扩容,小于当前分区数量表示缩容。 注意: 每个通道在一小时内扩容和缩容总次数最多5次,且一小时内扩容或缩容操作有一次成功则最近一小时内不允许再次进行扩容或缩容操作。 最小值:0 响应参数 无 请求示例 变更通道分区数量 PUT https://{Endpoi
reject_limit 否 String 指定本次数据导入允许出现的数据格式错误个数,当导入过程中出现的数据格式错误未达到限定值时,本次数据导入可以成功。 取值范围: 整型值 unlimited(无限制) 缺省值为0,有错误信息立即返回。 error_table_name 否 String