检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
TIMESTAMP类型,建议该字段带有索引。 id 分片字段是否允许空值 多并发抽取时,若确定分片字段不含Null,将该值设为“否”可提升性能,若不确定,请设为“是”,否则可能会丢数据。 是 父主题: 配置作业源端参数
} 选择“Main.java”,单击鼠标右键,选择“Run As > Java Application”,运行工程测试代码。 图13 运行工程测试代码 在“Console”页签,查看运行结果。 图14 调用成功后的返回信息 父主题: 使用APP认证调用API
是否使用数据库本地API加速。 创建MySQL连接时,使用本地API加速,可以使用MySQL的LOAD DATA功能加快数据导入,提高导入数据到MySQL数据库的性能。 说明: REPLACE 和 IGNORE 修饰符用于处理与现有行具有相同唯一键值(PRIMARY KEY或UNIQUE索引值)的新输入的行。
分片字段含有空值 “按表分区抽取”选择“否”时,显示该参数,是否允许分片字段包含空值。 多并发抽取时,若确定分片字段不含Null,将该值设为“否”可提升性能,若不确定,请设为“是”,否则可能会丢数据。 是 父主题: 配置作业源端参数
ion=测试 { "api_type" : "API_SPECIFIC_TYPE_SCRIPT", "publish_status" : "PUBLISHED", "create_user" : "admin", "description" : "测试" } 响应示例
分片字段是否允许空值 “按表分区抽取”选择“否”时,显示该参数,是否允许分片字段包含空值。 多并发抽取时,若确定分片字段不含Null,将该值设为“否”可提升性能,若不确定,请设为“是”,否则可能会丢数据。 是 父主题: 配置作业源端参数
默认选择SQL脚本中设置的数据库,支持修改。 运行程序参数 否 为本次执行的作业配置相关优化参数(例如线程、内存、CPU核数等),用于优化资源使用效率,提升作业的执行性能。 说明: 若集群为MRS 1.8.7版本或MRS 2.0.1之后版本,需要配置此参数。 表2 高级参数 参数 是否必选 说明 节点状态轮询时间(秒)
分片字段是否允许空值 “按表分区抽取”选择“否”时,显示该参数,是否允许分片字段包含空值。 多并发抽取时,若确定分片字段不含Null,将该值设为“否”可提升性能,若不确定,请设为“是”,否则可能会丢数据。 例如:是 是 父主题: 配置作业源端参数
对象存储迁移服务(Object Storage Migration Service,简称OMS)是一种线上数据迁移服务,帮助您将其他云服务商对象存储服务中的数据在线迁移至华为云的对象存储服务(Object Storage Service,OBS)中。简言之,入云迁移、对象存储迁移。更多详情请参见对象存储迁移服务。
业的调度次数之和计算的。其中数据开发作业的每天调度次数,是以节点(包含Dummy节点)为粒度进行度量的,另外补数据任务也会计入度量次数,但测试运行、失败重试不会计入。您可以在新版本模式的DataArts Studio实例卡片上通过“更多 > 配额使用量”查看该配额情况。 DataArts
整库同步支持的数据源类型 整库同步适用于将本地数据中心或在ECS上自建的数据库,同步到云上的数据库服务或大数据服务中,适用于数据库离线同步场景,不适用于在线实时同步。 支持整库同步的数据源(已支持的数据源即可作为源端,又可作为目的端组成不同链路)如下所示: 读取能力:DWS、RDS(MySQL)、RDS(PostgreSQL)
Nodejs示例代码 demo.html 浏览器示例代码 demo_require.html 浏览器示例代码(使用require加载) test.js 测试用例 js\hmac-sha256.js 依赖库 js\moment.min.js js\moment-timezone-with-data
业务ID参数获取说明 方法 说明 $job_id 数据开发作业id。获取该ID请参考查询作业详情。 $instance_id 作业实例id(单节点作业测试运行不生成实例id,不支持)。获取该ID请参考查询作业实例列表。 父主题: 数据开发
默认在DataArts Studio数据开发组件执行脚本、测试运行作业时,数据源(此处指MRS/DWS数据源)会使用数据连接上的账号进行认证鉴权。因此在数据开发时,权限管控依然无法生效。需要您启用细粒度认证,使得在数据开发执行脚本、测试运行作业时,使用当前用户身份认证鉴权,从而做到实现不
"fd_value" : "" }, { "fd_name" : "description", "fd_value" : "这是一个测试用例。" } ] } 响应示例 状态码: 200 Success { "data" : { "value" : {
默认在DataArts Studio数据开发组件执行脚本、测试运行作业时,数据源(此处指MRS/DWS数据源)会使用数据连接上的账号进行认证鉴权。因此在数据开发时,权限管控依然无法生效。需要您启用细粒度认证,使得在数据开发执行脚本、测试运行作业时,使用当前用户身份认证鉴权,从而做到实现不
该字段带有索引。 id 分片字段是否允许空值 是否允许分片字段包含空值。 多并发抽取时,若确定分片字段不含Null,将该值设为“否”可提升性能,若不确定,请设为“是”,否则可能会丢数据。 是 父主题: 配置作业源端参数
"level" : 1, "levelStr" : "1", "name" : "测试主题", "nameCh" : "测试主题", "nameEn" : "test_subject", "nameEng"
{ "id" : 0, "model_id" : "1255482244563357696", "name_ch" : "测试维度", "name_en" : "dim_test_dimension", "alias" : "", "owner" : "test_user"
用MySQL数据库的local_infile系统变量,开启MySQL的LOAD DATA功能加快数据导入,提高导入数据到MySQL数据库的性能。注意,开启本参数后,日期类型将不符合格式的会存储为0000-00-00,更多详细信息可在MySQL官网文档查看。 如果CDM自动启用失败