检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
createDirectStream代替原有API createStream进行应用程序开发。原有API仍然可以使用,但新的API性能和稳定性更好。 /** * 参数解析: * <checkPointDir>为checkPoint目录。 * <topics>为Kafka中订阅的主题,多以逗号分隔。 *
createDirectStream代替原有API createStream进行应用程序开发。原有API仍然可以使用,但新的API性能和稳定性更好。 /** * 参数解析: * <checkPointDir>为checkPoint目录。 * <topics>为Kafka中订阅的主题,多以逗号分隔。 *
配置 > 全部配置”搜索并查看“yarn.resourcemanager.webapp.https.port”参数值获取。 输入 无 输出 JSON Response: { "applicationlist": [ { "id": "1020201_0123_12",
https://<SS_REST_SERVER>/ws/v1/sscheduler/applications/list 输入 无 输出 JSON Response: { "applicationlist": [ { "id": "1020201_0123_12",
GET http://<SS_REST_SERVER>/ws/v1/sscheduler/applications/list 输入 无 输出 JSON Response: { "applicationlist": [ { "id": "1020201_0123_12",
createDirectStream代替原有API createStream进行应用程序开发。原有API仍然可以使用,但新的API性能和稳定性更好。 /** * 参数解析: * <checkPointDir>为checkPoint目录。 * <topics>为Kafka中订阅的主题,多以逗号分隔。 *
用以下场景: 源数据在Broker可以访问的存储系统中,如OBS。 数据量在几十到百GB级别。 支持导入CSV、Parquet、ORC、JSON格式的数据,默认支持导入CSV格式数据。 该章节操作适用于MRS 3.5.0及之后版本。 前提条件 已创建包含Doris服务的集群,集群内各服务运行正常。
s1.positionFile = /tmp/flumetest/201907/20190703/1/taildir_position.json client.sources.s1.channels = c1 必须保证“flume-env.sh”生效之后,再执行6配置“properties
properties --schemaFilePath /tmp/default/tb_test_mor/.hoodie/compact_tb_base.json 创建savepoint savepoint create --commit 20210318155750 回滚指定的savepoint
gaussdb-mysql:云数据库GaussDB(for MySQL) 默认取值: 不涉及 source_info 是 String 参数解释: 数据源信息,为json格式。 约束限制: 不涉及 取值范围: 不涉及 默认取值: 不涉及 响应参数 状态码: 200 表4 响应Body参数 参数 参数类型 描述
properties --schemaFilePath /tmp/default/tb_test_mor/.hoodie/compact_tb_base.json 创建savepoint savepoint create --commit 20210318155750 回滚指定的savepoint
本示例介绍设置“TASK”重试策略容错执行机制。 使用HetuEngine查询容错执行能力须知 容错不适用于已损坏的查询或其他用户错误场景。例如:不会花费资源重试由于无法解析SQL而失败的查询任务。 不同数据源对SQL语句的容错支持能力存在差异: 所有数据源都支持读操作的容错执行。 Hive数据源支持写操作的容错执行。
以使用,但新的API性能和稳定性更好。 该样例代码只存在于mrs-sample-project-1.6.0.zip中。 /** * 参数解析: * <checkPointDir>为checkPoint目录。 * <topics>为Kafka中订阅的主题,多以逗号分隔。 *
xml”,例如“sftp-to-hdfs.xml”。如果此场景的作业支持转换步骤,则存在同名的转换步骤配置文件,文件类型为json,例如“sftp-to-hdfs.json”。 作业模板中包含了连接器的配置信息。创建、更新连接器时,实际上仅调用到作业模板中的连接器的信息。 使用场景 不同的连接器或作业的配置项不同。
xml”,例如“sftp-to-hdfs.xml”。如果此场景的作业支持转换步骤,则存在同名的转换步骤配置文件,文件类型为json,例如“sftp-to-hdfs.json”。 作业模板中包含了连接器的配置信息。创建、更新连接器时,实际上仅调用到作业模板中的连接器的信息。 使用场景 不同的连接器或作业的配置项不同。
集群管理 集群生命周期管理 集群在线扩缩容 创建Task节点 自动弹性伸缩 节点隔离 升级Master节点规格 节点标签管理 父主题: 产品功能
“beforeStart”方法有以下作用: 帮助用户解析SQL语句中的UDF参数。 配置UDF运行时必要的信息,即指定UDF访问原始数据时采取的策略和输出结果序列的类型。 创建资源,比如建立外部链接,打开文件等。 UDFParameters UDFParameters的作用是解析SQL语句中的UDF参数(
convertToStringList(dataGen.generateInserts(10)) val df = spark.read.json(spark.sparkContext.parallelize(inserts, 2)) df.write.format("org.apache
ps.json”来配置资源组机制,资源组配置参数请参考表5,详细说明请参考配置HetuEngine资源组。 表5 资源组配置参数说明 参数 描述 取值样例 resourcegroups 集群的资源管理组配置,参数文件下拉列表要选择“resource-groups.json”。 {
'Kafka的Broker实例业务IP:Kafka端口号', 'properties.group.id' = 'test_group', 'format' = 'json' ); create TABLE datagen_source_table ( age int, name varchar(10)