检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
port - 绑定端口。 handler org.apache.flume.source.http.JSONHandler http请求的消息解析方式,支持以下两种: “org.apache.flume.source.http.JSONHandler”:表示Json格式解析。 “org.apache
约束限制: 不涉及 取值范围: node_name:节点名称。 默认取值: 不涉及 sort_dir 否 String 参数解释: 列表排序方式,desc为降序,asc为升序。 约束限制: 不涉及 取值范围: desc:降序排列 asc:升序排列 默认取值: 不涉及 query_node_detail
配置环境变量: cd /opt/client source bigdata_env 运行此样例代码需要设置运行用户,设置运行用户有两种方式,添加环境变量HADOOP_USER_NAME或者修改代码设置运行用户。若在没有修改代码的场景下,执行以下语句添加环境变量: export
在本地Windows中调测HDFS程序 (可选)在开发环境中(例如IntelliJ IDEA中),运行此样例代码需要设置运行用户,设置运行用户有两种方式,添加环境变量HADOOP_USER_NAME或者修改代码。设置环境变量方法具体如下: 选中需要运行的样例程序HdfsExample.ja
配置参数 开源默认端口 定制默认端口 端口说明 HTTP_PORT 8888 21200 Hue提供HTTPS服务端口。 该端口用于:HTTPS方式提供Web服务,支持修改。 安装时是否缺省启用:是 安全加固后是否启用:是 Kafka常用端口 表中涉及端口的协议类型均为:TCP。 配置参数
map<[same as value], bigint> 描述:近似统计出前buckets个最频繁出现的元素。函数统计高频值时,采用近似估算的方式使用的内存更少。capacity值越大,结果越精确,但消耗的内存也更多。该函数的返回结果是一个map,map的键值对为高频值及对应的频次。
参数解释: 密钥对名称。用户可以使用密钥对方式登录集群节点。 约束限制: 不涉及 取值范围: 不涉及 默认取值: 不涉及 enterprise_project_id 否 String 参数解释: 企业项目ID。创建集群时,给集群绑定企业项目ID。获取方式请参见《企业管理API参考》的“查
dows)。 支持三种时间ProcessingTime、EventTime和IngestionTime。 支持两种EventTime时间戳方式:AssignerWithPeriodicWatermarks和AssignerWithPunctuatedWatermarks。 窗口生成类API如表11所示。
dows)。 支持三种时间ProcessingTime、EventTime和IngestionTime。 支持两种EventTime时间戳方式:AssignerWithPeriodicWatermarks和AssignerWithPunctuatedWatermarks。 窗口生成类API如表11所示。
dows)。 支持三种时间ProcessingTime、EventTime和IngestionTime。 支持两种EventTime时间戳方式:AssignerWithPeriodicWatermarks和AssignerWithPunctuatedWatermarks。 窗口生成类API如表11所示。
apreduce/jar?user.name=user1" mapreduce/streaming(POST) 描述 以Streaming方式提交MR任务 URL http://www.myserver.com/templeton/v1/mapreduce/streaming 参数
dows)。 支持三种时间ProcessingTime、EventTime和IngestionTime。 支持两种EventTime时间戳方式:AssignerWithPeriodicWatermarks和AssignerWithPunctuatedWatermarks。 窗口生成类API如表11所示。
eper路径和副本,根据修改后的元数据信息在目标集群新建表即可。 非复制表和物化视图迁移: 针对非复制表和物化视图采用调用remote函数方式进行数据迁移。 上述迁移的操作步骤通过迁移工具脚本做了封装处理,只需修改相关配置文件执行迁移脚本即可完成一键式迁移操作,具体可以参考操作步骤说明。
MRS集群默认只支持HTTPS服务访问,若使用HTTPS服务访问,执行3;若使用HTTP服务访问,执行4。 与HTTP服务访问相比,以HTTPS方式访问HDFS时,由于使用了SSL安全加密,需要确保Curl命令所支持的SSL协议在集群中已添加支持。若不支持,可对应修改集群中SSL协议。
apreduce/jar?user.name=user1" mapreduce/streaming(POST) 描述 以Streaming方式提交MR任务 URL http://www.myserver.com/templeton/v1/mapreduce/streaming 参数
${mrs_scale_node_ips}:扩缩容的节点IP ${mrs_scale_rule_name}:触发扩缩容的规则名 其他用户自定义参数使用方式与普通shell脚本相同,多个参数中间用空格隔开。 约束限制: 不涉及 取值范围: 不涉及 默认取值: 不涉及 nodes 是 Array
MRS集群默认只支持HTTPS服务访问,若使用HTTPS服务访问,执行3;若使用HTTP服务访问,执行4。 与HTTP服务访问相比,以HTTPS方式访问HDFS时,由于使用了SSL安全加密,需要确保Curl命令所支持的SSL协议在集群中已添加支持。若不支持,可对应修改集群中SSL协议。
MRS集群默认只支持HTTPS服务访问,若使用HTTPS服务访问,执行3;若使用HTTP服务访问(仅安全集群支持),执行4。 与HTTP服务访问相比,以HTTPS方式访问HDFS时,由于使用了SSL安全加密,需要确保Curl命令所支持的SSL协议在集群中已添加支持。若不支持,可对应修改集群中SSL协议。
container的内存,虚拟内核,端口等。 Pipeline: 为适应某些场景对降低时延的需求,设计多个Job间采用Netty直接相连的方式传递数据,即分别使用NettySink用于Server端、NettySource用于Client端进行数据传输。配置项包括NettySin
container的内存,虚拟内核,端口等。 Pipeline: 为适应某些场景对降低时延的需求,设计多个Job间采用Netty直接相连的方式传递数据,即分别使用NettySink用于Server端、NettySource用于Client端进行数据传输。配置项包括NettySin