检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
master需求。 capability object Capability对象。 vcores, memory, .. int 数值可消耗资源属性,给该命令定义分配“单元”。 count int 单元所需的数量。 relaxlocality boolean 本地化需求优先,如果不能满足则不强制满足。
WebUI界面。 在首页中单击“YARN”区域的组件插件名称如“Yarn”。 单击“Add New Policy”,添加Yarn权限控制策略。 根据业务需求配置相关参数。 表1 Yarn权限参数 参数名称 描述 Policy Name 策略名称,可自定义,不能与本服务内其他策略名称重复。 Policy
WebUI界面。 在首页中单击“YARN”区域的组件插件名称如“Yarn”。 单击“Add New Policy”,添加Yarn权限控制策略。 根据业务需求配置相关参数。 表1 Yarn权限参数 参数名称 描述 Policy Name 策略名称,可自定义,不能与本服务内其他策略名称重复。 Policy
单击“作业管理”进入作业管理页面。 找到待调优的并处于非运行中的作业,在“操作”列单击“开发”进入作业开发界面。 在作业开发界面的“自定义参数”项中,根据实际需求添加如下参数并保存,热数据(常用及使用中数据)可参考表1,冷数据(不常用、较长时间未使用的数据)可参考表2。 表1 RocksDB状态后端存储
步骤2:创建CDM集群并绑定EIP 步骤3:创建MySQL连接 步骤4:创建Hive连接 步骤5:创建迁移作业 方案架构 CDM围绕大数据迁移上云和智能数据湖解决方案,提供了简单易用的迁移能力和多种数据源到数据湖的集成能力,降低了客户数据源迁移和集成的复杂性,有效的提高您数据迁移和集成的效率。
创建一张表或Scan时设定blockcache为true HBase客户端建表和scan时,设置blockcache=true。需要根据具体的应用需求来设定它的值,这取决于有些数据是否会被反复的查询到,如果存在较多的重复记录,将这个值设置为true可以提升效率,否则,建议关闭。 建议按默
执行以下命令登录客户端 ./start-cli.sh -h IoTDBServer实例节点ip -p IoTDBServer RPC端口 运行该命令后,根据实际需求指定业务用户名: 指定业务用户名,则输入“yes”,并根据提示输入业务用户名和对应的业务用户密码: 不指定业务用户名,则输入“no”;此时,则使用5中的用户执行后续操作:
Transaction-JavaExample”文件夹中的“pom.xml”文件,单击“OK”。 确认后续配置,单击“Next”;如无特殊需求,使用默认值即可。 选择推荐的JDK版本,单击“Finish”完成导入。 工程导入完成后,修改样例工程的“conf”目录下的“clickhouse-example
Transaction-JavaExample”文件夹中的“pom.xml”文件,单击“OK”。 确认后续配置,单击“Next”,如无特殊需求,相关配置使用默认值即可。 选择推荐的JDK版本,单击“Finish”完成样例工程导入。 工程导入完成后,修改样例工程的“conf”目录下
为了兼容性,此处支持配置多个IP地址和端口,并以“,”进行分隔。其中第一个必须是Loader服务的浮动IP地址和端口,其余的可根据业务需求配置。 10.96.26.111:21351,127.0.0.2:21351 authentication.type 登录认证的方式。 “
登录FusionInsight Manager,选择“集群 > 待操作集群的名称 > 服务 > DBService > 配置 > 全部配置”,根据实际业务需求,将数据库连接数的最大值适当增加,如图2所示。修改后单击“保存”,在弹出的“保存配置”页面中单击“确定”。 图2 设置数据库连接数最大值
为了兼容性,此处支持配置多个IP地址和端口,并以“,”进行分隔。其中第一个必须是Loader服务的浮动IP地址和端口(21351),其余的可根据业务需求配置。 10.0.0.1:21351,10.0.0.2:12000 authentication.type 登录认证的方式。 “kerbe
对于分析的结果,可以写回成TsFile文件。 IoTDB和TsFile还提供了相应的客户端工具,满足用户以SQL形式、脚本形式和图形形式写入和查看数据的各种需求。 操作流程 步骤1:创建MRS集群:创建一个包含有IoTDB组件的MRS集群。 步骤2:创建IoTDB用户:在Manager页面创建具有操作IoTDB表的权限的用户。
SPARK_HOME/jars”路径。 用户需要将SparkLauncher类的运行依赖包和应用程序运行依赖包上传至客户端的jars路径。文档中提供的示例代码,其运行依赖包在客户端jars中已存在。 Spark Launcher的方式依赖Spark客户端,即运行程序的节点必须已安
段的细节,以及提供日志显示,帮助用户更细粒度地去开发、配置和调优作业。 Keytab文件 存放用户信息的密钥文件。应用程序采用此密钥文件在产品中进行API方式认证。 归档 用来保证所有映射的键值对中的每一个共享相同的键组。 混洗 从Map任务输出的数据到Reduce任务的输入数据的过程称为Shuffle。
SPARK_HOME/jars”路径。 用户需要将SparkLauncher类的运行依赖包和应用程序运行依赖包上传至客户端的jars路径。文档中提供的示例代码,其运行依赖包在客户端jars中已存在。 Spark Launcher的方式依赖Spark客户端,即运行程序的节点必须已安
为了兼容性,此处支持配置多个IP地址和端口,并以“,”进行分隔。其中第一个必须是Loader服务的浮动IP地址和端口,其余的可根据业务需求配置。 10.96.26.111:21351,127.0.0.2:21351 authentication.type 登录认证的方式。 “
“retry-policy”设置为“TASK”时可配置该参数,不配置默认为5GB。节点会根据可用内存和估计的内存使用情况分配任务。 用于初始任务分配节点时的内存需求估计。值越大表明每个TASK预估使用的内存更大,但会导致集群并发能力变小,可根据实际业务情况动态调整。 添加完成后将“立即启动”置为“是”,单击“确定”。
再创建集群,集群购买成功后不支持修改Kerberos认证模式。 如果您对价格有疑问,可以单击页面左下角“了解计费详情”,根据计费详情来了解产品价格。 单击“返回集群列表”,可以查看到集群创建的状态。 集群创建需要时间,所创集群的初始状态为“启动中”,创建成功后状态更新为“运行中”,请您耐心等待。
SPARK_HOME/jars”路径。 用户需要将SparkLauncher类的运行依赖包和应用程序运行依赖包上传至客户端的jars路径。文档中提供的示例代码,其运行依赖包在客户端jars中已存在。 Spark Launcher的方式依赖Spark客户端,即运行程序的节点必须已安