中文
注册
我要评分
文档获取效率
文档正确性
内容完整性
文档易理解
在线提单
论坛求助

Hyper IO库配置项参考

通过配置“/opt/IO_Middleware/IO_Middleware_2.4.2_aarch64/conf/xxx.json”文件,可为Hyper IO库设定打印日志模块、数据压缩等级、数据压缩方法及中间件加速策略等选项。其中,“/opt/IO_Middleware/”Hyper IO库安装包路径,“/xxx.json”Hyper IO库安装包中为各个应用提供的样例配置文件。配置项说明如表1•(可选)如果需要使用文件聚合功能,需要配置数据...•(可选)如果需要设置单个文件内容可乱序输出,需...所示。

表1 数据集整体信息(DATASET)

名称

描述

类型

缺省值

数据集整体通用信息(GENERAL)

LOG_FLOW

打印FlOW模块日志。

String

  • ON:开启
  • OFF:关闭

OFF

LOG_PROCESSOR

打印PROCESSOR模块日志。

String

  • ON:开启
  • OFF:关闭

OFF

LOG_BRIDGE

打印BRIDGE模块日志。

String

  • ON:开启
  • OFF:关闭

OFF

LOG_INTERCEPTOR

打印所有INTERCEPTOR模块日志。

String

  • ON:开启
  • OFF:关闭

OFF

LOG_CONFIG

打印CONFIG模块日志。

String

  • ON:开启
  • OFF:关闭

OFF

TRANSCACHESIZE

数据总量达到Cache聚合成一次写。取值范围为[0,128],单位MB,缺省值为0,表示不聚合。

Integer

0

COMPRESSMETHOD

数据压缩方法。

取值范围为[1,2],缺省值为1。

Integer

  • 1:表示压缩算法为LZ4
  • 2:表示压缩算法为Bzip2

1

COMPRESSLEVEL

数据压缩级别。

取值范围为[0,5],缺省值为0,表示不压缩。

数据压缩级别越高,数据压缩比越高。

Integer

0

WITHOUTGROUP

不配置group信息接入Hyper IO库

String

  • ON:开启
  • OFF:关闭

OFF

数据集访问模式信息(DATA_ACCESS_PATTERN)

FIXED

应用中所有Entity的写操作在每个step间是否保持不变。

Boolean

  • false
  • true

false

RANDOM

应对粒子型应用中不要求保证粒子顺序的场景。

Boolean

  • false
  • true

false

WRITE_AGGREGATE_STEPS

元数据多少个step聚合成一次写,避免IO出现频率高且数据量小的情况。

取值范围为[1,64]。

Integer

1

WRITE_AGGREGATE_RANKS

元数据多少个rank聚合成一个写。

取值范围为[1,64]。

Integer

1

  • (可选)如果需要使用文件聚合功能,需要配置数据集整体组信息。
    表2 数据集整体组信息(GROUPS)

    名称

    描述

    类型

    缺省值

    GROUPNAME

    必填。聚合模式下聚合后文件名称,需要设置为可以匹配FILEWHITELIST正则的字符串。

    String,最大长度64

    -

    FILEWHITELIST

    可选。将符合该正则表达式的文件聚合为上述GROUPNAME文件。

    String,最大长度64

    -

  • (可选)如果需要设置单个文件内容可乱序输出,需要配置数据集个体信息。
    表3 数据集个体信息(ENTITIES)

    名称

    描述

    类型

    缺省值

    NAME

    必填。路径表示的数据项名称。

    String,最大长度64

    -

    SHUFFLE

    可选。应对粒子型应用中不要求保证粒子顺序的场景。

    Boolean

    • false
    • true

    不区分大小写。

    false