\\n在资源队列树中，只有叶子节点可以关联用户接受查询。儿子节点的资源是从父节点中分配出来的。其中一个父节点的所有儿子节点的MEMORY_LIMIT_CLUSTER和 CORE_LIMIT_CLUSTER比例值之和必须小于等于100%。\\n\\n2、资源队列高级配置\\n通常情况下，创建资源队列时用户只需要指定下面三个参数：\\nACTIVE_STATEMENTS：资源队列允许的最大并发查询数，超过这个并发的连接则会排队等待。资源管理器会均匀分配资源到队列中并发的查询。\\nMEMORY_LIMIT_CLUSTER：资源队列可以使用的父队列内存的比例\\nCORE_LIMIT_CLUSTER：资源队列可以使用的父队列CPU的比例\\n但在某些情况下用户可以指定一些高级参数来配置资源管理队列。\\u000b\\u000b\\n3、设置Virtual Segment内存使用\\n\\nVSEG_RESOURCE_QUOTA指的是一个virtual segment中使用的内存数量。默认值是256MB。比如一个资源管理队列可以使用的资源是8GB，如果VSEG_RESOURCE_QUOTA为256MB，则这个资源管理队列可以分配的最大virtual segment数为8GB/256MB = 32个。如果我们使用512MB，则最多可以分配8GB/512MB = 16个。\\nVSEG_RESOURCE_QUOTA=‘mem:{128mb | 256mb | 512mb | 1024mb | 2048mb | 4096mb | 8192mb | 16384mb | 1gb | 2gb | 4gb | 8gb | 16gb}’\\n\\n使用大的VSEG_RESOURCE_QUOTA有时可以避免聚集，连接等操作的spilling，因为每个segment可以使用更多的内存。\\n如果发现有些语句频繁出现spilling，可以适当调大VSEG_RESOURCE_QUOTA。\\n例如：\\nCREATE RESOURCE QUEUE adhoc2 WITH (PARENT='department3', ACTIVE_STATEMENTS=3,MEMORY_LIMIT_CLUSTER=50%, CORE_LIMIT_CLUSTER=50%, VSEG_RESOURCE_QUOTA='mem:512MB');\\n\"},\"apool\":{\"numToAttrib\":{\"0\":[\"img\",\"https://wdcdn.qpic.cn/MTY4ODg1MTEzNzAyMzAyMA_498422_MsIP59ZdCMDdPm0E_1639648579?sign=1639648832-1055160392-0-637b593c2cb70cd74886710e60077266\"],\"1\":[\"image-width\",\"780px\"],\"2\":[\"image-height\",\"366px\"],\"3\":[\"image-upload-fail\",\"0\"],\"4\":[\"drawing-c-type\",\"plugin\"],\"5\":[\"container-anchor-id\",\"1639648577976-5188c560c050b5b8\"],\"6\":[\"container-type\",\"drawing\"],\"7\":[\"author\",\"p.1688850050195909\"],\"8\":[\"font-family\",\"Consolas, \\\"Andale Mono WT\\\", \\\"Andale Mono\\\", \\\"Lucida Console\\\", \\\"Lucida Sans Typewriter\\\", \\\"DejaVu Sans Mono\\\", \\\"Bitstream Vera Sans Mono\\\", \\\"Liberation Mono\\\", \\\"Nimbus Mono L\\\", Monaco, \\\"Courier New\\\", Courier, monospace\"],\"9\":[\"font-family\",\"\\\"Roboto Slab\\\", ff-tisa-web-pro, Georgia, Arial, sans-serif\"],\"10\":[\"pap-stylesheet-name\",\"heading2\"],\"11\":[\"font-family\",\"Lato, proxima-nova, \\\"Helvetica Neue\\\", Arial, sans-serif\"],\"12\":[\"font-size\",\"12pt\"],\"13\":[\"bold\",\"false\"],\"14\":[\"italic\",\"false\"],\"15\":[\"color\",\"rgb(64, 64, 64)\"],\"16\":[\"background-color\",\"rgb(252, 252, 252)\"],\"17\":[\"letter-spacing\",\"0pt\"],\"18\":[\"pap-specialIndent\",\"0pt\"],\"19\":[\"pap-line\",\"1.3\"],\"20\":[\"pap-line-rule\",\"auto\"],\"21\":[\"snapToGrid\",\"1\"],\"22\":[\"pap-left-indent\",\"18pt\"],\"23\":[\"pap-list-id\",\"yki1jg\"],\"24\":[\"pap-list-level\",\"0\"],\"25\":[\"pap-list-template-id\",\"trk4od\"],\"26\":[\"font-size\",\"9pt\"],\"27\":[\"bold\",\"true\"],\"28\":[\"background-color\",\"none\"],\"29\":[\"color\",\"rgb(0, 134, 179)\"],\"30\":[\"color\",\"rgb(51, 51, 51)\"],\"31\":[\"color\",\"rgb(0, 153, 153)\"],\"32\":[\"pap-list-id\",\"zo2dzg\"],\"33\":[\"pap-list-template-id\",\"0tu24q\"],\"34\":[\"pap-stylesheet-name\",\"heading1\"],\"35\":[\"pap-stylesheet-name\",\"normal\"],\"36\":[\"color\",\"rgb(221, 17, 68)\"]},\"nextNum\":37},\"keyFramesInfo\":{\"frames\":[],\"src\":\"copy\"}}","storyAtexts":[{"storyId":"LSTTMP","atext":"{\"atext\":{\"attribs\":\"*0*1*2*3*4*5*6*7+1*0*8*2*9*4*a*6*7+1*0*b*2*c*4*d*6*7+1*0*1*2*e*4*f*6*7+1*0*8*2*g*4*h*6*7+1*0*b*2*i*4*j*6*7+1*0*1*2*k*4*l*6*7+1*0*8*2*m*4*n*6*7+1*0*1*2*3*4*5*o*7+1*0*8*2*9*4*a*o*7+1*0*b*2*c*4*d*o*7+1*0*1*2*e*4*f*o*7+1*0*8*2*g*4*h*o*7+1*0*b*2*i*4*j*o*7+1*0*1*2*k*4*l*o*7+1*0*8*2*m*4*n*o*7+1\",\"text\":\"\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\\n\"},\"apool\":{\"numToAttrib\":{\"0\":[\"list-start\",\"0\"],\"1\":[\"list-text\",\"●\"],\"2\":[\"list-format\",\"bullet\"],\"3\":[\"pap-left-indent\",\"0em\"],\"4\":[\"pap-specialIndent\",\"0em\"],\"5\":[\"pap-list-level\",\"0\"],\"6\":[\"pap-list-template-id\",\"trk4od\"],\"7\":[\"author\",\"p.1688850050195909\"],\"8\":[\"list-text\",\"■\"],\"9\":[\"pap-left-indent\",\"2em\"],\"10\":[\"pap-list-level\",\"1\"],\"11\":[\"list-text\",\"◆\"],\"12\":[\"pap-left-indent\",\"4em\"],\"13\":[\"pap-list-level\",\"2\"],\"14\":[\"pap-left-indent\",\"6em\"],\"15\":[\"pap-list-level\",\"3\"],\"16\":[\"pap-left-indent\",\"8em\"],\"17\":[\"pap-list-level\",\"4\"],\"18\":[\"pap-left-indent\",\"10em\"],\"19\":[\"pap-list-level\",\"5\"],\"20\":[\"pap-left-indent\",\"12em\"],\"21\":[\"pap-list-level\",\"6\"],\"22\":[\"pap-left-indent\",\"14em\"],\"23\":[\"pap-list-level\",\"7\"],\"24\":[\"pap-list-template-id\",\"0tu24q\"]},\"nextNum\":25},\"keyFramesInfo\":{\"frames\":[],\"src\":\"copy\"}}"}],"srcGlobalPadId":"w2_ACwAzAYZAEw23Zv7uvmSbScdSdaMQ"}" data-version="1.0.0">
hawq_rm_memory_limit_perseg
128GB
hawq_rm_nvcore_limit_perseg
16
1、资源管理配置
用户可以通过以下两个参数(hawq-site.xml中)配置资源管理器可以分配的资源数量。
- hawq_rm_memory_limit_perseg: 配置每个节点可以使用的内存大小，缺省值为64GB
- hawq_rm_nvcore_limit_perseg: 配置每个节点可以使用的vcore数，缺省值为16
如果我们有8个slave节点，配置如下，则我们在这个OushuDB集群中可以使用的资源数为：128GB * 8 = 1024GB内存，16 * 8 ＝ 128 vcore。
hawq_rm_memory_limit_persegname>128GBvalue>property>hawq_rm_nvcore_limit_persegname>16value>property>
在资源队列树中，只有叶子节点可以关联用户接受查询。儿子节点的资源是从父节点中分配出来的。其中一个父节点的所有儿子节点的MEMORY_LIMIT_CLUSTER和 CORE_LIMIT_CLUSTER比例值之和必须小于等于100%。
2、资源队列高级配置
通常情况下，创建资源队列时用户只需要指定下面三个参数：
- ACTIVE_STATEMENTS：资源队列允许的最大并发查询数，超过这个并发的连接则会排队等待。资源管理器会均匀分配资源到队列中并发的查询。
- MEMORY_LIMIT_CLUSTER：资源队列可以使用的父队列内存的比例
- CORE_LIMIT_CLUSTER：资源队列可以使用的父队列CPU的比例
但在某些情况下用户可以指定一些高级参数来配置资源管理队列。
3、设置Virtual Segment内存使用
VSEG_RESOURCE_QUOTA指的是一个virtual segment中使用的内存数量。默认值是256MB。比如一个资源管理队列可以使用的资源是8GB，如果VSEG_RESOURCE_QUOTA为256MB，则这个资源管理队列可以分配的最大virtual segment数为8GB/256MB = 32个。如果我们使用512MB，则最多可以分配8GB/512MB = 16个。
VSEG_RESOURCE_QUOTA=‘mem:{128mb | 256mb | 512mb | 1024mb | 2048mb | 4096mb | 8192mb | 16384mb | 1gb | 2gb | 4gb | 8gb | 16gb}’
使用大的VSEG_RESOURCE_QUOTA有时可以避免聚集，连接等操作的spilling，因为每个segment可以使用更多的内存。
如果发现有些语句频繁出现spilling，可以适当调大VSEG_RESOURCE_QUOTA。
例如：
CREATE RESOURCE QUEUE adhoc2 WITH (PARENT='department3', ACTIVE_STATEMENTS=3,MEMORY_LIMIT_CLUSTER=50%, CORE_LIMIT_CLUSTER=50%, VSEG_RESOURCE_QUOTA='mem:512MB');
热门跟贴