HIVE-18797 : ExprConstNodeDesc's getExprString should put appropriate qualifier with...
[hive.git] / ql / src / test / results / clientpositive / llap / vector_groupby_grouping_sets3.q.out
1 PREHOOK: query: CREATE TABLE T1_text(a STRING, b STRING, c STRING) ROW FORMAT DELIMITED FIELDS TERMINATED BY ' ' STORED AS TEXTFILE
2 PREHOOK: type: CREATETABLE
3 PREHOOK: Output: database:default
4 PREHOOK: Output: default@T1_text
5 POSTHOOK: query: CREATE TABLE T1_text(a STRING, b STRING, c STRING) ROW FORMAT DELIMITED FIELDS TERMINATED BY ' ' STORED AS TEXTFILE
6 POSTHOOK: type: CREATETABLE
7 POSTHOOK: Output: database:default
8 POSTHOOK: Output: default@T1_text
9 PREHOOK: query: LOAD DATA LOCAL INPATH '../../data/files/grouping_sets1.txt' INTO TABLE T1_text
10 PREHOOK: type: LOAD
11 #### A masked pattern was here ####
12 PREHOOK: Output: default@t1_text
13 POSTHOOK: query: LOAD DATA LOCAL INPATH '../../data/files/grouping_sets1.txt' INTO TABLE T1_text
14 POSTHOOK: type: LOAD
15 #### A masked pattern was here ####
16 POSTHOOK: Output: default@t1_text
17 PREHOOK: query: LOAD DATA LOCAL INPATH '../../data/files/grouping_sets2.txt' INTO TABLE T1_text
18 PREHOOK: type: LOAD
19 #### A masked pattern was here ####
20 PREHOOK: Output: default@t1_text
21 POSTHOOK: query: LOAD DATA LOCAL INPATH '../../data/files/grouping_sets2.txt' INTO TABLE T1_text
22 POSTHOOK: type: LOAD
23 #### A masked pattern was here ####
24 POSTHOOK: Output: default@t1_text
25 PREHOOK: query: CREATE TABLE T1 STORED AS ORC AS SELECT * FROM T1_text
26 PREHOOK: type: CREATETABLE_AS_SELECT
27 PREHOOK: Input: default@t1_text
28 PREHOOK: Output: database:default
29 PREHOOK: Output: default@T1
30 POSTHOOK: query: CREATE TABLE T1 STORED AS ORC AS SELECT * FROM T1_text
31 POSTHOOK: type: CREATETABLE_AS_SELECT
32 POSTHOOK: Input: default@t1_text
33 POSTHOOK: Output: database:default
34 POSTHOOK: Output: default@T1
35 POSTHOOK: Lineage: t1.a SIMPLE [(t1_text)t1_text.FieldSchema(name:a, type:string, comment:null), ]
36 POSTHOOK: Lineage: t1.b SIMPLE [(t1_text)t1_text.FieldSchema(name:b, type:string, comment:null), ]
37 POSTHOOK: Lineage: t1.c SIMPLE [(t1_text)t1_text.FieldSchema(name:c, type:string, comment:null), ]
38 t1_text.a       t1_text.b       t1_text.c
39 PREHOOK: query: EXPLAIN VECTORIZATION DETAIL
40 SELECT a, b, avg(c), count(*) from T1 group by a, b with cube
41 PREHOOK: type: QUERY
42 POSTHOOK: query: EXPLAIN VECTORIZATION DETAIL
43 SELECT a, b, avg(c), count(*) from T1 group by a, b with cube
44 POSTHOOK: type: QUERY
45 Explain
46 PLAN VECTORIZATION:
47   enabled: true
48   enabledConditionsMet: [hive.vectorized.execution.enabled IS true]
49
50 STAGE DEPENDENCIES:
51   Stage-1 is a root stage
52   Stage-0 depends on stages: Stage-1
53
54 STAGE PLANS:
55   Stage: Stage-1
56     Tez
57 #### A masked pattern was here ####
58       Edges:
59         Reducer 2 <- Map 1 (SIMPLE_EDGE)
60 #### A masked pattern was here ####
61       Vertices:
62         Map 1 
63             Map Operator Tree:
64                 TableScan
65                   alias: t1
66                   Statistics: Num rows: 12 Data size: 6624 Basic stats: COMPLETE Column stats: NONE
67                   Select Operator
68                     expressions: a (type: string), b (type: string), c (type: string)
69                     outputColumnNames: a, b, c
70                     Statistics: Num rows: 12 Data size: 6624 Basic stats: COMPLETE Column stats: NONE
71                     Group By Operator
72                       aggregations: avg(c), count()
73                       keys: a (type: string), b (type: string), 0L (type: bigint)
74                       mode: hash
75                       outputColumnNames: _col0, _col1, _col2, _col3, _col4
76                       Statistics: Num rows: 48 Data size: 26496 Basic stats: COMPLETE Column stats: NONE
77                       Reduce Output Operator
78                         key expressions: _col0 (type: string), _col1 (type: string), _col2 (type: bigint)
79                         sort order: +++
80                         Map-reduce partition columns: _col0 (type: string), _col1 (type: string), _col2 (type: bigint)
81                         Statistics: Num rows: 48 Data size: 26496 Basic stats: COMPLETE Column stats: NONE
82                         value expressions: _col3 (type: struct<count:bigint,sum:double,input:string>), _col4 (type: bigint)
83             Execution mode: llap
84             LLAP IO: all inputs
85             Map Vectorization:
86                 enabled: true
87                 enabledConditionsMet: hive.vectorized.use.vectorized.input.format IS true
88                 inputFileFormats: org.apache.hadoop.hive.ql.io.orc.OrcInputFormat
89                 notVectorizedReason: GROUPBY operator: Vector aggregation : "avg" for input type: "BYTES" and output type: "STRUCT" and mode: PARTIAL1 not supported for evaluator GenericUDAFAverageEvaluatorDouble
90                 vectorized: false
91         Reducer 2 
92             Execution mode: vectorized, llap
93             Reduce Vectorization:
94                 enabled: true
95                 enableConditionsMet: hive.vectorized.execution.reduce.enabled IS true, hive.execution.engine tez IN [tez, spark] IS true
96                 reduceColumnNullOrder: aaa
97                 reduceColumnSortOrder: +++
98                 allNative: false
99                 usesVectorUDFAdaptor: false
100                 vectorized: true
101                 rowBatchContext:
102                     dataColumnCount: 5
103                     dataColumns: KEY._col0:string, KEY._col1:string, KEY._col2:bigint, VALUE._col0:struct<count:bigint,sum:double,input:string>, VALUE._col1:bigint
104                     partitionColumnCount: 0
105                     scratchColumnTypeNames: []
106             Reduce Operator Tree:
107               Group By Operator
108                 aggregations: avg(VALUE._col0), count(VALUE._col1)
109                 Group By Vectorization:
110                     aggregators: VectorUDAFAvgFinal(col 3:struct<count:bigint,sum:double,input:string>) -> double, VectorUDAFCountMerge(col 4:bigint) -> bigint
111                     className: VectorGroupByOperator
112                     groupByMode: MERGEPARTIAL
113                     keyExpressions: col 0:string, col 1:string, col 2:bigint
114                     native: false
115                     vectorProcessingMode: MERGE_PARTIAL
116                     projectedOutputColumnNums: [0, 1]
117                 keys: KEY._col0 (type: string), KEY._col1 (type: string), KEY._col2 (type: bigint)
118                 mode: mergepartial
119                 outputColumnNames: _col0, _col1, _col3, _col4
120                 Statistics: Num rows: 24 Data size: 13248 Basic stats: COMPLETE Column stats: NONE
121                 pruneGroupingSetId: true
122                 Select Operator
123                   expressions: _col0 (type: string), _col1 (type: string), _col3 (type: double), _col4 (type: bigint)
124                   outputColumnNames: _col0, _col1, _col2, _col3
125                   Select Vectorization:
126                       className: VectorSelectOperator
127                       native: true
128                       projectedOutputColumnNums: [0, 1, 2, 3]
129                   Statistics: Num rows: 24 Data size: 13248 Basic stats: COMPLETE Column stats: NONE
130                   File Output Operator
131                     compressed: false
132                     File Sink Vectorization:
133                         className: VectorFileSinkOperator
134                         native: false
135                     Statistics: Num rows: 24 Data size: 13248 Basic stats: COMPLETE Column stats: NONE
136                     table:
137                         input format: org.apache.hadoop.mapred.SequenceFileInputFormat
138                         output format: org.apache.hadoop.hive.ql.io.HiveSequenceFileOutputFormat
139                         serde: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
140
141   Stage: Stage-0
142     Fetch Operator
143       limit: -1
144       Processor Tree:
145         ListSink
146
147 PREHOOK: query: EXPLAIN VECTORIZATION DETAIL
148 SELECT a, b, avg(c), count(*) from T1 group by cube(a, b)
149 PREHOOK: type: QUERY
150 POSTHOOK: query: EXPLAIN VECTORIZATION DETAIL
151 SELECT a, b, avg(c), count(*) from T1 group by cube(a, b)
152 POSTHOOK: type: QUERY
153 Explain
154 PLAN VECTORIZATION:
155   enabled: true
156   enabledConditionsMet: [hive.vectorized.execution.enabled IS true]
157
158 STAGE DEPENDENCIES:
159   Stage-1 is a root stage
160   Stage-0 depends on stages: Stage-1
161
162 STAGE PLANS:
163   Stage: Stage-1
164     Tez
165 #### A masked pattern was here ####
166       Edges:
167         Reducer 2 <- Map 1 (SIMPLE_EDGE)
168 #### A masked pattern was here ####
169       Vertices:
170         Map 1 
171             Map Operator Tree:
172                 TableScan
173                   alias: t1
174                   Statistics: Num rows: 12 Data size: 6624 Basic stats: COMPLETE Column stats: NONE
175                   Select Operator
176                     expressions: a (type: string), b (type: string), c (type: string)
177                     outputColumnNames: a, b, c
178                     Statistics: Num rows: 12 Data size: 6624 Basic stats: COMPLETE Column stats: NONE
179                     Group By Operator
180                       aggregations: avg(c), count()
181                       keys: a (type: string), b (type: string), 0L (type: bigint)
182                       mode: hash
183                       outputColumnNames: _col0, _col1, _col2, _col3, _col4
184                       Statistics: Num rows: 48 Data size: 26496 Basic stats: COMPLETE Column stats: NONE
185                       Reduce Output Operator
186                         key expressions: _col0 (type: string), _col1 (type: string), _col2 (type: bigint)
187                         sort order: +++
188                         Map-reduce partition columns: _col0 (type: string), _col1 (type: string), _col2 (type: bigint)
189                         Statistics: Num rows: 48 Data size: 26496 Basic stats: COMPLETE Column stats: NONE
190                         value expressions: _col3 (type: struct<count:bigint,sum:double,input:string>), _col4 (type: bigint)
191             Execution mode: llap
192             LLAP IO: all inputs
193             Map Vectorization:
194                 enabled: true
195                 enabledConditionsMet: hive.vectorized.use.vectorized.input.format IS true
196                 inputFileFormats: org.apache.hadoop.hive.ql.io.orc.OrcInputFormat
197                 notVectorizedReason: GROUPBY operator: Vector aggregation : "avg" for input type: "BYTES" and output type: "STRUCT" and mode: PARTIAL1 not supported for evaluator GenericUDAFAverageEvaluatorDouble
198                 vectorized: false
199         Reducer 2 
200             Execution mode: vectorized, llap
201             Reduce Vectorization:
202                 enabled: true
203                 enableConditionsMet: hive.vectorized.execution.reduce.enabled IS true, hive.execution.engine tez IN [tez, spark] IS true
204                 reduceColumnNullOrder: aaa
205                 reduceColumnSortOrder: +++
206                 allNative: false
207                 usesVectorUDFAdaptor: false
208                 vectorized: true
209                 rowBatchContext:
210                     dataColumnCount: 5
211                     dataColumns: KEY._col0:string, KEY._col1:string, KEY._col2:bigint, VALUE._col0:struct<count:bigint,sum:double,input:string>, VALUE._col1:bigint
212                     partitionColumnCount: 0
213                     scratchColumnTypeNames: []
214             Reduce Operator Tree:
215               Group By Operator
216                 aggregations: avg(VALUE._col0), count(VALUE._col1)
217                 Group By Vectorization:
218                     aggregators: VectorUDAFAvgFinal(col 3:struct<count:bigint,sum:double,input:string>) -> double, VectorUDAFCountMerge(col 4:bigint) -> bigint
219                     className: VectorGroupByOperator
220                     groupByMode: MERGEPARTIAL
221                     keyExpressions: col 0:string, col 1:string, col 2:bigint
222                     native: false
223                     vectorProcessingMode: MERGE_PARTIAL
224                     projectedOutputColumnNums: [0, 1]
225                 keys: KEY._col0 (type: string), KEY._col1 (type: string), KEY._col2 (type: bigint)
226                 mode: mergepartial
227                 outputColumnNames: _col0, _col1, _col3, _col4
228                 Statistics: Num rows: 24 Data size: 13248 Basic stats: COMPLETE Column stats: NONE
229                 pruneGroupingSetId: true
230                 Select Operator
231                   expressions: _col0 (type: string), _col1 (type: string), _col3 (type: double), _col4 (type: bigint)
232                   outputColumnNames: _col0, _col1, _col2, _col3
233                   Select Vectorization:
234                       className: VectorSelectOperator
235                       native: true
236                       projectedOutputColumnNums: [0, 1, 2, 3]
237                   Statistics: Num rows: 24 Data size: 13248 Basic stats: COMPLETE Column stats: NONE
238                   File Output Operator
239                     compressed: false
240                     File Sink Vectorization:
241                         className: VectorFileSinkOperator
242                         native: false
243                     Statistics: Num rows: 24 Data size: 13248 Basic stats: COMPLETE Column stats: NONE
244                     table:
245                         input format: org.apache.hadoop.mapred.SequenceFileInputFormat
246                         output format: org.apache.hadoop.hive.ql.io.HiveSequenceFileOutputFormat
247                         serde: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
248
249   Stage: Stage-0
250     Fetch Operator
251       limit: -1
252       Processor Tree:
253         ListSink
254
255 PREHOOK: query: SELECT a, b, avg(c), count(*) from T1 group by a, b with cube
256 PREHOOK: type: QUERY
257 PREHOOK: Input: default@t1
258 #### A masked pattern was here ####
259 POSTHOOK: query: SELECT a, b, avg(c), count(*) from T1 group by a, b with cube
260 POSTHOOK: type: QUERY
261 POSTHOOK: Input: default@t1
262 #### A masked pattern was here ####
263 a       b       _c2     _c3
264 1       1       3.0     2
265 1       2       2.0     1
266 1       NULL    2.6666666666666665      3
267 2       2       5.333333333333333       3
268 2       3       5.0     2
269 2       NULL    5.2     5
270 3       2       8.0     1
271 3       NULL    8.0     1
272 5       1       2.0     1
273 5       NULL    2.0     1
274 8       1       1.0     2
275 8       NULL    1.0     2
276 NULL    1       2.0     5
277 NULL    2       5.2     5
278 NULL    3       5.0     2
279 NULL    NULL    3.8333333333333335      12
280 PREHOOK: query: EXPLAIN VECTORIZATION DETAIL
281 SELECT a, b, avg(c), count(*) from T1 group by a, b with cube
282 PREHOOK: type: QUERY
283 POSTHOOK: query: EXPLAIN VECTORIZATION DETAIL
284 SELECT a, b, avg(c), count(*) from T1 group by a, b with cube
285 POSTHOOK: type: QUERY
286 Explain
287 PLAN VECTORIZATION:
288   enabled: true
289   enabledConditionsMet: [hive.vectorized.execution.enabled IS true]
290
291 STAGE DEPENDENCIES:
292   Stage-1 is a root stage
293   Stage-0 depends on stages: Stage-1
294
295 STAGE PLANS:
296   Stage: Stage-1
297     Tez
298 #### A masked pattern was here ####
299       Edges:
300         Reducer 2 <- Map 1 (SIMPLE_EDGE)
301         Reducer 3 <- Reducer 2 (SIMPLE_EDGE)
302 #### A masked pattern was here ####
303       Vertices:
304         Map 1 
305             Map Operator Tree:
306                 TableScan
307                   alias: t1
308                   Statistics: Num rows: 12 Data size: 6624 Basic stats: COMPLETE Column stats: NONE
309                   Select Operator
310                     expressions: a (type: string), b (type: string), c (type: string)
311                     outputColumnNames: a, b, c
312                     Statistics: Num rows: 12 Data size: 6624 Basic stats: COMPLETE Column stats: NONE
313                     Group By Operator
314                       aggregations: avg(c), count()
315                       keys: a (type: string), b (type: string)
316                       mode: hash
317                       outputColumnNames: _col0, _col1, _col2, _col3
318                       Statistics: Num rows: 12 Data size: 6624 Basic stats: COMPLETE Column stats: NONE
319                       Reduce Output Operator
320                         key expressions: _col0 (type: string), _col1 (type: string)
321                         sort order: ++
322                         Map-reduce partition columns: _col0 (type: string), _col1 (type: string)
323                         Statistics: Num rows: 12 Data size: 6624 Basic stats: COMPLETE Column stats: NONE
324                         value expressions: _col2 (type: struct<count:bigint,sum:double,input:string>), _col3 (type: bigint)
325             Execution mode: llap
326             LLAP IO: all inputs
327             Map Vectorization:
328                 enabled: true
329                 enabledConditionsMet: hive.vectorized.use.vectorized.input.format IS true
330                 inputFileFormats: org.apache.hadoop.hive.ql.io.orc.OrcInputFormat
331                 notVectorizedReason: GROUPBY operator: Vector aggregation : "avg" for input type: "BYTES" and output type: "STRUCT" and mode: PARTIAL1 not supported for evaluator GenericUDAFAverageEvaluatorDouble
332                 vectorized: false
333         Reducer 2 
334             Execution mode: vectorized, llap
335             Reduce Vectorization:
336                 enabled: true
337                 enableConditionsMet: hive.vectorized.execution.reduce.enabled IS true, hive.execution.engine tez IN [tez, spark] IS true
338                 reduceColumnNullOrder: aa
339                 reduceColumnSortOrder: ++
340                 allNative: false
341                 usesVectorUDFAdaptor: false
342                 vectorized: true
343                 rowBatchContext:
344                     dataColumnCount: 4
345                     dataColumns: KEY._col0:string, KEY._col1:string, VALUE._col0:struct<count:bigint,sum:double,input:string>, VALUE._col1:bigint
346                     partitionColumnCount: 0
347                     scratchColumnTypeNames: [bigint]
348             Reduce Operator Tree:
349               Group By Operator
350                 aggregations: avg(VALUE._col0), count(VALUE._col1)
351                 Group By Vectorization:
352                     aggregators: VectorUDAFAvgPartial2(col 2:struct<count:bigint,sum:double,input:string>) -> struct<count:bigint,sum:double,input:string>, VectorUDAFCountMerge(col 3:bigint) -> bigint
353                     className: VectorGroupByOperator
354                     groupByMode: PARTIALS
355                     keyExpressions: col 0:string, col 1:string, ConstantVectorExpression(val 0) -> 4:bigint
356                     native: false
357                     vectorProcessingMode: STREAMING
358                     projectedOutputColumnNums: [0, 1]
359                 keys: KEY._col0 (type: string), KEY._col1 (type: string), 0L (type: bigint)
360                 mode: partials
361                 outputColumnNames: _col0, _col1, _col2, _col3, _col4
362                 Statistics: Num rows: 48 Data size: 26496 Basic stats: COMPLETE Column stats: NONE
363                 Reduce Output Operator
364                   key expressions: _col0 (type: string), _col1 (type: string), _col2 (type: bigint)
365                   sort order: +++
366                   Map-reduce partition columns: _col0 (type: string), _col1 (type: string), _col2 (type: bigint)
367                   Reduce Sink Vectorization:
368                       className: VectorReduceSinkMultiKeyOperator
369                       keyColumnNums: [0, 1, 2]
370                       native: true
371                       nativeConditionsMet: hive.vectorized.execution.reducesink.new.enabled IS true, hive.execution.engine tez IN [tez, spark] IS true, No PTF TopN IS true, No DISTINCT columns IS true, BinarySortableSerDe for keys IS true, LazyBinarySerDe for values IS true
372                       valueColumnNums: [3, 4]
373                   Statistics: Num rows: 48 Data size: 26496 Basic stats: COMPLETE Column stats: NONE
374                   value expressions: _col3 (type: struct<count:bigint,sum:double,input:string>), _col4 (type: bigint)
375         Reducer 3 
376             Execution mode: vectorized, llap
377             Reduce Vectorization:
378                 enabled: true
379                 enableConditionsMet: hive.vectorized.execution.reduce.enabled IS true, hive.execution.engine tez IN [tez, spark] IS true
380                 reduceColumnNullOrder: aaa
381                 reduceColumnSortOrder: +++
382                 allNative: false
383                 usesVectorUDFAdaptor: false
384                 vectorized: true
385                 rowBatchContext:
386                     dataColumnCount: 5
387                     dataColumns: KEY._col0:string, KEY._col1:string, KEY._col2:bigint, VALUE._col0:struct<count:bigint,sum:double,input:string>, VALUE._col1:bigint
388                     partitionColumnCount: 0
389                     scratchColumnTypeNames: []
390             Reduce Operator Tree:
391               Group By Operator
392                 aggregations: avg(VALUE._col0), count(VALUE._col1)
393                 Group By Vectorization:
394                     aggregators: VectorUDAFAvgFinal(col 3:struct<count:bigint,sum:double,input:string>) -> double, VectorUDAFCountMerge(col 4:bigint) -> bigint
395                     className: VectorGroupByOperator
396                     groupByMode: FINAL
397                     keyExpressions: col 0:string, col 1:string, col 2:bigint
398                     native: false
399                     vectorProcessingMode: STREAMING
400                     projectedOutputColumnNums: [0, 1]
401                 keys: KEY._col0 (type: string), KEY._col1 (type: string), KEY._col2 (type: bigint)
402                 mode: final
403                 outputColumnNames: _col0, _col1, _col3, _col4
404                 Statistics: Num rows: 24 Data size: 13248 Basic stats: COMPLETE Column stats: NONE
405                 pruneGroupingSetId: true
406                 Select Operator
407                   expressions: _col0 (type: string), _col1 (type: string), _col3 (type: double), _col4 (type: bigint)
408                   outputColumnNames: _col0, _col1, _col2, _col3
409                   Select Vectorization:
410                       className: VectorSelectOperator
411                       native: true
412                       projectedOutputColumnNums: [0, 1, 2, 3]
413                   Statistics: Num rows: 24 Data size: 13248 Basic stats: COMPLETE Column stats: NONE
414                   File Output Operator
415                     compressed: false
416                     File Sink Vectorization:
417                         className: VectorFileSinkOperator
418                         native: false
419                     Statistics: Num rows: 24 Data size: 13248 Basic stats: COMPLETE Column stats: NONE
420                     table:
421                         input format: org.apache.hadoop.mapred.SequenceFileInputFormat
422                         output format: org.apache.hadoop.hive.ql.io.HiveSequenceFileOutputFormat
423                         serde: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
424
425   Stage: Stage-0
426     Fetch Operator
427       limit: -1
428       Processor Tree:
429         ListSink
430
431 PREHOOK: query: SELECT a, b, avg(c), count(*) from T1 group by a, b with cube
432 PREHOOK: type: QUERY
433 PREHOOK: Input: default@t1
434 #### A masked pattern was here ####
435 POSTHOOK: query: SELECT a, b, avg(c), count(*) from T1 group by a, b with cube
436 POSTHOOK: type: QUERY
437 POSTHOOK: Input: default@t1
438 #### A masked pattern was here ####
439 a       b       _c2     _c3
440 1       1       3.0     2
441 1       2       2.0     1
442 1       NULL    2.6666666666666665      3
443 2       2       5.333333333333333       3
444 2       3       5.0     2
445 2       NULL    5.2     5
446 3       2       8.0     1
447 3       NULL    8.0     1
448 5       1       2.0     1
449 5       NULL    2.0     1
450 8       1       1.0     2
451 8       NULL    1.0     2
452 NULL    1       2.0     5
453 NULL    2       5.2     5
454 NULL    3       5.0     2
455 NULL    NULL    3.8333333333333335      12