HIVE-18797 : ExprConstNodeDesc's getExprString should put appropriate qualifier with...
[hive.git] / ql / src / test / results / clientpositive / parquet_vectorization_limit.q.out
1 WARNING: Comparing a bigint and a double may result in a loss of precision.
2 PREHOOK: query: explain vectorization SELECT cbigint, cdouble FROM alltypesparquet WHERE cbigint < cdouble and cint > 0 limit 7
3 PREHOOK: type: QUERY
4 POSTHOOK: query: explain vectorization SELECT cbigint, cdouble FROM alltypesparquet WHERE cbigint < cdouble and cint > 0 limit 7
5 POSTHOOK: type: QUERY
6 PLAN VECTORIZATION:
7   enabled: true
8   enabledConditionsMet: [hive.vectorized.execution.enabled IS true]
9
10 STAGE DEPENDENCIES:
11   Stage-1 is a root stage
12   Stage-0 depends on stages: Stage-1
13
14 STAGE PLANS:
15   Stage: Stage-1
16     Map Reduce
17       Map Operator Tree:
18           TableScan
19             alias: alltypesparquet
20             Statistics: Num rows: 12288 Data size: 147456 Basic stats: COMPLETE Column stats: NONE
21             Filter Operator
22               predicate: ((UDFToDouble(cbigint) < cdouble) and (cint > 0)) (type: boolean)
23               Statistics: Num rows: 1365 Data size: 16380 Basic stats: COMPLETE Column stats: NONE
24               Select Operator
25                 expressions: cbigint (type: bigint), cdouble (type: double)
26                 outputColumnNames: _col0, _col1
27                 Statistics: Num rows: 1365 Data size: 16380 Basic stats: COMPLETE Column stats: NONE
28                 Limit
29                   Number of rows: 7
30                   Statistics: Num rows: 7 Data size: 84 Basic stats: COMPLETE Column stats: NONE
31                   File Output Operator
32                     compressed: false
33                     Statistics: Num rows: 7 Data size: 84 Basic stats: COMPLETE Column stats: NONE
34                     table:
35                         input format: org.apache.hadoop.mapred.SequenceFileInputFormat
36                         output format: org.apache.hadoop.hive.ql.io.HiveSequenceFileOutputFormat
37                         serde: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
38       Execution mode: vectorized
39       Map Vectorization:
40           enabled: true
41           enabledConditionsMet: hive.vectorized.use.vectorized.input.format IS true
42           inputFormatFeatureSupport: []
43           featureSupportInUse: []
44           inputFileFormats: org.apache.hadoop.hive.ql.io.parquet.MapredParquetInputFormat
45           allNative: false
46           usesVectorUDFAdaptor: false
47           vectorized: true
48
49   Stage: Stage-0
50     Fetch Operator
51       limit: 7
52       Processor Tree:
53         ListSink
54
55 WARNING: Comparing a bigint and a double may result in a loss of precision.
56 PREHOOK: query: SELECT cbigint, cdouble FROM alltypesparquet WHERE cbigint < cdouble and cint > 0 limit 7
57 PREHOOK: type: QUERY
58 PREHOOK: Input: default@alltypesparquet
59 #### A masked pattern was here ####
60 POSTHOOK: query: SELECT cbigint, cdouble FROM alltypesparquet WHERE cbigint < cdouble and cint > 0 limit 7
61 POSTHOOK: type: QUERY
62 POSTHOOK: Input: default@alltypesparquet
63 #### A masked pattern was here ####
64 -1887561756     -10011.0
65 -1887561756     -13877.0
66 -1887561756     -2281.0
67 -1887561756     -8881.0
68 -1887561756     10361.0
69 -1887561756     1839.0
70 -1887561756     9531.0
71 PREHOOK: query: explain vectorization detail
72 select ctinyint,cdouble,csmallint from alltypesparquet where ctinyint is not null order by ctinyint,cdouble limit 20
73 PREHOOK: type: QUERY
74 POSTHOOK: query: explain vectorization detail
75 select ctinyint,cdouble,csmallint from alltypesparquet where ctinyint is not null order by ctinyint,cdouble limit 20
76 POSTHOOK: type: QUERY
77 PLAN VECTORIZATION:
78   enabled: true
79   enabledConditionsMet: [hive.vectorized.execution.enabled IS true]
80
81 STAGE DEPENDENCIES:
82   Stage-1 is a root stage
83   Stage-0 depends on stages: Stage-1
84
85 STAGE PLANS:
86   Stage: Stage-1
87     Map Reduce
88       Map Operator Tree:
89           TableScan
90             alias: alltypesparquet
91             Statistics: Num rows: 12288 Data size: 147456 Basic stats: COMPLETE Column stats: NONE
92             TableScan Vectorization:
93                 native: true
94                 vectorizationSchemaColumns: [0:ctinyint:tinyint, 1:csmallint:smallint, 2:cint:int, 3:cbigint:bigint, 4:cfloat:float, 5:cdouble:double, 6:cstring1:string, 7:cstring2:string, 8:ctimestamp1:timestamp, 9:ctimestamp2:timestamp, 10:cboolean1:boolean, 11:cboolean2:boolean, 12:ROW__ID:struct<transactionid:bigint,bucketid:int,rowid:bigint>]
95             Filter Operator
96               Filter Vectorization:
97                   className: VectorFilterOperator
98                   native: true
99                   predicateExpression: SelectColumnIsNotNull(col 0:tinyint)
100               predicate: ctinyint is not null (type: boolean)
101               Statistics: Num rows: 12288 Data size: 147456 Basic stats: COMPLETE Column stats: NONE
102               Select Operator
103                 expressions: ctinyint (type: tinyint), cdouble (type: double), csmallint (type: smallint)
104                 outputColumnNames: _col0, _col1, _col2
105                 Select Vectorization:
106                     className: VectorSelectOperator
107                     native: true
108                     projectedOutputColumnNums: [0, 5, 1]
109                 Statistics: Num rows: 12288 Data size: 147456 Basic stats: COMPLETE Column stats: NONE
110                 Reduce Output Operator
111                   key expressions: _col0 (type: tinyint), _col1 (type: double)
112                   sort order: ++
113                   Reduce Sink Vectorization:
114                       className: VectorReduceSinkOperator
115                       native: false
116                       nativeConditionsMet: hive.vectorized.execution.reducesink.new.enabled IS true, No PTF TopN IS true, No DISTINCT columns IS true, BinarySortableSerDe for keys IS true, LazyBinarySerDe for values IS true
117                       nativeConditionsNotMet: hive.execution.engine mr IN [tez, spark] IS false
118                   Statistics: Num rows: 12288 Data size: 147456 Basic stats: COMPLETE Column stats: NONE
119                   TopN Hash Memory Usage: 0.3
120                   value expressions: _col2 (type: smallint)
121       Execution mode: vectorized
122       Map Vectorization:
123           enabled: true
124           enabledConditionsMet: hive.vectorized.use.vectorized.input.format IS true
125           inputFormatFeatureSupport: []
126           featureSupportInUse: []
127           inputFileFormats: org.apache.hadoop.hive.ql.io.parquet.MapredParquetInputFormat
128           allNative: false
129           usesVectorUDFAdaptor: false
130           vectorized: true
131           rowBatchContext:
132               dataColumnCount: 12
133               includeColumns: [0, 1, 5]
134               dataColumns: ctinyint:tinyint, csmallint:smallint, cint:int, cbigint:bigint, cfloat:float, cdouble:double, cstring1:string, cstring2:string, ctimestamp1:timestamp, ctimestamp2:timestamp, cboolean1:boolean, cboolean2:boolean
135               partitionColumnCount: 0
136               scratchColumnTypeNames: []
137       Reduce Vectorization:
138           enabled: false
139           enableConditionsMet: hive.vectorized.execution.reduce.enabled IS true
140           enableConditionsNotMet: hive.execution.engine mr IN [tez, spark] IS false
141       Reduce Operator Tree:
142         Select Operator
143           expressions: KEY.reducesinkkey0 (type: tinyint), KEY.reducesinkkey1 (type: double), VALUE._col0 (type: smallint)
144           outputColumnNames: _col0, _col1, _col2
145           Statistics: Num rows: 12288 Data size: 147456 Basic stats: COMPLETE Column stats: NONE
146           Limit
147             Number of rows: 20
148             Statistics: Num rows: 20 Data size: 240 Basic stats: COMPLETE Column stats: NONE
149             File Output Operator
150               compressed: false
151               Statistics: Num rows: 20 Data size: 240 Basic stats: COMPLETE Column stats: NONE
152               table:
153                   input format: org.apache.hadoop.mapred.SequenceFileInputFormat
154                   output format: org.apache.hadoop.hive.ql.io.HiveSequenceFileOutputFormat
155                   serde: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
156
157   Stage: Stage-0
158     Fetch Operator
159       limit: 20
160       Processor Tree:
161         ListSink
162
163 PREHOOK: query: select ctinyint,cdouble,csmallint from alltypesparquet where ctinyint is not null order by ctinyint,cdouble limit 20
164 PREHOOK: type: QUERY
165 PREHOOK: Input: default@alltypesparquet
166 #### A masked pattern was here ####
167 POSTHOOK: query: select ctinyint,cdouble,csmallint from alltypesparquet where ctinyint is not null order by ctinyint,cdouble limit 20
168 POSTHOOK: type: QUERY
169 POSTHOOK: Input: default@alltypesparquet
170 #### A masked pattern was here ####
171 -64     -10462.0        -10462
172 -64     -15920.0        -15920
173 -64     -1600.0 -1600
174 -64     -200.0  -200
175 -64     -2919.0 -2919
176 -64     -3097.0 -3097
177 -64     -3586.0 -3586
178 -64     -4018.0 -4018
179 -64     -4040.0 -4040
180 -64     -4803.0 -4803
181 -64     -6907.0 -6907
182 -64     -7196.0 -7196
183 -64     -7196.0 -7196
184 -64     -7196.0 -7196
185 -64     -7196.0 -7196
186 -64     -7196.0 -7196
187 -64     -7196.0 -7196
188 -64     -7196.0 -7196
189 -64     -8080.0 -8080
190 -64     -9842.0 -9842
191 PREHOOK: query: explain vectorization detail
192 select ctinyint,avg(cdouble + 1) from alltypesparquet group by ctinyint order by ctinyint limit 20
193 PREHOOK: type: QUERY
194 POSTHOOK: query: explain vectorization detail
195 select ctinyint,avg(cdouble + 1) from alltypesparquet group by ctinyint order by ctinyint limit 20
196 POSTHOOK: type: QUERY
197 PLAN VECTORIZATION:
198   enabled: true
199   enabledConditionsMet: [hive.vectorized.execution.enabled IS true]
200
201 STAGE DEPENDENCIES:
202   Stage-1 is a root stage
203   Stage-0 depends on stages: Stage-1
204
205 STAGE PLANS:
206   Stage: Stage-1
207     Map Reduce
208       Map Operator Tree:
209           TableScan
210             alias: alltypesparquet
211             Statistics: Num rows: 12288 Data size: 147456 Basic stats: COMPLETE Column stats: NONE
212             TableScan Vectorization:
213                 native: true
214                 vectorizationSchemaColumns: [0:ctinyint:tinyint, 1:csmallint:smallint, 2:cint:int, 3:cbigint:bigint, 4:cfloat:float, 5:cdouble:double, 6:cstring1:string, 7:cstring2:string, 8:ctimestamp1:timestamp, 9:ctimestamp2:timestamp, 10:cboolean1:boolean, 11:cboolean2:boolean, 12:ROW__ID:struct<transactionid:bigint,bucketid:int,rowid:bigint>]
215             Select Operator
216               expressions: ctinyint (type: tinyint), (cdouble + 1.0D) (type: double)
217               outputColumnNames: _col0, _col1
218               Select Vectorization:
219                   className: VectorSelectOperator
220                   native: true
221                   projectedOutputColumnNums: [0, 13]
222                   selectExpressions: DoubleColAddDoubleScalar(col 5:double, val 1.0) -> 13:double
223               Statistics: Num rows: 12288 Data size: 147456 Basic stats: COMPLETE Column stats: NONE
224               Group By Operator
225                 aggregations: avg(_col1)
226                 Group By Vectorization:
227                     aggregators: VectorUDAFAvgDouble(col 13:double) -> struct<count:bigint,sum:double,input:double>
228                     className: VectorGroupByOperator
229                     groupByMode: HASH
230                     keyExpressions: col 0:tinyint
231                     native: false
232                     vectorProcessingMode: HASH
233                     projectedOutputColumnNums: [0]
234                 keys: _col0 (type: tinyint)
235                 mode: hash
236                 outputColumnNames: _col0, _col1
237                 Statistics: Num rows: 12288 Data size: 147456 Basic stats: COMPLETE Column stats: NONE
238                 Reduce Output Operator
239                   key expressions: _col0 (type: tinyint)
240                   sort order: +
241                   Map-reduce partition columns: _col0 (type: tinyint)
242                   Reduce Sink Vectorization:
243                       className: VectorReduceSinkOperator
244                       native: false
245                       nativeConditionsMet: hive.vectorized.execution.reducesink.new.enabled IS true, No PTF TopN IS true, No DISTINCT columns IS true, BinarySortableSerDe for keys IS true, LazyBinarySerDe for values IS true
246                       nativeConditionsNotMet: hive.execution.engine mr IN [tez, spark] IS false
247                   Statistics: Num rows: 12288 Data size: 147456 Basic stats: COMPLETE Column stats: NONE
248                   TopN Hash Memory Usage: 0.3
249                   value expressions: _col1 (type: struct<count:bigint,sum:double,input:double>)
250       Execution mode: vectorized
251       Map Vectorization:
252           enabled: true
253           enabledConditionsMet: hive.vectorized.use.vectorized.input.format IS true
254           inputFormatFeatureSupport: []
255           featureSupportInUse: []
256           inputFileFormats: org.apache.hadoop.hive.ql.io.parquet.MapredParquetInputFormat
257           allNative: false
258           usesVectorUDFAdaptor: false
259           vectorized: true
260           rowBatchContext:
261               dataColumnCount: 12
262               includeColumns: [0, 5]
263               dataColumns: ctinyint:tinyint, csmallint:smallint, cint:int, cbigint:bigint, cfloat:float, cdouble:double, cstring1:string, cstring2:string, ctimestamp1:timestamp, ctimestamp2:timestamp, cboolean1:boolean, cboolean2:boolean
264               partitionColumnCount: 0
265               scratchColumnTypeNames: [double]
266       Reduce Vectorization:
267           enabled: false
268           enableConditionsMet: hive.vectorized.execution.reduce.enabled IS true
269           enableConditionsNotMet: hive.execution.engine mr IN [tez, spark] IS false
270       Reduce Operator Tree:
271         Group By Operator
272           aggregations: avg(VALUE._col0)
273           keys: KEY._col0 (type: tinyint)
274           mode: mergepartial
275           outputColumnNames: _col0, _col1
276           Statistics: Num rows: 6144 Data size: 73728 Basic stats: COMPLETE Column stats: NONE
277           Limit
278             Number of rows: 20
279             Statistics: Num rows: 20 Data size: 240 Basic stats: COMPLETE Column stats: NONE
280             File Output Operator
281               compressed: false
282               Statistics: Num rows: 20 Data size: 240 Basic stats: COMPLETE Column stats: NONE
283               table:
284                   input format: org.apache.hadoop.mapred.SequenceFileInputFormat
285                   output format: org.apache.hadoop.hive.ql.io.HiveSequenceFileOutputFormat
286                   serde: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
287
288   Stage: Stage-0
289     Fetch Operator
290       limit: 20
291       Processor Tree:
292         ListSink
293
294 PREHOOK: query: select ctinyint,avg(cdouble + 1) from alltypesparquet group by ctinyint order by ctinyint limit 20
295 PREHOOK: type: QUERY
296 PREHOOK: Input: default@alltypesparquet
297 #### A masked pattern was here ####
298 POSTHOOK: query: select ctinyint,avg(cdouble + 1) from alltypesparquet group by ctinyint order by ctinyint limit 20
299 POSTHOOK: type: QUERY
300 POSTHOOK: Input: default@alltypesparquet
301 #### A masked pattern was here ####
302 -46     3033.55
303 -47     -574.6428571428571
304 -48     1672.909090909091
305 -49     768.7659574468086
306 -50     -960.0192307692307
307 -51     -96.46341463414635
308 -52     2810.705882352941
309 -53     -532.7567567567568
310 -54     2712.7272727272725
311 -55     2385.595744680851
312 -56     2595.818181818182
313 -57     1867.0535714285713
314 -58     3483.2444444444445
315 -59     318.27272727272725
316 -60     1071.82
317 -61     914.3404255319149
318 -62     245.69387755102042
319 -63     2178.7272727272725
320 -64     373.52941176470586
321 NULL    9370.0945309795
322 PREHOOK: query: explain vectorization detail
323 select distinct(ctinyint) from alltypesparquet limit 20
324 PREHOOK: type: QUERY
325 POSTHOOK: query: explain vectorization detail
326 select distinct(ctinyint) from alltypesparquet limit 20
327 POSTHOOK: type: QUERY
328 PLAN VECTORIZATION:
329   enabled: true
330   enabledConditionsMet: [hive.vectorized.execution.enabled IS true]
331
332 STAGE DEPENDENCIES:
333   Stage-1 is a root stage
334   Stage-0 depends on stages: Stage-1
335
336 STAGE PLANS:
337   Stage: Stage-1
338     Map Reduce
339       Map Operator Tree:
340           TableScan
341             alias: alltypesparquet
342             Statistics: Num rows: 12288 Data size: 147456 Basic stats: COMPLETE Column stats: NONE
343             TableScan Vectorization:
344                 native: true
345                 vectorizationSchemaColumns: [0:ctinyint:tinyint, 1:csmallint:smallint, 2:cint:int, 3:cbigint:bigint, 4:cfloat:float, 5:cdouble:double, 6:cstring1:string, 7:cstring2:string, 8:ctimestamp1:timestamp, 9:ctimestamp2:timestamp, 10:cboolean1:boolean, 11:cboolean2:boolean, 12:ROW__ID:struct<transactionid:bigint,bucketid:int,rowid:bigint>]
346             Select Operator
347               expressions: ctinyint (type: tinyint)
348               outputColumnNames: ctinyint
349               Select Vectorization:
350                   className: VectorSelectOperator
351                   native: true
352                   projectedOutputColumnNums: [0]
353               Statistics: Num rows: 12288 Data size: 147456 Basic stats: COMPLETE Column stats: NONE
354               Group By Operator
355                 Group By Vectorization:
356                     className: VectorGroupByOperator
357                     groupByMode: HASH
358                     keyExpressions: col 0:tinyint
359                     native: false
360                     vectorProcessingMode: HASH
361                     projectedOutputColumnNums: []
362                 keys: ctinyint (type: tinyint)
363                 mode: hash
364                 outputColumnNames: _col0
365                 Statistics: Num rows: 12288 Data size: 147456 Basic stats: COMPLETE Column stats: NONE
366                 Reduce Output Operator
367                   key expressions: _col0 (type: tinyint)
368                   sort order: +
369                   Map-reduce partition columns: _col0 (type: tinyint)
370                   Reduce Sink Vectorization:
371                       className: VectorReduceSinkOperator
372                       native: false
373                       nativeConditionsMet: hive.vectorized.execution.reducesink.new.enabled IS true, No PTF TopN IS true, No DISTINCT columns IS true, BinarySortableSerDe for keys IS true, LazyBinarySerDe for values IS true
374                       nativeConditionsNotMet: hive.execution.engine mr IN [tez, spark] IS false
375                   Statistics: Num rows: 12288 Data size: 147456 Basic stats: COMPLETE Column stats: NONE
376                   TopN Hash Memory Usage: 0.3
377       Execution mode: vectorized
378       Map Vectorization:
379           enabled: true
380           enabledConditionsMet: hive.vectorized.use.vectorized.input.format IS true
381           inputFormatFeatureSupport: []
382           featureSupportInUse: []
383           inputFileFormats: org.apache.hadoop.hive.ql.io.parquet.MapredParquetInputFormat
384           allNative: false
385           usesVectorUDFAdaptor: false
386           vectorized: true
387           rowBatchContext:
388               dataColumnCount: 12
389               includeColumns: [0]
390               dataColumns: ctinyint:tinyint, csmallint:smallint, cint:int, cbigint:bigint, cfloat:float, cdouble:double, cstring1:string, cstring2:string, ctimestamp1:timestamp, ctimestamp2:timestamp, cboolean1:boolean, cboolean2:boolean
391               partitionColumnCount: 0
392               scratchColumnTypeNames: []
393       Reduce Vectorization:
394           enabled: false
395           enableConditionsMet: hive.vectorized.execution.reduce.enabled IS true
396           enableConditionsNotMet: hive.execution.engine mr IN [tez, spark] IS false
397       Reduce Operator Tree:
398         Group By Operator
399           keys: KEY._col0 (type: tinyint)
400           mode: mergepartial
401           outputColumnNames: _col0
402           Statistics: Num rows: 6144 Data size: 73728 Basic stats: COMPLETE Column stats: NONE
403           Limit
404             Number of rows: 20
405             Statistics: Num rows: 20 Data size: 240 Basic stats: COMPLETE Column stats: NONE
406             File Output Operator
407               compressed: false
408               Statistics: Num rows: 20 Data size: 240 Basic stats: COMPLETE Column stats: NONE
409               table:
410                   input format: org.apache.hadoop.mapred.SequenceFileInputFormat
411                   output format: org.apache.hadoop.hive.ql.io.HiveSequenceFileOutputFormat
412                   serde: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
413
414   Stage: Stage-0
415     Fetch Operator
416       limit: 20
417       Processor Tree:
418         ListSink
419
420 PREHOOK: query: select distinct(ctinyint) from alltypesparquet limit 20
421 PREHOOK: type: QUERY
422 PREHOOK: Input: default@alltypesparquet
423 #### A masked pattern was here ####
424 POSTHOOK: query: select distinct(ctinyint) from alltypesparquet limit 20
425 POSTHOOK: type: QUERY
426 POSTHOOK: Input: default@alltypesparquet
427 #### A masked pattern was here ####
428 -46
429 -47
430 -48
431 -49
432 -50
433 -51
434 -52
435 -53
436 -54
437 -55
438 -56
439 -57
440 -58
441 -59
442 -60
443 -61
444 -62
445 -63
446 -64
447 NULL
448 PREHOOK: query: explain vectorization detail
449 select ctinyint, count(distinct(cdouble)) from alltypesparquet group by ctinyint order by ctinyint limit 20
450 PREHOOK: type: QUERY
451 POSTHOOK: query: explain vectorization detail
452 select ctinyint, count(distinct(cdouble)) from alltypesparquet group by ctinyint order by ctinyint limit 20
453 POSTHOOK: type: QUERY
454 PLAN VECTORIZATION:
455   enabled: true
456   enabledConditionsMet: [hive.vectorized.execution.enabled IS true]
457
458 STAGE DEPENDENCIES:
459   Stage-1 is a root stage
460   Stage-0 depends on stages: Stage-1
461
462 STAGE PLANS:
463   Stage: Stage-1
464     Map Reduce
465       Map Operator Tree:
466           TableScan
467             alias: alltypesparquet
468             Statistics: Num rows: 12288 Data size: 147456 Basic stats: COMPLETE Column stats: NONE
469             TableScan Vectorization:
470                 native: true
471                 vectorizationSchemaColumns: [0:ctinyint:tinyint, 1:csmallint:smallint, 2:cint:int, 3:cbigint:bigint, 4:cfloat:float, 5:cdouble:double, 6:cstring1:string, 7:cstring2:string, 8:ctimestamp1:timestamp, 9:ctimestamp2:timestamp, 10:cboolean1:boolean, 11:cboolean2:boolean, 12:ROW__ID:struct<transactionid:bigint,bucketid:int,rowid:bigint>]
472             Select Operator
473               expressions: ctinyint (type: tinyint), cdouble (type: double)
474               outputColumnNames: ctinyint, cdouble
475               Select Vectorization:
476                   className: VectorSelectOperator
477                   native: true
478                   projectedOutputColumnNums: [0, 5]
479               Statistics: Num rows: 12288 Data size: 147456 Basic stats: COMPLETE Column stats: NONE
480               Group By Operator
481                 aggregations: count(DISTINCT cdouble)
482                 Group By Vectorization:
483                     aggregators: VectorUDAFCount(col 5:double) -> bigint
484                     className: VectorGroupByOperator
485                     groupByMode: HASH
486                     keyExpressions: col 0:tinyint, col 5:double
487                     native: false
488                     vectorProcessingMode: HASH
489                     projectedOutputColumnNums: [0]
490                 keys: ctinyint (type: tinyint), cdouble (type: double)
491                 mode: hash
492                 outputColumnNames: _col0, _col1, _col2
493                 Statistics: Num rows: 12288 Data size: 147456 Basic stats: COMPLETE Column stats: NONE
494                 Reduce Output Operator
495                   key expressions: _col0 (type: tinyint), _col1 (type: double)
496                   sort order: ++
497                   Map-reduce partition columns: _col0 (type: tinyint)
498                   Reduce Sink Vectorization:
499                       className: VectorReduceSinkOperator
500                       native: false
501                       nativeConditionsMet: hive.vectorized.execution.reducesink.new.enabled IS true, No PTF TopN IS true, BinarySortableSerDe for keys IS true, LazyBinarySerDe for values IS true
502                       nativeConditionsNotMet: hive.execution.engine mr IN [tez, spark] IS false, No DISTINCT columns IS false
503                   Statistics: Num rows: 12288 Data size: 147456 Basic stats: COMPLETE Column stats: NONE
504                   TopN Hash Memory Usage: 0.3
505       Execution mode: vectorized
506       Map Vectorization:
507           enabled: true
508           enabledConditionsMet: hive.vectorized.use.vectorized.input.format IS true
509           inputFormatFeatureSupport: []
510           featureSupportInUse: []
511           inputFileFormats: org.apache.hadoop.hive.ql.io.parquet.MapredParquetInputFormat
512           allNative: false
513           usesVectorUDFAdaptor: false
514           vectorized: true
515           rowBatchContext:
516               dataColumnCount: 12
517               includeColumns: [0, 5]
518               dataColumns: ctinyint:tinyint, csmallint:smallint, cint:int, cbigint:bigint, cfloat:float, cdouble:double, cstring1:string, cstring2:string, ctimestamp1:timestamp, ctimestamp2:timestamp, cboolean1:boolean, cboolean2:boolean
519               partitionColumnCount: 0
520               scratchColumnTypeNames: []
521       Reduce Vectorization:
522           enabled: false
523           enableConditionsMet: hive.vectorized.execution.reduce.enabled IS true
524           enableConditionsNotMet: hive.execution.engine mr IN [tez, spark] IS false
525       Reduce Operator Tree:
526         Group By Operator
527           aggregations: count(DISTINCT KEY._col1:0._col0)
528           keys: KEY._col0 (type: tinyint)
529           mode: mergepartial
530           outputColumnNames: _col0, _col1
531           Statistics: Num rows: 6144 Data size: 73728 Basic stats: COMPLETE Column stats: NONE
532           Limit
533             Number of rows: 20
534             Statistics: Num rows: 20 Data size: 240 Basic stats: COMPLETE Column stats: NONE
535             File Output Operator
536               compressed: false
537               Statistics: Num rows: 20 Data size: 240 Basic stats: COMPLETE Column stats: NONE
538               table:
539                   input format: org.apache.hadoop.mapred.SequenceFileInputFormat
540                   output format: org.apache.hadoop.hive.ql.io.HiveSequenceFileOutputFormat
541                   serde: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
542
543   Stage: Stage-0
544     Fetch Operator
545       limit: 20
546       Processor Tree:
547         ListSink
548
549 PREHOOK: query: select ctinyint, count(distinct(cdouble)) from alltypesparquet group by ctinyint order by ctinyint limit 20
550 PREHOOK: type: QUERY
551 PREHOOK: Input: default@alltypesparquet
552 #### A masked pattern was here ####
553 POSTHOOK: query: select ctinyint, count(distinct(cdouble)) from alltypesparquet group by ctinyint order by ctinyint limit 20
554 POSTHOOK: type: QUERY
555 POSTHOOK: Input: default@alltypesparquet
556 #### A masked pattern was here ####
557 -46     24
558 -47     22
559 -48     29
560 -49     26
561 -50     30
562 -51     21
563 -52     33
564 -53     22
565 -54     26
566 -55     29
567 -56     36
568 -57     35
569 -58     23
570 -59     31
571 -60     27
572 -61     25
573 -62     27
574 -63     19
575 -64     24
576 NULL    2932
577 PREHOOK: query: explain vectorization detail
578 select ctinyint,cdouble from alltypesparquet order by ctinyint limit 0
579 PREHOOK: type: QUERY
580 POSTHOOK: query: explain vectorization detail
581 select ctinyint,cdouble from alltypesparquet order by ctinyint limit 0
582 POSTHOOK: type: QUERY
583 PLAN VECTORIZATION:
584   enabled: true
585   enabledConditionsMet: [hive.vectorized.execution.enabled IS true]
586
587 STAGE DEPENDENCIES:
588   Stage-0 is a root stage
589
590 STAGE PLANS:
591   Stage: Stage-0
592     Fetch Operator
593       limit: 0
594       Processor Tree:
595         ListSink
596
597 PREHOOK: query: select ctinyint,cdouble from alltypesparquet order by ctinyint limit 0
598 PREHOOK: type: QUERY
599 PREHOOK: Input: default@alltypesparquet
600 #### A masked pattern was here ####
601 POSTHOOK: query: select ctinyint,cdouble from alltypesparquet order by ctinyint limit 0
602 POSTHOOK: type: QUERY
603 POSTHOOK: Input: default@alltypesparquet
604 #### A masked pattern was here ####
605 PREHOOK: query: explain vectorization detail
606 select cdouble, sum(ctinyint) as sum from alltypesparquet where ctinyint is not null group by cdouble order by sum, cdouble limit 20
607 PREHOOK: type: QUERY
608 POSTHOOK: query: explain vectorization detail
609 select cdouble, sum(ctinyint) as sum from alltypesparquet where ctinyint is not null group by cdouble order by sum, cdouble limit 20
610 POSTHOOK: type: QUERY
611 PLAN VECTORIZATION:
612   enabled: true
613   enabledConditionsMet: [hive.vectorized.execution.enabled IS true]
614
615 STAGE DEPENDENCIES:
616   Stage-1 is a root stage
617   Stage-2 depends on stages: Stage-1
618   Stage-0 depends on stages: Stage-2
619
620 STAGE PLANS:
621   Stage: Stage-1
622     Map Reduce
623       Map Operator Tree:
624           TableScan
625             alias: alltypesparquet
626             Statistics: Num rows: 12288 Data size: 147456 Basic stats: COMPLETE Column stats: NONE
627             TableScan Vectorization:
628                 native: true
629                 vectorizationSchemaColumns: [0:ctinyint:tinyint, 1:csmallint:smallint, 2:cint:int, 3:cbigint:bigint, 4:cfloat:float, 5:cdouble:double, 6:cstring1:string, 7:cstring2:string, 8:ctimestamp1:timestamp, 9:ctimestamp2:timestamp, 10:cboolean1:boolean, 11:cboolean2:boolean, 12:ROW__ID:struct<transactionid:bigint,bucketid:int,rowid:bigint>]
630             Filter Operator
631               Filter Vectorization:
632                   className: VectorFilterOperator
633                   native: true
634                   predicateExpression: SelectColumnIsNotNull(col 0:tinyint)
635               predicate: ctinyint is not null (type: boolean)
636               Statistics: Num rows: 12288 Data size: 147456 Basic stats: COMPLETE Column stats: NONE
637               Group By Operator
638                 aggregations: sum(ctinyint)
639                 Group By Vectorization:
640                     aggregators: VectorUDAFSumLong(col 0:tinyint) -> bigint
641                     className: VectorGroupByOperator
642                     groupByMode: HASH
643                     keyExpressions: col 5:double
644                     native: false
645                     vectorProcessingMode: HASH
646                     projectedOutputColumnNums: [0]
647                 keys: cdouble (type: double)
648                 mode: hash
649                 outputColumnNames: _col0, _col1
650                 Statistics: Num rows: 12288 Data size: 147456 Basic stats: COMPLETE Column stats: NONE
651                 Reduce Output Operator
652                   key expressions: _col0 (type: double)
653                   sort order: +
654                   Map-reduce partition columns: _col0 (type: double)
655                   Reduce Sink Vectorization:
656                       className: VectorReduceSinkOperator
657                       native: false
658                       nativeConditionsMet: hive.vectorized.execution.reducesink.new.enabled IS true, No PTF TopN IS true, No DISTINCT columns IS true, BinarySortableSerDe for keys IS true, LazyBinarySerDe for values IS true
659                       nativeConditionsNotMet: hive.execution.engine mr IN [tez, spark] IS false
660                   Statistics: Num rows: 12288 Data size: 147456 Basic stats: COMPLETE Column stats: NONE
661                   value expressions: _col1 (type: bigint)
662       Execution mode: vectorized
663       Map Vectorization:
664           enabled: true
665           enabledConditionsMet: hive.vectorized.use.vectorized.input.format IS true
666           inputFormatFeatureSupport: []
667           featureSupportInUse: []
668           inputFileFormats: org.apache.hadoop.hive.ql.io.parquet.MapredParquetInputFormat
669           allNative: false
670           usesVectorUDFAdaptor: false
671           vectorized: true
672           rowBatchContext:
673               dataColumnCount: 12
674               includeColumns: [0, 5]
675               dataColumns: ctinyint:tinyint, csmallint:smallint, cint:int, cbigint:bigint, cfloat:float, cdouble:double, cstring1:string, cstring2:string, ctimestamp1:timestamp, ctimestamp2:timestamp, cboolean1:boolean, cboolean2:boolean
676               partitionColumnCount: 0
677               scratchColumnTypeNames: []
678       Reduce Vectorization:
679           enabled: false
680           enableConditionsMet: hive.vectorized.execution.reduce.enabled IS true
681           enableConditionsNotMet: hive.execution.engine mr IN [tez, spark] IS false
682       Reduce Operator Tree:
683         Group By Operator
684           aggregations: sum(VALUE._col0)
685           keys: KEY._col0 (type: double)
686           mode: mergepartial
687           outputColumnNames: _col0, _col1
688           Statistics: Num rows: 6144 Data size: 73728 Basic stats: COMPLETE Column stats: NONE
689           File Output Operator
690             compressed: false
691             table:
692                 input format: org.apache.hadoop.mapred.SequenceFileInputFormat
693                 output format: org.apache.hadoop.hive.ql.io.HiveSequenceFileOutputFormat
694                 serde: org.apache.hadoop.hive.serde2.lazybinary.LazyBinarySerDe
695
696   Stage: Stage-2
697     Map Reduce
698       Map Operator Tree:
699           TableScan
700             TableScan Vectorization:
701                 native: true
702                 vectorizationSchemaColumns: [0:_col0:double, 1:_col1:bigint]
703             Reduce Output Operator
704               key expressions: _col1 (type: bigint), _col0 (type: double)
705               sort order: ++
706               Reduce Sink Vectorization:
707                   className: VectorReduceSinkOperator
708                   native: false
709                   nativeConditionsMet: hive.vectorized.execution.reducesink.new.enabled IS true, No PTF TopN IS true, No DISTINCT columns IS true, BinarySortableSerDe for keys IS true, LazyBinarySerDe for values IS true
710                   nativeConditionsNotMet: hive.execution.engine mr IN [tez, spark] IS false
711               Statistics: Num rows: 6144 Data size: 73728 Basic stats: COMPLETE Column stats: NONE
712               TopN Hash Memory Usage: 0.3
713       Execution mode: vectorized
714       Map Vectorization:
715           enabled: true
716           enabledConditionsMet: hive.vectorized.use.vector.serde.deserialize IS true
717           inputFormatFeatureSupport: []
718           featureSupportInUse: []
719           inputFileFormats: org.apache.hadoop.mapred.SequenceFileInputFormat
720           allNative: false
721           usesVectorUDFAdaptor: false
722           vectorized: true
723           rowBatchContext:
724               dataColumnCount: 2
725               includeColumns: [0, 1]
726               dataColumns: _col0:double, _col1:bigint
727               partitionColumnCount: 0
728               scratchColumnTypeNames: []
729       Reduce Vectorization:
730           enabled: false
731           enableConditionsMet: hive.vectorized.execution.reduce.enabled IS true
732           enableConditionsNotMet: hive.execution.engine mr IN [tez, spark] IS false
733       Reduce Operator Tree:
734         Select Operator
735           expressions: KEY.reducesinkkey1 (type: double), KEY.reducesinkkey0 (type: bigint)
736           outputColumnNames: _col0, _col1
737           Statistics: Num rows: 6144 Data size: 73728 Basic stats: COMPLETE Column stats: NONE
738           Limit
739             Number of rows: 20
740             Statistics: Num rows: 20 Data size: 240 Basic stats: COMPLETE Column stats: NONE
741             File Output Operator
742               compressed: false
743               Statistics: Num rows: 20 Data size: 240 Basic stats: COMPLETE Column stats: NONE
744               table:
745                   input format: org.apache.hadoop.mapred.SequenceFileInputFormat
746                   output format: org.apache.hadoop.hive.ql.io.HiveSequenceFileOutputFormat
747                   serde: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
748
749   Stage: Stage-0
750     Fetch Operator
751       limit: 20
752       Processor Tree:
753         ListSink
754
755 PREHOOK: query: select cdouble, sum(ctinyint) as sum from alltypesparquet where ctinyint is not null group by cdouble order by sum, cdouble limit 20
756 PREHOOK: type: QUERY
757 PREHOOK: Input: default@alltypesparquet
758 #### A masked pattern was here ####
759 POSTHOOK: query: select cdouble, sum(ctinyint) as sum from alltypesparquet where ctinyint is not null group by cdouble order by sum, cdouble limit 20
760 POSTHOOK: type: QUERY
761 POSTHOOK: Input: default@alltypesparquet
762 #### A masked pattern was here ####
763 -10462.0        -64
764 -1121.0 -89
765 -11322.0        -101
766 -11492.0        -78
767 -15920.0        -64
768 -4803.0 -64
769 -6907.0 -64
770 -7196.0 -2009
771 -8080.0 -64
772 -8118.0 -80
773 -9842.0 -64
774 10496.0 -67
775 15601.0 -1733
776 3520.0  -86
777 4811.0  -115
778 5241.0  -80
779 557.0   -75
780 7705.0  -88
781 9452.0  -76
782 NULL    -32768