HIVE-18797 : ExprConstNodeDesc's getExprString should put appropriate qualifier with...
[hive.git] / ql / src / test / results / clientpositive / parquet_vectorization_2.q.out
1 PREHOOK: query: EXPLAIN VECTORIZATION DETAIL
2 SELECT AVG(csmallint),
3        (AVG(csmallint) % -563),
4        (AVG(csmallint) + 762),
5        SUM(cfloat),
6        VAR_POP(cbigint),
7        (-(VAR_POP(cbigint))),
8        (SUM(cfloat) - AVG(csmallint)),
9        COUNT(*),
10        (-((SUM(cfloat) - AVG(csmallint)))),
11        (VAR_POP(cbigint) - 762),
12        MIN(ctinyint),
13        ((-(VAR_POP(cbigint))) + MIN(ctinyint)),
14        AVG(cdouble),
15        (((-(VAR_POP(cbigint))) + MIN(ctinyint)) - SUM(cfloat))
16 FROM   alltypesparquet
17 WHERE  (((ctimestamp1 < ctimestamp2)
18          AND ((cstring2 LIKE 'b%')
19               AND (cfloat <= -5638.15)))
20         OR ((cdouble < ctinyint)
21             AND ((-10669 != ctimestamp2)
22                  OR (359 > cint))))
23 PREHOOK: type: QUERY
24 POSTHOOK: query: EXPLAIN VECTORIZATION DETAIL
25 SELECT AVG(csmallint),
26        (AVG(csmallint) % -563),
27        (AVG(csmallint) + 762),
28        SUM(cfloat),
29        VAR_POP(cbigint),
30        (-(VAR_POP(cbigint))),
31        (SUM(cfloat) - AVG(csmallint)),
32        COUNT(*),
33        (-((SUM(cfloat) - AVG(csmallint)))),
34        (VAR_POP(cbigint) - 762),
35        MIN(ctinyint),
36        ((-(VAR_POP(cbigint))) + MIN(ctinyint)),
37        AVG(cdouble),
38        (((-(VAR_POP(cbigint))) + MIN(ctinyint)) - SUM(cfloat))
39 FROM   alltypesparquet
40 WHERE  (((ctimestamp1 < ctimestamp2)
41          AND ((cstring2 LIKE 'b%')
42               AND (cfloat <= -5638.15)))
43         OR ((cdouble < ctinyint)
44             AND ((-10669 != ctimestamp2)
45                  OR (359 > cint))))
46 POSTHOOK: type: QUERY
47 PLAN VECTORIZATION:
48   enabled: true
49   enabledConditionsMet: [hive.vectorized.execution.enabled IS true]
50
51 STAGE DEPENDENCIES:
52   Stage-1 is a root stage
53   Stage-0 depends on stages: Stage-1
54
55 STAGE PLANS:
56   Stage: Stage-1
57     Map Reduce
58       Map Operator Tree:
59           TableScan
60             alias: alltypesparquet
61             Statistics: Num rows: 12288 Data size: 147456 Basic stats: COMPLETE Column stats: NONE
62             TableScan Vectorization:
63                 native: true
64                 vectorizationSchemaColumns: [0:ctinyint:tinyint, 1:csmallint:smallint, 2:cint:int, 3:cbigint:bigint, 4:cfloat:float, 5:cdouble:double, 6:cstring1:string, 7:cstring2:string, 8:ctimestamp1:timestamp, 9:ctimestamp2:timestamp, 10:cboolean1:boolean, 11:cboolean2:boolean, 12:ROW__ID:struct<transactionid:bigint,bucketid:int,rowid:bigint>]
65             Filter Operator
66               Filter Vectorization:
67                   className: VectorFilterOperator
68                   native: true
69                   predicateExpression: FilterExprOrExpr(children: FilterExprAndExpr(children: FilterTimestampColLessTimestampColumn(col 8:timestamp, col 9:timestamp), FilterStringColLikeStringScalar(col 7:string, pattern b%), FilterDoubleColLessEqualDoubleScalar(col 4:float, val -5638.14990234375)), FilterExprAndExpr(children: FilterDoubleColLessDoubleColumn(col 5:double, col 13:double)(children: CastLongToDouble(col 0:tinyint) -> 13:double), FilterExprOrExpr(children: FilterDoubleScalarNotEqualDoubleColumn(val -10669.0, col 13:double)(children: CastTimestampToDouble(col 9:timestamp) -> 13:double), FilterLongScalarGreaterLongColumn(val 359, col 2:int))))
70               predicate: (((cdouble < UDFToDouble(ctinyint)) and ((-10669.0D <> UDFToDouble(ctimestamp2)) or (359 > cint))) or ((ctimestamp1 < ctimestamp2) and (cstring2 like 'b%') and (cfloat <= -5638.15))) (type: boolean)
71               Statistics: Num rows: 4778 Data size: 57336 Basic stats: COMPLETE Column stats: NONE
72               Select Operator
73                 expressions: ctinyint (type: tinyint), csmallint (type: smallint), cbigint (type: bigint), cfloat (type: float), cdouble (type: double)
74                 outputColumnNames: ctinyint, csmallint, cbigint, cfloat, cdouble
75                 Select Vectorization:
76                     className: VectorSelectOperator
77                     native: true
78                     projectedOutputColumnNums: [0, 1, 3, 4, 5]
79                 Statistics: Num rows: 4778 Data size: 57336 Basic stats: COMPLETE Column stats: NONE
80                 Group By Operator
81                   aggregations: avg(csmallint), sum(cfloat), var_pop(cbigint), count(), min(ctinyint), avg(cdouble)
82                   Group By Vectorization:
83                       aggregators: VectorUDAFAvgLong(col 1:smallint) -> struct<count:bigint,sum:double,input:smallint>, VectorUDAFSumDouble(col 4:float) -> double, VectorUDAFVarLong(col 3:bigint) -> struct<count:bigint,sum:double,variance:double> aggregation: var_pop, VectorUDAFCountStar(*) -> bigint, VectorUDAFMinLong(col 0:tinyint) -> tinyint, VectorUDAFAvgDouble(col 5:double) -> struct<count:bigint,sum:double,input:double>
84                       className: VectorGroupByOperator
85                       groupByMode: HASH
86                       native: false
87                       vectorProcessingMode: HASH
88                       projectedOutputColumnNums: [0, 1, 2, 3, 4, 5]
89                   mode: hash
90                   outputColumnNames: _col0, _col1, _col2, _col3, _col4, _col5
91                   Statistics: Num rows: 1 Data size: 256 Basic stats: COMPLETE Column stats: NONE
92                   Reduce Output Operator
93                     sort order: 
94                     Reduce Sink Vectorization:
95                         className: VectorReduceSinkOperator
96                         native: false
97                         nativeConditionsMet: hive.vectorized.execution.reducesink.new.enabled IS true, No PTF TopN IS true, No DISTINCT columns IS true, BinarySortableSerDe for keys IS true, LazyBinarySerDe for values IS true
98                         nativeConditionsNotMet: hive.execution.engine mr IN [tez, spark] IS false
99                     Statistics: Num rows: 1 Data size: 256 Basic stats: COMPLETE Column stats: NONE
100                     value expressions: _col0 (type: struct<count:bigint,sum:double,input:smallint>), _col1 (type: double), _col2 (type: struct<count:bigint,sum:double,variance:double>), _col3 (type: bigint), _col4 (type: tinyint), _col5 (type: struct<count:bigint,sum:double,input:double>)
101       Execution mode: vectorized
102       Map Vectorization:
103           enabled: true
104           enabledConditionsMet: hive.vectorized.use.vectorized.input.format IS true
105           inputFormatFeatureSupport: []
106           featureSupportInUse: []
107           inputFileFormats: org.apache.hadoop.hive.ql.io.parquet.MapredParquetInputFormat
108           allNative: false
109           usesVectorUDFAdaptor: false
110           vectorized: true
111           rowBatchContext:
112               dataColumnCount: 12
113               includeColumns: [0, 1, 2, 3, 4, 5, 7, 8, 9]
114               dataColumns: ctinyint:tinyint, csmallint:smallint, cint:int, cbigint:bigint, cfloat:float, cdouble:double, cstring1:string, cstring2:string, ctimestamp1:timestamp, ctimestamp2:timestamp, cboolean1:boolean, cboolean2:boolean
115               partitionColumnCount: 0
116               scratchColumnTypeNames: [double]
117       Reduce Vectorization:
118           enabled: false
119           enableConditionsMet: hive.vectorized.execution.reduce.enabled IS true
120           enableConditionsNotMet: hive.execution.engine mr IN [tez, spark] IS false
121       Reduce Operator Tree:
122         Group By Operator
123           aggregations: avg(VALUE._col0), sum(VALUE._col1), var_pop(VALUE._col2), count(VALUE._col3), min(VALUE._col4), avg(VALUE._col5)
124           mode: mergepartial
125           outputColumnNames: _col0, _col1, _col2, _col3, _col4, _col5
126           Statistics: Num rows: 1 Data size: 256 Basic stats: COMPLETE Column stats: NONE
127           Select Operator
128             expressions: _col0 (type: double), (_col0 % -563.0D) (type: double), (_col0 + 762.0D) (type: double), _col1 (type: double), _col2 (type: double), (- _col2) (type: double), (_col1 - _col0) (type: double), _col3 (type: bigint), (- (_col1 - _col0)) (type: double), (_col2 - 762.0D) (type: double), _col4 (type: tinyint), ((- _col2) + UDFToDouble(_col4)) (type: double), _col5 (type: double), (((- _col2) + UDFToDouble(_col4)) - _col1) (type: double)
129             outputColumnNames: _col0, _col1, _col2, _col3, _col4, _col5, _col6, _col7, _col8, _col9, _col10, _col11, _col12, _col13
130             Statistics: Num rows: 1 Data size: 256 Basic stats: COMPLETE Column stats: NONE
131             File Output Operator
132               compressed: false
133               Statistics: Num rows: 1 Data size: 256 Basic stats: COMPLETE Column stats: NONE
134               table:
135                   input format: org.apache.hadoop.mapred.SequenceFileInputFormat
136                   output format: org.apache.hadoop.hive.ql.io.HiveSequenceFileOutputFormat
137                   serde: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
138
139   Stage: Stage-0
140     Fetch Operator
141       limit: -1
142       Processor Tree:
143         ListSink
144
145 PREHOOK: query: SELECT AVG(csmallint),
146        (AVG(csmallint) % -563),
147        (AVG(csmallint) + 762),
148        SUM(cfloat),
149        VAR_POP(cbigint),
150        (-(VAR_POP(cbigint))),
151        (SUM(cfloat) - AVG(csmallint)),
152        COUNT(*),
153        (-((SUM(cfloat) - AVG(csmallint)))),
154        (VAR_POP(cbigint) - 762),
155        MIN(ctinyint),
156        ((-(VAR_POP(cbigint))) + MIN(ctinyint)),
157        AVG(cdouble),
158        (((-(VAR_POP(cbigint))) + MIN(ctinyint)) - SUM(cfloat))
159 FROM   alltypesparquet
160 WHERE  (((ctimestamp1 < ctimestamp2)
161          AND ((cstring2 LIKE 'b%')
162               AND (cfloat <= -5638.15)))
163         OR ((cdouble < ctinyint)
164             AND ((-10669 != ctimestamp2)
165                  OR (359 > cint))))
166 PREHOOK: type: QUERY
167 PREHOOK: Input: default@alltypesparquet
168 #### A masked pattern was here ####
169 POSTHOOK: query: SELECT AVG(csmallint),
170        (AVG(csmallint) % -563),
171        (AVG(csmallint) + 762),
172        SUM(cfloat),
173        VAR_POP(cbigint),
174        (-(VAR_POP(cbigint))),
175        (SUM(cfloat) - AVG(csmallint)),
176        COUNT(*),
177        (-((SUM(cfloat) - AVG(csmallint)))),
178        (VAR_POP(cbigint) - 762),
179        MIN(ctinyint),
180        ((-(VAR_POP(cbigint))) + MIN(ctinyint)),
181        AVG(cdouble),
182        (((-(VAR_POP(cbigint))) + MIN(ctinyint)) - SUM(cfloat))
183 FROM   alltypesparquet
184 WHERE  (((ctimestamp1 < ctimestamp2)
185          AND ((cstring2 LIKE 'b%')
186               AND (cfloat <= -5638.15)))
187         OR ((cdouble < ctinyint)
188             AND ((-10669 != ctimestamp2)
189                  OR (359 > cint))))
190 POSTHOOK: type: QUERY
191 POSTHOOK: Input: default@alltypesparquet
192 #### A masked pattern was here ####
193 -5646.467075892857      -16.467075892856883     -4884.467075892857      -2839.634998679161      1.49936299222378778E18  -1.49936299222378778E18 2806.832077213696       3584    -2806.832077213696      1.49936299222378701E18  -64     -1.49936299222378778E18 -5650.1297631138395     -1.49936299222378496E18