HIVE-18797 : ExprConstNodeDesc's getExprString should put appropriate qualifier with...
[hive.git] / ql / src / test / results / clientpositive / spark / vectorization_4.q.out
1 PREHOOK: query: EXPLAIN VECTORIZATION DETAIL
2 SELECT SUM(cint),
3        (SUM(cint) * -563),
4        (-3728 + SUM(cint)),
5        STDDEV_POP(cdouble),
6        (-(STDDEV_POP(cdouble))),
7        AVG(cdouble),
8        ((SUM(cint) * -563) % SUM(cint)),
9        (((SUM(cint) * -563) % SUM(cint)) / AVG(cdouble)),
10        VAR_POP(cdouble),
11        (-((((SUM(cint) * -563) % SUM(cint)) / AVG(cdouble)))),
12        ((-3728 + SUM(cint)) - (SUM(cint) * -563)),
13        MIN(ctinyint),
14        MIN(ctinyint),
15        (MIN(ctinyint) * (-((((SUM(cint) * -563) % SUM(cint)) / AVG(cdouble)))))
16 FROM   alltypesorc
17 WHERE  (((csmallint >= cint)
18          OR ((-89010 >= ctinyint)
19              AND (cdouble > 79.553)))
20         OR ((-563 != cbigint)
21             AND ((ctinyint != cbigint)
22                  OR (-3728 >= cdouble))))
23 PREHOOK: type: QUERY
24 POSTHOOK: query: EXPLAIN VECTORIZATION DETAIL
25 SELECT SUM(cint),
26        (SUM(cint) * -563),
27        (-3728 + SUM(cint)),
28        STDDEV_POP(cdouble),
29        (-(STDDEV_POP(cdouble))),
30        AVG(cdouble),
31        ((SUM(cint) * -563) % SUM(cint)),
32        (((SUM(cint) * -563) % SUM(cint)) / AVG(cdouble)),
33        VAR_POP(cdouble),
34        (-((((SUM(cint) * -563) % SUM(cint)) / AVG(cdouble)))),
35        ((-3728 + SUM(cint)) - (SUM(cint) * -563)),
36        MIN(ctinyint),
37        MIN(ctinyint),
38        (MIN(ctinyint) * (-((((SUM(cint) * -563) % SUM(cint)) / AVG(cdouble)))))
39 FROM   alltypesorc
40 WHERE  (((csmallint >= cint)
41          OR ((-89010 >= ctinyint)
42              AND (cdouble > 79.553)))
43         OR ((-563 != cbigint)
44             AND ((ctinyint != cbigint)
45                  OR (-3728 >= cdouble))))
46 POSTHOOK: type: QUERY
47 PLAN VECTORIZATION:
48   enabled: true
49   enabledConditionsMet: [hive.vectorized.execution.enabled IS true]
50
51 STAGE DEPENDENCIES:
52   Stage-1 is a root stage
53   Stage-0 depends on stages: Stage-1
54
55 STAGE PLANS:
56   Stage: Stage-1
57     Spark
58       Edges:
59         Reducer 2 <- Map 1 (GROUP, 1)
60 #### A masked pattern was here ####
61       Vertices:
62         Map 1 
63             Map Operator Tree:
64                 TableScan
65                   alias: alltypesorc
66                   Statistics: Num rows: 12288 Data size: 2641964 Basic stats: COMPLETE Column stats: NONE
67                   TableScan Vectorization:
68                       native: true
69                       vectorizationSchemaColumns: [0:ctinyint:tinyint, 1:csmallint:smallint, 2:cint:int, 3:cbigint:bigint, 4:cfloat:float, 5:cdouble:double, 6:cstring1:string, 7:cstring2:string, 8:ctimestamp1:timestamp, 9:ctimestamp2:timestamp, 10:cboolean1:boolean, 11:cboolean2:boolean, 12:ROW__ID:struct<transactionid:bigint,bucketid:int,rowid:bigint>]
70                   Filter Operator
71                     Filter Vectorization:
72                         className: VectorFilterOperator
73                         native: true
74                         predicateExpression: FilterExprOrExpr(children: FilterLongColGreaterEqualLongColumn(col 1:int, col 2:int)(children: col 1:smallint), FilterExprAndExpr(children: FilterLongScalarGreaterEqualLongColumn(val -89010, col 0:int)(children: col 0:tinyint), FilterDoubleColGreaterDoubleScalar(col 5:double, val 79.553)), FilterExprAndExpr(children: FilterLongScalarNotEqualLongColumn(val -563, col 3:bigint), FilterExprOrExpr(children: FilterLongColNotEqualLongColumn(col 0:bigint, col 3:bigint)(children: col 0:tinyint), FilterDoubleScalarGreaterEqualDoubleColumn(val -3728.0, col 5:double))))
75                     predicate: (((-563L <> cbigint) and ((UDFToLong(ctinyint) <> cbigint) or (-3728.0D >= cdouble))) or ((-89010 >= UDFToInteger(ctinyint)) and (cdouble > 79.553D)) or (UDFToInteger(csmallint) >= cint)) (type: boolean)
76                     Statistics: Num rows: 12288 Data size: 2641964 Basic stats: COMPLETE Column stats: NONE
77                     Select Operator
78                       expressions: ctinyint (type: tinyint), cint (type: int), cdouble (type: double)
79                       outputColumnNames: ctinyint, cint, cdouble
80                       Select Vectorization:
81                           className: VectorSelectOperator
82                           native: true
83                           projectedOutputColumnNums: [0, 2, 5]
84                       Statistics: Num rows: 12288 Data size: 2641964 Basic stats: COMPLETE Column stats: NONE
85                       Group By Operator
86                         aggregations: sum(cint), stddev_pop(cdouble), avg(cdouble), var_pop(cdouble), min(ctinyint)
87                         Group By Vectorization:
88                             aggregators: VectorUDAFSumLong(col 2:int) -> bigint, VectorUDAFVarDouble(col 5:double) -> struct<count:bigint,sum:double,variance:double> aggregation: stddev_pop, VectorUDAFAvgDouble(col 5:double) -> struct<count:bigint,sum:double,input:double>, VectorUDAFVarDouble(col 5:double) -> struct<count:bigint,sum:double,variance:double> aggregation: var_pop, VectorUDAFMinLong(col 0:tinyint) -> tinyint
89                             className: VectorGroupByOperator
90                             groupByMode: HASH
91                             native: false
92                             vectorProcessingMode: HASH
93                             projectedOutputColumnNums: [0, 1, 2, 3, 4]
94                         mode: hash
95                         outputColumnNames: _col0, _col1, _col2, _col3, _col4
96                         Statistics: Num rows: 1 Data size: 252 Basic stats: COMPLETE Column stats: NONE
97                         Reduce Output Operator
98                           sort order: 
99                           Reduce Sink Vectorization:
100                               className: VectorReduceSinkEmptyKeyOperator
101                               keyColumnNums: []
102                               native: true
103                               nativeConditionsMet: hive.vectorized.execution.reducesink.new.enabled IS true, hive.execution.engine spark IN [tez, spark] IS true, No PTF TopN IS true, No DISTINCT columns IS true, BinarySortableSerDe for keys IS true, LazyBinarySerDe for values IS true
104                               valueColumnNums: [0, 1, 2, 3, 4]
105                           Statistics: Num rows: 1 Data size: 252 Basic stats: COMPLETE Column stats: NONE
106                           value expressions: _col0 (type: bigint), _col1 (type: struct<count:bigint,sum:double,variance:double>), _col2 (type: struct<count:bigint,sum:double,input:double>), _col3 (type: struct<count:bigint,sum:double,variance:double>), _col4 (type: tinyint)
107             Execution mode: vectorized
108             Map Vectorization:
109                 enabled: true
110                 enabledConditionsMet: hive.vectorized.use.vectorized.input.format IS true
111                 inputFormatFeatureSupport: []
112                 featureSupportInUse: []
113                 inputFileFormats: org.apache.hadoop.hive.ql.io.orc.OrcInputFormat
114                 allNative: false
115                 usesVectorUDFAdaptor: false
116                 vectorized: true
117                 rowBatchContext:
118                     dataColumnCount: 12
119                     includeColumns: [0, 1, 2, 3, 5]
120                     dataColumns: ctinyint:tinyint, csmallint:smallint, cint:int, cbigint:bigint, cfloat:float, cdouble:double, cstring1:string, cstring2:string, ctimestamp1:timestamp, ctimestamp2:timestamp, cboolean1:boolean, cboolean2:boolean
121                     partitionColumnCount: 0
122                     scratchColumnTypeNames: []
123         Reducer 2 
124             Reduce Vectorization:
125                 enabled: true
126                 enableConditionsMet: hive.vectorized.execution.reduce.enabled IS true, hive.execution.engine spark IN [tez, spark] IS true
127                 notVectorizedReason: GROUPBY operator: Vector aggregation : "stddev_pop" for input type: "STRUCT" and output type: "DOUBLE" and mode: FINAL not supported for evaluator GenericUDAFStdEvaluator
128                 vectorized: false
129             Reduce Operator Tree:
130               Group By Operator
131                 aggregations: sum(VALUE._col0), stddev_pop(VALUE._col1), avg(VALUE._col2), var_pop(VALUE._col3), min(VALUE._col4)
132                 mode: mergepartial
133                 outputColumnNames: _col0, _col1, _col2, _col3, _col4
134                 Statistics: Num rows: 1 Data size: 252 Basic stats: COMPLETE Column stats: NONE
135                 Select Operator
136                   expressions: _col0 (type: bigint), (_col0 * -563L) (type: bigint), (-3728L + _col0) (type: bigint), _col1 (type: double), (- _col1) (type: double), _col2 (type: double), ((_col0 * -563L) % _col0) (type: bigint), (UDFToDouble(((_col0 * -563L) % _col0)) / _col2) (type: double), _col3 (type: double), (- (UDFToDouble(((_col0 * -563L) % _col0)) / _col2)) (type: double), ((-3728L + _col0) - (_col0 * -563L)) (type: bigint), _col4 (type: tinyint), _col4 (type: tinyint), (UDFToDouble(_col4) * (- (UDFToDouble(((_col0 * -563L) % _col0)) / _col2))) (type: double)
137                   outputColumnNames: _col0, _col1, _col2, _col3, _col4, _col5, _col6, _col7, _col8, _col9, _col10, _col11, _col12, _col13
138                   Statistics: Num rows: 1 Data size: 252 Basic stats: COMPLETE Column stats: NONE
139                   File Output Operator
140                     compressed: false
141                     Statistics: Num rows: 1 Data size: 252 Basic stats: COMPLETE Column stats: NONE
142                     table:
143                         input format: org.apache.hadoop.mapred.SequenceFileInputFormat
144                         output format: org.apache.hadoop.hive.ql.io.HiveSequenceFileOutputFormat
145                         serde: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
146
147   Stage: Stage-0
148     Fetch Operator
149       limit: -1
150       Processor Tree:
151         ListSink
152
153 PREHOOK: query: SELECT SUM(cint),
154        (SUM(cint) * -563),
155        (-3728 + SUM(cint)),
156        STDDEV_POP(cdouble),
157        (-(STDDEV_POP(cdouble))),
158        AVG(cdouble),
159        ((SUM(cint) * -563) % SUM(cint)),
160        (((SUM(cint) * -563) % SUM(cint)) / AVG(cdouble)),
161        VAR_POP(cdouble),
162        (-((((SUM(cint) * -563) % SUM(cint)) / AVG(cdouble)))),
163        ((-3728 + SUM(cint)) - (SUM(cint) * -563)),
164        MIN(ctinyint),
165        MIN(ctinyint),
166        (MIN(ctinyint) * (-((((SUM(cint) * -563) % SUM(cint)) / AVG(cdouble)))))
167 FROM   alltypesorc
168 WHERE  (((csmallint >= cint)
169          OR ((-89010 >= ctinyint)
170              AND (cdouble > 79.553)))
171         OR ((-563 != cbigint)
172             AND ((ctinyint != cbigint)
173                  OR (-3728 >= cdouble))))
174 PREHOOK: type: QUERY
175 PREHOOK: Input: default@alltypesorc
176 #### A masked pattern was here ####
177 POSTHOOK: query: SELECT SUM(cint),
178        (SUM(cint) * -563),
179        (-3728 + SUM(cint)),
180        STDDEV_POP(cdouble),
181        (-(STDDEV_POP(cdouble))),
182        AVG(cdouble),
183        ((SUM(cint) * -563) % SUM(cint)),
184        (((SUM(cint) * -563) % SUM(cint)) / AVG(cdouble)),
185        VAR_POP(cdouble),
186        (-((((SUM(cint) * -563) % SUM(cint)) / AVG(cdouble)))),
187        ((-3728 + SUM(cint)) - (SUM(cint) * -563)),
188        MIN(ctinyint),
189        MIN(ctinyint),
190        (MIN(ctinyint) * (-((((SUM(cint) * -563) % SUM(cint)) / AVG(cdouble)))))
191 FROM   alltypesorc
192 WHERE  (((csmallint >= cint)
193          OR ((-89010 >= ctinyint)
194              AND (cdouble > 79.553)))
195         OR ((-563 != cbigint)
196             AND ((ctinyint != cbigint)
197                  OR (-3728 >= cdouble))))
198 POSTHOOK: type: QUERY
199 POSTHOOK: Input: default@alltypesorc
200 #### A masked pattern was here ####
201 -493101012745   277615870175435 -493101016473   136727.7868296355       -136727.7868296355      2298.5515807767374      0       0.0     1.8694487691330246E10   -0.0    -278108971191908        -64     -64     0.0