HIVE-18797 : ExprConstNodeDesc's getExprString should put appropriate qualifier with...
[hive.git] / ql / src / test / results / clientpositive / llap / vector_ptf_part_simple.q.out
1 PREHOOK: query: create table vector_ptf_part_simple_text(p_mfgr string, p_name string, p_retailprice double)
2         ROW FORMAT DELIMITED
3         FIELDS TERMINATED BY '\t'
4         STORED AS TEXTFILE
5 PREHOOK: type: CREATETABLE
6 PREHOOK: Output: database:default
7 PREHOOK: Output: default@vector_ptf_part_simple_text
8 POSTHOOK: query: create table vector_ptf_part_simple_text(p_mfgr string, p_name string, p_retailprice double)
9         ROW FORMAT DELIMITED
10         FIELDS TERMINATED BY '\t'
11         STORED AS TEXTFILE
12 POSTHOOK: type: CREATETABLE
13 POSTHOOK: Output: database:default
14 POSTHOOK: Output: default@vector_ptf_part_simple_text
15 PREHOOK: query: LOAD DATA LOCAL INPATH '../../data/files/vector_ptf_part_simple.txt' OVERWRITE INTO TABLE vector_ptf_part_simple_text
16 PREHOOK: type: LOAD
17 #### A masked pattern was here ####
18 PREHOOK: Output: default@vector_ptf_part_simple_text
19 POSTHOOK: query: LOAD DATA LOCAL INPATH '../../data/files/vector_ptf_part_simple.txt' OVERWRITE INTO TABLE vector_ptf_part_simple_text
20 POSTHOOK: type: LOAD
21 #### A masked pattern was here ####
22 POSTHOOK: Output: default@vector_ptf_part_simple_text
23 PREHOOK: query: create table vector_ptf_part_simple_orc(p_mfgr string, p_name string, p_retailprice double) stored as orc
24 PREHOOK: type: CREATETABLE
25 PREHOOK: Output: database:default
26 PREHOOK: Output: default@vector_ptf_part_simple_orc
27 POSTHOOK: query: create table vector_ptf_part_simple_orc(p_mfgr string, p_name string, p_retailprice double) stored as orc
28 POSTHOOK: type: CREATETABLE
29 POSTHOOK: Output: database:default
30 POSTHOOK: Output: default@vector_ptf_part_simple_orc
31 PREHOOK: query: INSERT INTO TABLE vector_ptf_part_simple_orc SELECT * FROM vector_ptf_part_simple_text
32 PREHOOK: type: QUERY
33 PREHOOK: Input: default@vector_ptf_part_simple_text
34 PREHOOK: Output: default@vector_ptf_part_simple_orc
35 POSTHOOK: query: INSERT INTO TABLE vector_ptf_part_simple_orc SELECT * FROM vector_ptf_part_simple_text
36 POSTHOOK: type: QUERY
37 POSTHOOK: Input: default@vector_ptf_part_simple_text
38 POSTHOOK: Output: default@vector_ptf_part_simple_orc
39 POSTHOOK: Lineage: vector_ptf_part_simple_orc.p_mfgr SIMPLE [(vector_ptf_part_simple_text)vector_ptf_part_simple_text.FieldSchema(name:p_mfgr, type:string, comment:null), ]
40 POSTHOOK: Lineage: vector_ptf_part_simple_orc.p_name SIMPLE [(vector_ptf_part_simple_text)vector_ptf_part_simple_text.FieldSchema(name:p_name, type:string, comment:null), ]
41 POSTHOOK: Lineage: vector_ptf_part_simple_orc.p_retailprice SIMPLE [(vector_ptf_part_simple_text)vector_ptf_part_simple_text.FieldSchema(name:p_retailprice, type:double, comment:null), ]
42 vector_ptf_part_simple_text.p_mfgr      vector_ptf_part_simple_text.p_name      vector_ptf_part_simple_text.p_retailprice
43 PREHOOK: query: select * from vector_ptf_part_simple_orc
44 PREHOOK: type: QUERY
45 PREHOOK: Input: default@vector_ptf_part_simple_orc
46 #### A masked pattern was here ####
47 POSTHOOK: query: select * from vector_ptf_part_simple_orc
48 POSTHOOK: type: QUERY
49 POSTHOOK: Input: default@vector_ptf_part_simple_orc
50 #### A masked pattern was here ####
51 vector_ptf_part_simple_orc.p_mfgr       vector_ptf_part_simple_orc.p_name       vector_ptf_part_simple_orc.p_retailprice
52 Manufacturer#2  almond aquamarine rose maroon antique   900.66
53 Manufacturer#1  almond aquamarine burnished black steel 1414.42
54 Manufacturer#2  almond aquamarine rose maroon antique   1698.66
55 Manufacturer#1  almond aquamarine pink moccasin thistle NULL
56 Manufacturer#1  almond antique chartreuse lavender yellow       1753.76
57 Manufacturer#5  almond antique medium spring khaki      1611.66
58 Manufacturer#5  almond antique blue firebrick mint      1789.69
59 Manufacturer#1  almond antique burnished rose metallic  1173.15
60 Manufacturer#1  almond aquamarine pink moccasin thistle 1632.66
61 Manufacturer#3  almond antique forest lavender goldenrod        1190.27
62 Manufacturer#4  almond aquamarine yellow dodger mint    1844.92
63 Manufacturer#1  almond antique chartreuse lavender yellow       1753.76
64 Manufacturer#2  almond antique violet turquoise frosted 1800.7
65 Manufacturer#3  almond antique forest lavender goldenrod        NULL
66 Manufacturer#2  almond antique violet chocolate turquoise       1690.68
67 Manufacturer#4  almond antique violet mint lemon        1375.42
68 Manufacturer#1  almond aquamarine pink moccasin thistle 1632.66
69 Manufacturer#5  almond azure blanched chiffon midnight  1464.48
70 Manufacturer#3  almond antique forest lavender goldenrod        590.27
71 Manufacturer#1  almond antique chartreuse lavender yellow       1753.76
72 Manufacturer#2  almond antique violet turquoise frosted 1800.7
73 Manufacturer#5  almond antique sky peru orange  1788.73
74 Manufacturer#1  almond aquamarine pink moccasin thistle 1632.66
75 Manufacturer#3  almond antique chartreuse khaki white   99.68
76 Manufacturer#4  almond antique gainsboro frosted violet NULL
77 Manufacturer#1  almond antique chartreuse lavender yellow       1753.76
78 Manufacturer#2  almond antique violet turquoise frosted 1800.7
79 Manufacturer#3  almond antique olive coral navajo       1337.29
80 Manufacturer#5  almond antique medium spring khaki      1611.66
81 Manufacturer#1  almond antique salmon chartreuse burlywood      1602.59
82 Manufacturer#3  almond antique misty red olive  1922.98
83 Manufacturer#2  almond aquamarine sandy cyan gainsboro  1000.6
84 Manufacturer#3  almond antique forest lavender goldenrod        1190.27
85 Manufacturer#2  almond aquamarine midnight light salmon 2031.98
86 Manufacturer#4  almond aquamarine floral ivory bisque   NULL
87 Manufacturer#5  almond aquamarine dodger light gainsboro        1018.1
88 Manufacturer#4  almond azure aquamarine papaya violet   1290.35
89 Manufacturer#3  almond antique metallic orange dim      55.39
90 Manufacturer#1  almond antique burnished rose metallic  1173.15
91 Manufacturer#4  almond aquamarine floral ivory bisque   1206.26
92 PREHOOK: query: explain vectorization detail
93 select p_mfgr,p_name, p_retailprice,
94 row_number() over(partition by p_mfgr) as rn,
95 rank() over(partition by p_mfgr) as r,
96 dense_rank() over(partition by p_mfgr) as dr,
97 first_value(p_retailprice) over(partition by p_mfgr) as fv,
98 last_value(p_retailprice) over(partition by p_mfgr) as lv,
99 count(p_retailprice) over(partition by p_mfgr) as c,
100 count(*) over(partition by p_mfgr) as cs
101 from vector_ptf_part_simple_orc
102 PREHOOK: type: QUERY
103 POSTHOOK: query: explain vectorization detail
104 select p_mfgr,p_name, p_retailprice,
105 row_number() over(partition by p_mfgr) as rn,
106 rank() over(partition by p_mfgr) as r,
107 dense_rank() over(partition by p_mfgr) as dr,
108 first_value(p_retailprice) over(partition by p_mfgr) as fv,
109 last_value(p_retailprice) over(partition by p_mfgr) as lv,
110 count(p_retailprice) over(partition by p_mfgr) as c,
111 count(*) over(partition by p_mfgr) as cs
112 from vector_ptf_part_simple_orc
113 POSTHOOK: type: QUERY
114 Explain
115 PLAN VECTORIZATION:
116   enabled: true
117   enabledConditionsMet: [hive.vectorized.execution.enabled IS true]
118
119 STAGE DEPENDENCIES:
120   Stage-1 is a root stage
121   Stage-0 depends on stages: Stage-1
122
123 STAGE PLANS:
124   Stage: Stage-1
125     Tez
126 #### A masked pattern was here ####
127       Edges:
128         Reducer 2 <- Map 1 (SIMPLE_EDGE)
129 #### A masked pattern was here ####
130       Vertices:
131         Map 1 
132             Map Operator Tree:
133                 TableScan
134                   alias: vector_ptf_part_simple_orc
135                   Statistics: Num rows: 40 Data size: 9096 Basic stats: COMPLETE Column stats: COMPLETE
136                   TableScan Vectorization:
137                       native: true
138                       vectorizationSchemaColumns: [0:p_mfgr:string, 1:p_name:string, 2:p_retailprice:double, 3:ROW__ID:struct<transactionid:bigint,bucketid:int,rowid:bigint>]
139                   Reduce Output Operator
140                     key expressions: p_mfgr (type: string)
141                     sort order: +
142                     Map-reduce partition columns: p_mfgr (type: string)
143                     Reduce Sink Vectorization:
144                         className: VectorReduceSinkStringOperator
145                         keyColumnNums: [0]
146                         native: true
147                         nativeConditionsMet: hive.vectorized.execution.reducesink.new.enabled IS true, hive.execution.engine tez IN [tez, spark] IS true, No PTF TopN IS true, No DISTINCT columns IS true, BinarySortableSerDe for keys IS true, LazyBinarySerDe for values IS true
148                         valueColumnNums: [1, 2]
149                     Statistics: Num rows: 40 Data size: 9096 Basic stats: COMPLETE Column stats: COMPLETE
150                     value expressions: p_name (type: string), p_retailprice (type: double)
151             Execution mode: vectorized, llap
152             LLAP IO: all inputs
153             Map Vectorization:
154                 enabled: true
155                 enabledConditionsMet: hive.vectorized.use.vectorized.input.format IS true
156                 inputFormatFeatureSupport: []
157                 featureSupportInUse: []
158                 inputFileFormats: org.apache.hadoop.hive.ql.io.orc.OrcInputFormat
159                 allNative: true
160                 usesVectorUDFAdaptor: false
161                 vectorized: true
162                 rowBatchContext:
163                     dataColumnCount: 3
164                     includeColumns: [0, 1, 2]
165                     dataColumns: p_mfgr:string, p_name:string, p_retailprice:double
166                     partitionColumnCount: 0
167                     scratchColumnTypeNames: []
168         Reducer 2 
169             Execution mode: vectorized, llap
170             Reduce Vectorization:
171                 enabled: true
172                 enableConditionsMet: hive.vectorized.execution.reduce.enabled IS true, hive.execution.engine tez IN [tez, spark] IS true
173                 reduceColumnNullOrder: a
174                 reduceColumnSortOrder: +
175                 allNative: false
176                 usesVectorUDFAdaptor: false
177                 vectorized: true
178                 rowBatchContext:
179                     dataColumnCount: 3
180                     dataColumns: KEY.reducesinkkey0:string, VALUE._col0:string, VALUE._col1:double
181                     partitionColumnCount: 0
182                     scratchColumnTypeNames: [bigint, bigint, bigint, double, double, bigint, bigint]
183             Reduce Operator Tree:
184               Select Operator
185                 expressions: KEY.reducesinkkey0 (type: string), VALUE._col0 (type: string), VALUE._col1 (type: double)
186                 outputColumnNames: _col0, _col1, _col2
187                 Select Vectorization:
188                     className: VectorSelectOperator
189                     native: true
190                     projectedOutputColumnNums: [0, 1, 2]
191                 Statistics: Num rows: 40 Data size: 19816 Basic stats: COMPLETE Column stats: COMPLETE
192                 PTF Operator
193                   Function definitions:
194                       Input definition
195                         input alias: ptf_0
196                         output shape: _col0: string, _col1: string, _col2: double
197                         type: WINDOWING
198                       Windowing table definition
199                         input alias: ptf_1
200                         name: windowingtablefunction
201                         order by: _col0 ASC NULLS FIRST
202                         partition by: _col0
203                         raw input shape:
204                         window functions:
205                             window function definition
206                               alias: row_number_window_0
207                               name: row_number
208                               window function: GenericUDAFRowNumberEvaluator
209                               window frame: ROWS PRECEDING(MAX)~FOLLOWING(MAX)
210                               isPivotResult: true
211                             window function definition
212                               alias: rank_window_1
213                               arguments: _col0
214                               name: rank
215                               window function: GenericUDAFRankEvaluator
216                               window frame: ROWS PRECEDING(MAX)~FOLLOWING(MAX)
217                               isPivotResult: true
218                             window function definition
219                               alias: dense_rank_window_2
220                               arguments: _col0
221                               name: dense_rank
222                               window function: GenericUDAFDenseRankEvaluator
223                               window frame: ROWS PRECEDING(MAX)~FOLLOWING(MAX)
224                               isPivotResult: true
225                             window function definition
226                               alias: first_value_window_3
227                               arguments: _col2
228                               name: first_value
229                               window function: GenericUDAFFirstValueEvaluator
230                               window frame: ROWS PRECEDING(MAX)~FOLLOWING(MAX)
231                             window function definition
232                               alias: last_value_window_4
233                               arguments: _col2
234                               name: last_value
235                               window function: GenericUDAFLastValueEvaluator
236                               window frame: ROWS PRECEDING(MAX)~FOLLOWING(MAX)
237                             window function definition
238                               alias: count_window_5
239                               arguments: _col2
240                               name: count
241                               window function: GenericUDAFCountEvaluator
242                               window frame: ROWS PRECEDING(MAX)~FOLLOWING(MAX)
243                             window function definition
244                               alias: count_window_6
245                               name: count
246                               window function: GenericUDAFCountEvaluator
247                               window frame: ROWS PRECEDING(MAX)~FOLLOWING(MAX)
248                               isStar: true
249                   PTF Vectorization:
250                       className: VectorPTFOperator
251                       evaluatorClasses: [VectorPTFEvaluatorRowNumber, VectorPTFEvaluatorRank, VectorPTFEvaluatorDenseRank, VectorPTFEvaluatorDoubleFirstValue, VectorPTFEvaluatorDoubleLastValue, VectorPTFEvaluatorCount, VectorPTFEvaluatorCountStar]
252                       functionInputExpressions: [null, col 0:string, col 0:string, col 2:double, col 2:double, col 2:double, null]
253                       functionNames: [row_number, rank, dense_rank, first_value, last_value, count, count]
254                       keyInputColumns: [0]
255                       native: true
256                       nonKeyInputColumns: [1, 2]
257                       orderExpressions: [col 0:string]
258                       outputColumns: [3, 4, 5, 6, 7, 8, 9, 0, 1, 2]
259                       outputTypes: [int, int, int, double, double, bigint, bigint, string, string, double]
260                       streamingColumns: [3, 4, 5, 6]
261                   Statistics: Num rows: 40 Data size: 19816 Basic stats: COMPLETE Column stats: COMPLETE
262                   Select Operator
263                     expressions: _col0 (type: string), _col1 (type: string), _col2 (type: double), row_number_window_0 (type: int), rank_window_1 (type: int), dense_rank_window_2 (type: int), first_value_window_3 (type: double), last_value_window_4 (type: double), count_window_5 (type: bigint), count_window_6 (type: bigint)
264                     outputColumnNames: _col0, _col1, _col2, _col3, _col4, _col5, _col6, _col7, _col8, _col9
265                     Select Vectorization:
266                         className: VectorSelectOperator
267                         native: true
268                         projectedOutputColumnNums: [0, 1, 2, 3, 4, 5, 6, 7, 8, 9]
269                     Statistics: Num rows: 40 Data size: 10824 Basic stats: COMPLETE Column stats: COMPLETE
270                     File Output Operator
271                       compressed: false
272                       File Sink Vectorization:
273                           className: VectorFileSinkOperator
274                           native: false
275                       Statistics: Num rows: 40 Data size: 10824 Basic stats: COMPLETE Column stats: COMPLETE
276                       table:
277                           input format: org.apache.hadoop.mapred.SequenceFileInputFormat
278                           output format: org.apache.hadoop.hive.ql.io.HiveSequenceFileOutputFormat
279                           serde: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
280
281   Stage: Stage-0
282     Fetch Operator
283       limit: -1
284       Processor Tree:
285         ListSink
286
287 PREHOOK: query: select p_mfgr,p_name, p_retailprice,
288 row_number() over(partition by p_mfgr) as rn,
289 rank() over(partition by p_mfgr) as r,
290 dense_rank() over(partition by p_mfgr) as dr,
291 first_value(p_retailprice) over(partition by p_mfgr) as fv,
292 last_value(p_retailprice) over(partition by p_mfgr) as lv,
293 count(p_retailprice) over(partition by p_mfgr) as c,
294 count(*) over(partition by p_mfgr) as cs
295 from vector_ptf_part_simple_orc
296 PREHOOK: type: QUERY
297 PREHOOK: Input: default@vector_ptf_part_simple_orc
298 #### A masked pattern was here ####
299 POSTHOOK: query: select p_mfgr,p_name, p_retailprice,
300 row_number() over(partition by p_mfgr) as rn,
301 rank() over(partition by p_mfgr) as r,
302 dense_rank() over(partition by p_mfgr) as dr,
303 first_value(p_retailprice) over(partition by p_mfgr) as fv,
304 last_value(p_retailprice) over(partition by p_mfgr) as lv,
305 count(p_retailprice) over(partition by p_mfgr) as c,
306 count(*) over(partition by p_mfgr) as cs
307 from vector_ptf_part_simple_orc
308 POSTHOOK: type: QUERY
309 POSTHOOK: Input: default@vector_ptf_part_simple_orc
310 #### A masked pattern was here ####
311 p_mfgr  p_name  p_retailprice   rn      r       dr      fv      lv      c       cs
312 Manufacturer#4  almond azure aquamarine papaya violet   1290.35 1       1       1       1290.35 1206.26 4       6
313 Manufacturer#4  almond antique violet mint lemon        1375.42 2       1       1       1290.35 1206.26 4       6
314 Manufacturer#4  almond aquamarine floral ivory bisque   NULL    3       1       1       1290.35 1206.26 4       6
315 Manufacturer#4  almond antique gainsboro frosted violet NULL    4       1       1       1290.35 1206.26 4       6
316 Manufacturer#4  almond aquamarine yellow dodger mint    1844.92 5       1       1       1290.35 1206.26 4       6
317 Manufacturer#4  almond aquamarine floral ivory bisque   1206.26 6       1       1       1290.35 1206.26 4       6
318 Manufacturer#5  almond azure blanched chiffon midnight  1464.48 1       1       1       1464.48 1788.73 6       6
319 Manufacturer#5  almond aquamarine dodger light gainsboro        1018.1  2       1       1       1464.48 1788.73 6       6
320 Manufacturer#5  almond antique medium spring khaki      1611.66 3       1       1       1464.48 1788.73 6       6
321 Manufacturer#5  almond antique blue firebrick mint      1789.69 4       1       1       1464.48 1788.73 6       6
322 Manufacturer#5  almond antique medium spring khaki      1611.66 5       1       1       1464.48 1788.73 6       6
323 Manufacturer#5  almond antique sky peru orange  1788.73 6       1       1       1464.48 1788.73 6       6
324 Manufacturer#2  almond aquamarine rose maroon antique   900.66  1       1       1       900.66  1800.7  8       8
325 Manufacturer#2  almond aquamarine rose maroon antique   1698.66 2       1       1       900.66  1800.7  8       8
326 Manufacturer#2  almond antique violet turquoise frosted 1800.7  3       1       1       900.66  1800.7  8       8
327 Manufacturer#2  almond antique violet chocolate turquoise       1690.68 4       1       1       900.66  1800.7  8       8
328 Manufacturer#2  almond antique violet turquoise frosted 1800.7  5       1       1       900.66  1800.7  8       8
329 Manufacturer#2  almond aquamarine sandy cyan gainsboro  1000.6  6       1       1       900.66  1800.7  8       8
330 Manufacturer#2  almond aquamarine midnight light salmon 2031.98 7       1       1       900.66  1800.7  8       8
331 Manufacturer#2  almond antique violet turquoise frosted 1800.7  8       1       1       900.66  1800.7  8       8
332 Manufacturer#1  almond antique chartreuse lavender yellow       1753.76 1       1       1       1753.76 1632.66 11      12
333 Manufacturer#1  almond aquamarine pink moccasin thistle 1632.66 2       1       1       1753.76 1632.66 11      12
334 Manufacturer#1  almond aquamarine pink moccasin thistle 1632.66 3       1       1       1753.76 1632.66 11      12
335 Manufacturer#1  almond antique chartreuse lavender yellow       1753.76 4       1       1       1753.76 1632.66 11      12
336 Manufacturer#1  almond aquamarine burnished black steel 1414.42 5       1       1       1753.76 1632.66 11      12
337 Manufacturer#1  almond antique burnished rose metallic  1173.15 6       1       1       1753.76 1632.66 11      12
338 Manufacturer#1  almond antique salmon chartreuse burlywood      1602.59 7       1       1       1753.76 1632.66 11      12
339 Manufacturer#1  almond antique chartreuse lavender yellow       1753.76 8       1       1       1753.76 1632.66 11      12
340 Manufacturer#1  almond antique burnished rose metallic  1173.15 9       1       1       1753.76 1632.66 11      12
341 Manufacturer#1  almond antique chartreuse lavender yellow       1753.76 10      1       1       1753.76 1632.66 11      12
342 Manufacturer#1  almond aquamarine pink moccasin thistle NULL    11      1       1       1753.76 1632.66 11      12
343 Manufacturer#1  almond aquamarine pink moccasin thistle 1632.66 12      1       1       1753.76 1632.66 11      12
344 Manufacturer#3  almond antique forest lavender goldenrod        590.27  1       1       1       590.27  99.68   7       8
345 Manufacturer#3  almond antique metallic orange dim      55.39   2       1       1       590.27  99.68   7       8
346 Manufacturer#3  almond antique forest lavender goldenrod        1190.27 3       1       1       590.27  99.68   7       8
347 Manufacturer#3  almond antique olive coral navajo       1337.29 4       1       1       590.27  99.68   7       8
348 Manufacturer#3  almond antique misty red olive  1922.98 5       1       1       590.27  99.68   7       8
349 Manufacturer#3  almond antique forest lavender goldenrod        1190.27 6       1       1       590.27  99.68   7       8
350 Manufacturer#3  almond antique forest lavender goldenrod        NULL    7       1       1       590.27  99.68   7       8
351 Manufacturer#3  almond antique chartreuse khaki white   99.68   8       1       1       590.27  99.68   7       8
352 PREHOOK: query: explain vectorization detail
353 select p_mfgr,p_name, p_retailprice,
354 row_number() over(partition by p_mfgr range between unbounded preceding and unbounded following) as rn,
355 rank() over(partition by p_mfgr range between unbounded preceding and unbounded following) as r,
356 dense_rank() over(partition by p_mfgr range between unbounded preceding and unbounded following) as dr,
357 first_value(p_retailprice) over(partition by p_mfgr range between unbounded preceding and current row) as fv,
358 last_value(p_retailprice) over(partition by p_mfgr range between unbounded preceding and current row) as lv,
359 count(p_retailprice) over(partition by p_mfgr range between unbounded preceding and current row) as c,
360 count(*) over(partition by p_mfgr range between unbounded preceding and current row) as cs
361 from vector_ptf_part_simple_orc
362 PREHOOK: type: QUERY
363 POSTHOOK: query: explain vectorization detail
364 select p_mfgr,p_name, p_retailprice,
365 row_number() over(partition by p_mfgr range between unbounded preceding and unbounded following) as rn,
366 rank() over(partition by p_mfgr range between unbounded preceding and unbounded following) as r,
367 dense_rank() over(partition by p_mfgr range between unbounded preceding and unbounded following) as dr,
368 first_value(p_retailprice) over(partition by p_mfgr range between unbounded preceding and current row) as fv,
369 last_value(p_retailprice) over(partition by p_mfgr range between unbounded preceding and current row) as lv,
370 count(p_retailprice) over(partition by p_mfgr range between unbounded preceding and current row) as c,
371 count(*) over(partition by p_mfgr range between unbounded preceding and current row) as cs
372 from vector_ptf_part_simple_orc
373 POSTHOOK: type: QUERY
374 Explain
375 PLAN VECTORIZATION:
376   enabled: true
377   enabledConditionsMet: [hive.vectorized.execution.enabled IS true]
378
379 STAGE DEPENDENCIES:
380   Stage-1 is a root stage
381   Stage-0 depends on stages: Stage-1
382
383 STAGE PLANS:
384   Stage: Stage-1
385     Tez
386 #### A masked pattern was here ####
387       Edges:
388         Reducer 2 <- Map 1 (SIMPLE_EDGE)
389 #### A masked pattern was here ####
390       Vertices:
391         Map 1 
392             Map Operator Tree:
393                 TableScan
394                   alias: vector_ptf_part_simple_orc
395                   Statistics: Num rows: 40 Data size: 9096 Basic stats: COMPLETE Column stats: COMPLETE
396                   TableScan Vectorization:
397                       native: true
398                       vectorizationSchemaColumns: [0:p_mfgr:string, 1:p_name:string, 2:p_retailprice:double, 3:ROW__ID:struct<transactionid:bigint,bucketid:int,rowid:bigint>]
399                   Reduce Output Operator
400                     key expressions: p_mfgr (type: string)
401                     sort order: +
402                     Map-reduce partition columns: p_mfgr (type: string)
403                     Reduce Sink Vectorization:
404                         className: VectorReduceSinkStringOperator
405                         keyColumnNums: [0]
406                         native: true
407                         nativeConditionsMet: hive.vectorized.execution.reducesink.new.enabled IS true, hive.execution.engine tez IN [tez, spark] IS true, No PTF TopN IS true, No DISTINCT columns IS true, BinarySortableSerDe for keys IS true, LazyBinarySerDe for values IS true
408                         valueColumnNums: [1, 2]
409                     Statistics: Num rows: 40 Data size: 9096 Basic stats: COMPLETE Column stats: COMPLETE
410                     value expressions: p_name (type: string), p_retailprice (type: double)
411             Execution mode: vectorized, llap
412             LLAP IO: all inputs
413             Map Vectorization:
414                 enabled: true
415                 enabledConditionsMet: hive.vectorized.use.vectorized.input.format IS true
416                 inputFormatFeatureSupport: []
417                 featureSupportInUse: []
418                 inputFileFormats: org.apache.hadoop.hive.ql.io.orc.OrcInputFormat
419                 allNative: true
420                 usesVectorUDFAdaptor: false
421                 vectorized: true
422                 rowBatchContext:
423                     dataColumnCount: 3
424                     includeColumns: [0, 1, 2]
425                     dataColumns: p_mfgr:string, p_name:string, p_retailprice:double
426                     partitionColumnCount: 0
427                     scratchColumnTypeNames: []
428         Reducer 2 
429             Execution mode: llap
430             Reduce Vectorization:
431                 enabled: true
432                 enableConditionsMet: hive.vectorized.execution.reduce.enabled IS true, hive.execution.engine tez IN [tez, spark] IS true
433                 notVectorizedReason: PTF operator: row_number only CURRENT ROW end frame is supported for RANGE
434                 vectorized: false
435             Reduce Operator Tree:
436               Select Operator
437                 expressions: KEY.reducesinkkey0 (type: string), VALUE._col0 (type: string), VALUE._col1 (type: double)
438                 outputColumnNames: _col0, _col1, _col2
439                 Statistics: Num rows: 40 Data size: 19816 Basic stats: COMPLETE Column stats: COMPLETE
440                 PTF Operator
441                   Function definitions:
442                       Input definition
443                         input alias: ptf_0
444                         output shape: _col0: string, _col1: string, _col2: double
445                         type: WINDOWING
446                       Windowing table definition
447                         input alias: ptf_1
448                         name: windowingtablefunction
449                         order by: _col0 ASC NULLS FIRST
450                         partition by: _col0
451                         raw input shape:
452                         window functions:
453                             window function definition
454                               alias: row_number_window_0
455                               name: row_number
456                               window function: GenericUDAFRowNumberEvaluator
457                               window frame: RANGE PRECEDING(MAX)~FOLLOWING(MAX)
458                               isPivotResult: true
459                             window function definition
460                               alias: rank_window_1
461                               arguments: _col0
462                               name: rank
463                               window function: GenericUDAFRankEvaluator
464                               window frame: RANGE PRECEDING(MAX)~FOLLOWING(MAX)
465                               isPivotResult: true
466                             window function definition
467                               alias: dense_rank_window_2
468                               arguments: _col0
469                               name: dense_rank
470                               window function: GenericUDAFDenseRankEvaluator
471                               window frame: RANGE PRECEDING(MAX)~FOLLOWING(MAX)
472                               isPivotResult: true
473                             window function definition
474                               alias: first_value_window_3
475                               arguments: _col2
476                               name: first_value
477                               window function: GenericUDAFFirstValueEvaluator
478                               window frame: RANGE PRECEDING(MAX)~CURRENT
479                             window function definition
480                               alias: last_value_window_4
481                               arguments: _col2
482                               name: last_value
483                               window function: GenericUDAFLastValueEvaluator
484                               window frame: RANGE PRECEDING(MAX)~CURRENT
485                             window function definition
486                               alias: count_window_5
487                               arguments: _col2
488                               name: count
489                               window function: GenericUDAFCountEvaluator
490                               window frame: RANGE PRECEDING(MAX)~CURRENT
491                             window function definition
492                               alias: count_window_6
493                               name: count
494                               window function: GenericUDAFCountEvaluator
495                               window frame: RANGE PRECEDING(MAX)~CURRENT
496                               isStar: true
497                   Statistics: Num rows: 40 Data size: 19816 Basic stats: COMPLETE Column stats: COMPLETE
498                   Select Operator
499                     expressions: _col0 (type: string), _col1 (type: string), _col2 (type: double), row_number_window_0 (type: int), rank_window_1 (type: int), dense_rank_window_2 (type: int), first_value_window_3 (type: double), last_value_window_4 (type: double), count_window_5 (type: bigint), count_window_6 (type: bigint)
500                     outputColumnNames: _col0, _col1, _col2, _col3, _col4, _col5, _col6, _col7, _col8, _col9
501                     Statistics: Num rows: 40 Data size: 10824 Basic stats: COMPLETE Column stats: COMPLETE
502                     File Output Operator
503                       compressed: false
504                       Statistics: Num rows: 40 Data size: 10824 Basic stats: COMPLETE Column stats: COMPLETE
505                       table:
506                           input format: org.apache.hadoop.mapred.SequenceFileInputFormat
507                           output format: org.apache.hadoop.hive.ql.io.HiveSequenceFileOutputFormat
508                           serde: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
509
510   Stage: Stage-0
511     Fetch Operator
512       limit: -1
513       Processor Tree:
514         ListSink
515
516 PREHOOK: query: select p_mfgr,p_name, p_retailprice,
517 row_number() over(partition by p_mfgr range between unbounded preceding and unbounded following) as rn,
518 rank() over(partition by p_mfgr range between unbounded preceding and unbounded following) as r,
519 dense_rank() over(partition by p_mfgr range between unbounded preceding and unbounded following) as dr,
520 first_value(p_retailprice) over(partition by p_mfgr range between unbounded preceding and current row) as fv,
521 last_value(p_retailprice) over(partition by p_mfgr range between unbounded preceding and current row) as lv,
522 count(p_retailprice) over(partition by p_mfgr range between unbounded preceding and current row) as c,
523 count(*) over(partition by p_mfgr range between unbounded preceding and current row) as cs
524 from vector_ptf_part_simple_orc
525 PREHOOK: type: QUERY
526 PREHOOK: Input: default@vector_ptf_part_simple_orc
527 #### A masked pattern was here ####
528 POSTHOOK: query: select p_mfgr,p_name, p_retailprice,
529 row_number() over(partition by p_mfgr range between unbounded preceding and unbounded following) as rn,
530 rank() over(partition by p_mfgr range between unbounded preceding and unbounded following) as r,
531 dense_rank() over(partition by p_mfgr range between unbounded preceding and unbounded following) as dr,
532 first_value(p_retailprice) over(partition by p_mfgr range between unbounded preceding and current row) as fv,
533 last_value(p_retailprice) over(partition by p_mfgr range between unbounded preceding and current row) as lv,
534 count(p_retailprice) over(partition by p_mfgr range between unbounded preceding and current row) as c,
535 count(*) over(partition by p_mfgr range between unbounded preceding and current row) as cs
536 from vector_ptf_part_simple_orc
537 POSTHOOK: type: QUERY
538 POSTHOOK: Input: default@vector_ptf_part_simple_orc
539 #### A masked pattern was here ####
540 p_mfgr  p_name  p_retailprice   rn      r       dr      fv      lv      c       cs
541 Manufacturer#4  almond azure aquamarine papaya violet   1290.35 1       1       1       1290.35 1206.26 4       6
542 Manufacturer#4  almond antique violet mint lemon        1375.42 2       1       1       1290.35 1206.26 4       6
543 Manufacturer#4  almond aquamarine floral ivory bisque   NULL    3       1       1       1290.35 1206.26 4       6
544 Manufacturer#4  almond antique gainsboro frosted violet NULL    4       1       1       1290.35 1206.26 4       6
545 Manufacturer#4  almond aquamarine yellow dodger mint    1844.92 5       1       1       1290.35 1206.26 4       6
546 Manufacturer#4  almond aquamarine floral ivory bisque   1206.26 6       1       1       1290.35 1206.26 4       6
547 Manufacturer#5  almond azure blanched chiffon midnight  1464.48 1       1       1       1464.48 1788.73 6       6
548 Manufacturer#5  almond aquamarine dodger light gainsboro        1018.1  2       1       1       1464.48 1788.73 6       6
549 Manufacturer#5  almond antique medium spring khaki      1611.66 3       1       1       1464.48 1788.73 6       6
550 Manufacturer#5  almond antique blue firebrick mint      1789.69 4       1       1       1464.48 1788.73 6       6
551 Manufacturer#5  almond antique medium spring khaki      1611.66 5       1       1       1464.48 1788.73 6       6
552 Manufacturer#5  almond antique sky peru orange  1788.73 6       1       1       1464.48 1788.73 6       6
553 Manufacturer#2  almond aquamarine rose maroon antique   900.66  1       1       1       900.66  1800.7  8       8
554 Manufacturer#2  almond aquamarine rose maroon antique   1698.66 2       1       1       900.66  1800.7  8       8
555 Manufacturer#2  almond antique violet turquoise frosted 1800.7  3       1       1       900.66  1800.7  8       8
556 Manufacturer#2  almond antique violet chocolate turquoise       1690.68 4       1       1       900.66  1800.7  8       8
557 Manufacturer#2  almond antique violet turquoise frosted 1800.7  5       1       1       900.66  1800.7  8       8
558 Manufacturer#2  almond aquamarine sandy cyan gainsboro  1000.6  6       1       1       900.66  1800.7  8       8
559 Manufacturer#2  almond aquamarine midnight light salmon 2031.98 7       1       1       900.66  1800.7  8       8
560 Manufacturer#2  almond antique violet turquoise frosted 1800.7  8       1       1       900.66  1800.7  8       8
561 Manufacturer#1  almond antique chartreuse lavender yellow       1753.76 1       1       1       1753.76 1632.66 11      12
562 Manufacturer#1  almond aquamarine pink moccasin thistle 1632.66 2       1       1       1753.76 1632.66 11      12
563 Manufacturer#1  almond aquamarine pink moccasin thistle 1632.66 3       1       1       1753.76 1632.66 11      12
564 Manufacturer#1  almond antique chartreuse lavender yellow       1753.76 4       1       1       1753.76 1632.66 11      12
565 Manufacturer#1  almond aquamarine burnished black steel 1414.42 5       1       1       1753.76 1632.66 11      12
566 Manufacturer#1  almond antique burnished rose metallic  1173.15 6       1       1       1753.76 1632.66 11      12
567 Manufacturer#1  almond antique salmon chartreuse burlywood      1602.59 7       1       1       1753.76 1632.66 11      12
568 Manufacturer#1  almond antique chartreuse lavender yellow       1753.76 8       1       1       1753.76 1632.66 11      12
569 Manufacturer#1  almond antique burnished rose metallic  1173.15 9       1       1       1753.76 1632.66 11      12
570 Manufacturer#1  almond antique chartreuse lavender yellow       1753.76 10      1       1       1753.76 1632.66 11      12
571 Manufacturer#1  almond aquamarine pink moccasin thistle NULL    11      1       1       1753.76 1632.66 11      12
572 Manufacturer#1  almond aquamarine pink moccasin thistle 1632.66 12      1       1       1753.76 1632.66 11      12
573 Manufacturer#3  almond antique forest lavender goldenrod        590.27  1       1       1       590.27  99.68   7       8
574 Manufacturer#3  almond antique metallic orange dim      55.39   2       1       1       590.27  99.68   7       8
575 Manufacturer#3  almond antique forest lavender goldenrod        1190.27 3       1       1       590.27  99.68   7       8
576 Manufacturer#3  almond antique olive coral navajo       1337.29 4       1       1       590.27  99.68   7       8
577 Manufacturer#3  almond antique misty red olive  1922.98 5       1       1       590.27  99.68   7       8
578 Manufacturer#3  almond antique forest lavender goldenrod        1190.27 6       1       1       590.27  99.68   7       8
579 Manufacturer#3  almond antique forest lavender goldenrod        NULL    7       1       1       590.27  99.68   7       8
580 Manufacturer#3  almond antique chartreuse khaki white   99.68   8       1       1       590.27  99.68   7       8
581 PREHOOK: query: explain vectorization detail
582 select p_mfgr,p_name, p_retailprice,
583 row_number() over(partition by p_mfgr rows between unbounded preceding and unbounded following) as rn,
584 rank() over(partition by p_mfgr rows between unbounded preceding and unbounded following) as r,
585 dense_rank() over(partition by p_mfgr rows between unbounded preceding and unbounded following) as dr,
586 first_value(p_retailprice) over(partition by p_mfgr rows between unbounded preceding and current row) as fv,
587 last_value(p_retailprice) over(partition by p_mfgr rows between unbounded preceding and current row) as lv,
588 count(p_retailprice) over(partition by p_mfgr rows between unbounded preceding and current row) as c,
589 count(*) over(partition by p_mfgr rows between unbounded preceding and current row) as cs
590 from vector_ptf_part_simple_orc
591 PREHOOK: type: QUERY
592 POSTHOOK: query: explain vectorization detail
593 select p_mfgr,p_name, p_retailprice,
594 row_number() over(partition by p_mfgr rows between unbounded preceding and unbounded following) as rn,
595 rank() over(partition by p_mfgr rows between unbounded preceding and unbounded following) as r,
596 dense_rank() over(partition by p_mfgr rows between unbounded preceding and unbounded following) as dr,
597 first_value(p_retailprice) over(partition by p_mfgr rows between unbounded preceding and current row) as fv,
598 last_value(p_retailprice) over(partition by p_mfgr rows between unbounded preceding and current row) as lv,
599 count(p_retailprice) over(partition by p_mfgr rows between unbounded preceding and current row) as c,
600 count(*) over(partition by p_mfgr rows between unbounded preceding and current row) as cs
601 from vector_ptf_part_simple_orc
602 POSTHOOK: type: QUERY
603 Explain
604 PLAN VECTORIZATION:
605   enabled: true
606   enabledConditionsMet: [hive.vectorized.execution.enabled IS true]
607
608 STAGE DEPENDENCIES:
609   Stage-1 is a root stage
610   Stage-0 depends on stages: Stage-1
611
612 STAGE PLANS:
613   Stage: Stage-1
614     Tez
615 #### A masked pattern was here ####
616       Edges:
617         Reducer 2 <- Map 1 (SIMPLE_EDGE)
618 #### A masked pattern was here ####
619       Vertices:
620         Map 1 
621             Map Operator Tree:
622                 TableScan
623                   alias: vector_ptf_part_simple_orc
624                   Statistics: Num rows: 40 Data size: 9096 Basic stats: COMPLETE Column stats: COMPLETE
625                   TableScan Vectorization:
626                       native: true
627                       vectorizationSchemaColumns: [0:p_mfgr:string, 1:p_name:string, 2:p_retailprice:double, 3:ROW__ID:struct<transactionid:bigint,bucketid:int,rowid:bigint>]
628                   Reduce Output Operator
629                     key expressions: p_mfgr (type: string)
630                     sort order: +
631                     Map-reduce partition columns: p_mfgr (type: string)
632                     Reduce Sink Vectorization:
633                         className: VectorReduceSinkStringOperator
634                         keyColumnNums: [0]
635                         native: true
636                         nativeConditionsMet: hive.vectorized.execution.reducesink.new.enabled IS true, hive.execution.engine tez IN [tez, spark] IS true, No PTF TopN IS true, No DISTINCT columns IS true, BinarySortableSerDe for keys IS true, LazyBinarySerDe for values IS true
637                         valueColumnNums: [1, 2]
638                     Statistics: Num rows: 40 Data size: 9096 Basic stats: COMPLETE Column stats: COMPLETE
639                     value expressions: p_name (type: string), p_retailprice (type: double)
640             Execution mode: vectorized, llap
641             LLAP IO: all inputs
642             Map Vectorization:
643                 enabled: true
644                 enabledConditionsMet: hive.vectorized.use.vectorized.input.format IS true
645                 inputFormatFeatureSupport: []
646                 featureSupportInUse: []
647                 inputFileFormats: org.apache.hadoop.hive.ql.io.orc.OrcInputFormat
648                 allNative: true
649                 usesVectorUDFAdaptor: false
650                 vectorized: true
651                 rowBatchContext:
652                     dataColumnCount: 3
653                     includeColumns: [0, 1, 2]
654                     dataColumns: p_mfgr:string, p_name:string, p_retailprice:double
655                     partitionColumnCount: 0
656                     scratchColumnTypeNames: []
657         Reducer 2 
658             Execution mode: llap
659             Reduce Vectorization:
660                 enabled: true
661                 enableConditionsMet: hive.vectorized.execution.reduce.enabled IS true, hive.execution.engine tez IN [tez, spark] IS true
662                 notVectorizedReason: PTF operator: first_value UNBOUNDED end frame is not supported for ROWS window type
663                 vectorized: false
664             Reduce Operator Tree:
665               Select Operator
666                 expressions: KEY.reducesinkkey0 (type: string), VALUE._col0 (type: string), VALUE._col1 (type: double)
667                 outputColumnNames: _col0, _col1, _col2
668                 Statistics: Num rows: 40 Data size: 19816 Basic stats: COMPLETE Column stats: COMPLETE
669                 PTF Operator
670                   Function definitions:
671                       Input definition
672                         input alias: ptf_0
673                         output shape: _col0: string, _col1: string, _col2: double
674                         type: WINDOWING
675                       Windowing table definition
676                         input alias: ptf_1
677                         name: windowingtablefunction
678                         order by: _col0 ASC NULLS FIRST
679                         partition by: _col0
680                         raw input shape:
681                         window functions:
682                             window function definition
683                               alias: row_number_window_0
684                               name: row_number
685                               window function: GenericUDAFRowNumberEvaluator
686                               window frame: ROWS PRECEDING(MAX)~FOLLOWING(MAX)
687                               isPivotResult: true
688                             window function definition
689                               alias: rank_window_1
690                               arguments: _col0
691                               name: rank
692                               window function: GenericUDAFRankEvaluator
693                               window frame: ROWS PRECEDING(MAX)~FOLLOWING(MAX)
694                               isPivotResult: true
695                             window function definition
696                               alias: dense_rank_window_2
697                               arguments: _col0
698                               name: dense_rank
699                               window function: GenericUDAFDenseRankEvaluator
700                               window frame: ROWS PRECEDING(MAX)~FOLLOWING(MAX)
701                               isPivotResult: true
702                             window function definition
703                               alias: first_value_window_3
704                               arguments: _col2
705                               name: first_value
706                               window function: GenericUDAFFirstValueEvaluator
707                               window frame: ROWS PRECEDING(MAX)~CURRENT
708                             window function definition
709                               alias: last_value_window_4
710                               arguments: _col2
711                               name: last_value
712                               window function: GenericUDAFLastValueEvaluator
713                               window frame: ROWS PRECEDING(MAX)~CURRENT
714                             window function definition
715                               alias: count_window_5
716                               arguments: _col2
717                               name: count
718                               window function: GenericUDAFCountEvaluator
719                               window frame: ROWS PRECEDING(MAX)~CURRENT
720                             window function definition
721                               alias: count_window_6
722                               name: count
723                               window function: GenericUDAFCountEvaluator
724                               window frame: ROWS PRECEDING(MAX)~CURRENT
725                               isStar: true
726                   Statistics: Num rows: 40 Data size: 19816 Basic stats: COMPLETE Column stats: COMPLETE
727                   Select Operator
728                     expressions: _col0 (type: string), _col1 (type: string), _col2 (type: double), row_number_window_0 (type: int), rank_window_1 (type: int), dense_rank_window_2 (type: int), first_value_window_3 (type: double), last_value_window_4 (type: double), count_window_5 (type: bigint), count_window_6 (type: bigint)
729                     outputColumnNames: _col0, _col1, _col2, _col3, _col4, _col5, _col6, _col7, _col8, _col9
730                     Statistics: Num rows: 40 Data size: 10824 Basic stats: COMPLETE Column stats: COMPLETE
731                     File Output Operator
732                       compressed: false
733                       Statistics: Num rows: 40 Data size: 10824 Basic stats: COMPLETE Column stats: COMPLETE
734                       table:
735                           input format: org.apache.hadoop.mapred.SequenceFileInputFormat
736                           output format: org.apache.hadoop.hive.ql.io.HiveSequenceFileOutputFormat
737                           serde: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
738
739   Stage: Stage-0
740     Fetch Operator
741       limit: -1
742       Processor Tree:
743         ListSink
744
745 PREHOOK: query: select p_mfgr,p_name, p_retailprice,
746 row_number() over(partition by p_mfgr rows between unbounded preceding and unbounded following) as rn,
747 rank() over(partition by p_mfgr rows between unbounded preceding and unbounded following) as r,
748 dense_rank() over(partition by p_mfgr rows between unbounded preceding and unbounded following) as dr,
749 first_value(p_retailprice) over(partition by p_mfgr rows between unbounded preceding and current row) as fv,
750 last_value(p_retailprice) over(partition by p_mfgr rows between unbounded preceding and current row) as lv,
751 count(p_retailprice) over(partition by p_mfgr rows between unbounded preceding and current row) as c,
752 count(*) over(partition by p_mfgr rows between unbounded preceding and current row) as cs
753 from vector_ptf_part_simple_orc
754 PREHOOK: type: QUERY
755 PREHOOK: Input: default@vector_ptf_part_simple_orc
756 #### A masked pattern was here ####
757 POSTHOOK: query: select p_mfgr,p_name, p_retailprice,
758 row_number() over(partition by p_mfgr rows between unbounded preceding and unbounded following) as rn,
759 rank() over(partition by p_mfgr rows between unbounded preceding and unbounded following) as r,
760 dense_rank() over(partition by p_mfgr rows between unbounded preceding and unbounded following) as dr,
761 first_value(p_retailprice) over(partition by p_mfgr rows between unbounded preceding and current row) as fv,
762 last_value(p_retailprice) over(partition by p_mfgr rows between unbounded preceding and current row) as lv,
763 count(p_retailprice) over(partition by p_mfgr rows between unbounded preceding and current row) as c,
764 count(*) over(partition by p_mfgr rows between unbounded preceding and current row) as cs
765 from vector_ptf_part_simple_orc
766 POSTHOOK: type: QUERY
767 POSTHOOK: Input: default@vector_ptf_part_simple_orc
768 #### A masked pattern was here ####
769 p_mfgr  p_name  p_retailprice   rn      r       dr      fv      lv      c       cs
770 Manufacturer#4  almond azure aquamarine papaya violet   1290.35 1       1       1       1290.35 1290.35 1       1
771 Manufacturer#4  almond antique violet mint lemon        1375.42 2       1       1       1290.35 1375.42 2       2
772 Manufacturer#4  almond aquamarine floral ivory bisque   NULL    3       1       1       1290.35 NULL    2       3
773 Manufacturer#4  almond antique gainsboro frosted violet NULL    4       1       1       1290.35 NULL    2       4
774 Manufacturer#4  almond aquamarine yellow dodger mint    1844.92 5       1       1       1290.35 1844.92 3       5
775 Manufacturer#4  almond aquamarine floral ivory bisque   1206.26 6       1       1       1290.35 1206.26 4       6
776 Manufacturer#5  almond azure blanched chiffon midnight  1464.48 1       1       1       1464.48 1464.48 1       1
777 Manufacturer#5  almond aquamarine dodger light gainsboro        1018.1  2       1       1       1464.48 1018.1  2       2
778 Manufacturer#5  almond antique medium spring khaki      1611.66 3       1       1       1464.48 1611.66 3       3
779 Manufacturer#5  almond antique blue firebrick mint      1789.69 4       1       1       1464.48 1789.69 4       4
780 Manufacturer#5  almond antique medium spring khaki      1611.66 5       1       1       1464.48 1611.66 5       5
781 Manufacturer#5  almond antique sky peru orange  1788.73 6       1       1       1464.48 1788.73 6       6
782 Manufacturer#2  almond aquamarine rose maroon antique   900.66  1       1       1       900.66  900.66  1       1
783 Manufacturer#2  almond aquamarine rose maroon antique   1698.66 2       1       1       900.66  1698.66 2       2
784 Manufacturer#2  almond antique violet turquoise frosted 1800.7  3       1       1       900.66  1800.7  3       3
785 Manufacturer#2  almond antique violet chocolate turquoise       1690.68 4       1       1       900.66  1690.68 4       4
786 Manufacturer#2  almond antique violet turquoise frosted 1800.7  5       1       1       900.66  1800.7  5       5
787 Manufacturer#2  almond aquamarine sandy cyan gainsboro  1000.6  6       1       1       900.66  1000.6  6       6
788 Manufacturer#2  almond aquamarine midnight light salmon 2031.98 7       1       1       900.66  2031.98 7       7
789 Manufacturer#2  almond antique violet turquoise frosted 1800.7  8       1       1       900.66  1800.7  8       8
790 Manufacturer#1  almond antique chartreuse lavender yellow       1753.76 1       1       1       1753.76 1753.76 1       1
791 Manufacturer#1  almond aquamarine pink moccasin thistle 1632.66 2       1       1       1753.76 1632.66 2       2
792 Manufacturer#1  almond aquamarine pink moccasin thistle 1632.66 3       1       1       1753.76 1632.66 3       3
793 Manufacturer#1  almond antique chartreuse lavender yellow       1753.76 4       1       1       1753.76 1753.76 4       4
794 Manufacturer#1  almond aquamarine burnished black steel 1414.42 5       1       1       1753.76 1414.42 5       5
795 Manufacturer#1  almond antique burnished rose metallic  1173.15 6       1       1       1753.76 1173.15 6       6
796 Manufacturer#1  almond antique salmon chartreuse burlywood      1602.59 7       1       1       1753.76 1602.59 7       7
797 Manufacturer#1  almond antique chartreuse lavender yellow       1753.76 8       1       1       1753.76 1753.76 8       8
798 Manufacturer#1  almond antique burnished rose metallic  1173.15 9       1       1       1753.76 1173.15 9       9
799 Manufacturer#1  almond antique chartreuse lavender yellow       1753.76 10      1       1       1753.76 1753.76 10      10
800 Manufacturer#1  almond aquamarine pink moccasin thistle NULL    11      1       1       1753.76 NULL    10      11
801 Manufacturer#1  almond aquamarine pink moccasin thistle 1632.66 12      1       1       1753.76 1632.66 11      12
802 Manufacturer#3  almond antique forest lavender goldenrod        590.27  1       1       1       590.27  590.27  1       1
803 Manufacturer#3  almond antique metallic orange dim      55.39   2       1       1       590.27  55.39   2       2
804 Manufacturer#3  almond antique forest lavender goldenrod        1190.27 3       1       1       590.27  1190.27 3       3
805 Manufacturer#3  almond antique olive coral navajo       1337.29 4       1       1       590.27  1337.29 4       4
806 Manufacturer#3  almond antique misty red olive  1922.98 5       1       1       590.27  1922.98 5       5
807 Manufacturer#3  almond antique forest lavender goldenrod        1190.27 6       1       1       590.27  1190.27 6       6
808 Manufacturer#3  almond antique forest lavender goldenrod        NULL    7       1       1       590.27  NULL    6       7
809 Manufacturer#3  almond antique chartreuse khaki white   99.68   8       1       1       590.27  99.68   7       8
810 PREHOOK: query: explain vectorization detail
811 select p_mfgr,p_name, p_retailprice,
812 row_number() over(partition by p_mfgr order by p_name) as rn,
813 rank() over(partition by p_mfgr order by p_name) as r,
814 dense_rank() over(partition by p_mfgr order by p_name) as dr,
815 first_value(p_retailprice) over(partition by p_mfgr order by p_name) as fv,
816 last_value(p_retailprice) over(partition by p_mfgr order by p_name) as lv,
817 count(p_retailprice) over(partition by p_mfgr order by p_name) as c,
818 count(*) over(partition by p_mfgr order by p_name) as cs
819 from vector_ptf_part_simple_orc
820 PREHOOK: type: QUERY
821 POSTHOOK: query: explain vectorization detail
822 select p_mfgr,p_name, p_retailprice,
823 row_number() over(partition by p_mfgr order by p_name) as rn,
824 rank() over(partition by p_mfgr order by p_name) as r,
825 dense_rank() over(partition by p_mfgr order by p_name) as dr,
826 first_value(p_retailprice) over(partition by p_mfgr order by p_name) as fv,
827 last_value(p_retailprice) over(partition by p_mfgr order by p_name) as lv,
828 count(p_retailprice) over(partition by p_mfgr order by p_name) as c,
829 count(*) over(partition by p_mfgr order by p_name) as cs
830 from vector_ptf_part_simple_orc
831 POSTHOOK: type: QUERY
832 Explain
833 PLAN VECTORIZATION:
834   enabled: true
835   enabledConditionsMet: [hive.vectorized.execution.enabled IS true]
836
837 STAGE DEPENDENCIES:
838   Stage-1 is a root stage
839   Stage-0 depends on stages: Stage-1
840
841 STAGE PLANS:
842   Stage: Stage-1
843     Tez
844 #### A masked pattern was here ####
845       Edges:
846         Reducer 2 <- Map 1 (SIMPLE_EDGE)
847 #### A masked pattern was here ####
848       Vertices:
849         Map 1 
850             Map Operator Tree:
851                 TableScan
852                   alias: vector_ptf_part_simple_orc
853                   Statistics: Num rows: 40 Data size: 9096 Basic stats: COMPLETE Column stats: COMPLETE
854                   TableScan Vectorization:
855                       native: true
856                       vectorizationSchemaColumns: [0:p_mfgr:string, 1:p_name:string, 2:p_retailprice:double, 3:ROW__ID:struct<transactionid:bigint,bucketid:int,rowid:bigint>]
857                   Reduce Output Operator
858                     key expressions: p_mfgr (type: string), p_name (type: string)
859                     sort order: ++
860                     Map-reduce partition columns: p_mfgr (type: string)
861                     Reduce Sink Vectorization:
862                         className: VectorReduceSinkObjectHashOperator
863                         keyColumnNums: [0, 1]
864                         native: true
865                         nativeConditionsMet: hive.vectorized.execution.reducesink.new.enabled IS true, hive.execution.engine tez IN [tez, spark] IS true, No PTF TopN IS true, No DISTINCT columns IS true, BinarySortableSerDe for keys IS true, LazyBinarySerDe for values IS true
866                         partitionColumnNums: [0]
867                         valueColumnNums: [2]
868                     Statistics: Num rows: 40 Data size: 9096 Basic stats: COMPLETE Column stats: COMPLETE
869                     value expressions: p_retailprice (type: double)
870             Execution mode: vectorized, llap
871             LLAP IO: all inputs
872             Map Vectorization:
873                 enabled: true
874                 enabledConditionsMet: hive.vectorized.use.vectorized.input.format IS true
875                 inputFormatFeatureSupport: []
876                 featureSupportInUse: []
877                 inputFileFormats: org.apache.hadoop.hive.ql.io.orc.OrcInputFormat
878                 allNative: true
879                 usesVectorUDFAdaptor: false
880                 vectorized: true
881                 rowBatchContext:
882                     dataColumnCount: 3
883                     includeColumns: [0, 1, 2]
884                     dataColumns: p_mfgr:string, p_name:string, p_retailprice:double
885                     partitionColumnCount: 0
886                     scratchColumnTypeNames: []
887         Reducer 2 
888             Execution mode: vectorized, llap
889             Reduce Vectorization:
890                 enabled: true
891                 enableConditionsMet: hive.vectorized.execution.reduce.enabled IS true, hive.execution.engine tez IN [tez, spark] IS true
892                 reduceColumnNullOrder: aa
893                 reduceColumnSortOrder: ++
894                 allNative: false
895                 usesVectorUDFAdaptor: false
896                 vectorized: true
897                 rowBatchContext:
898                     dataColumnCount: 3
899                     dataColumns: KEY.reducesinkkey0:string, KEY.reducesinkkey1:string, VALUE._col0:double
900                     partitionColumnCount: 0
901                     scratchColumnTypeNames: [bigint, bigint, bigint, double, double, bigint, bigint]
902             Reduce Operator Tree:
903               Select Operator
904                 expressions: KEY.reducesinkkey0 (type: string), KEY.reducesinkkey1 (type: string), VALUE._col0 (type: double)
905                 outputColumnNames: _col0, _col1, _col2
906                 Select Vectorization:
907                     className: VectorSelectOperator
908                     native: true
909                     projectedOutputColumnNums: [0, 1, 2]
910                 Statistics: Num rows: 40 Data size: 19816 Basic stats: COMPLETE Column stats: COMPLETE
911                 PTF Operator
912                   Function definitions:
913                       Input definition
914                         input alias: ptf_0
915                         output shape: _col0: string, _col1: string, _col2: double
916                         type: WINDOWING
917                       Windowing table definition
918                         input alias: ptf_1
919                         name: windowingtablefunction
920                         order by: _col1 ASC NULLS FIRST
921                         partition by: _col0
922                         raw input shape:
923                         window functions:
924                             window function definition
925                               alias: row_number_window_0
926                               name: row_number
927                               window function: GenericUDAFRowNumberEvaluator
928                               window frame: ROWS PRECEDING(MAX)~FOLLOWING(MAX)
929                               isPivotResult: true
930                             window function definition
931                               alias: rank_window_1
932                               arguments: _col1
933                               name: rank
934                               window function: GenericUDAFRankEvaluator
935                               window frame: ROWS PRECEDING(MAX)~FOLLOWING(MAX)
936                               isPivotResult: true
937                             window function definition
938                               alias: dense_rank_window_2
939                               arguments: _col1
940                               name: dense_rank
941                               window function: GenericUDAFDenseRankEvaluator
942                               window frame: ROWS PRECEDING(MAX)~FOLLOWING(MAX)
943                               isPivotResult: true
944                             window function definition
945                               alias: first_value_window_3
946                               arguments: _col2
947                               name: first_value
948                               window function: GenericUDAFFirstValueEvaluator
949                               window frame: RANGE PRECEDING(MAX)~CURRENT
950                             window function definition
951                               alias: last_value_window_4
952                               arguments: _col2
953                               name: last_value
954                               window function: GenericUDAFLastValueEvaluator
955                               window frame: RANGE PRECEDING(MAX)~CURRENT
956                             window function definition
957                               alias: count_window_5
958                               arguments: _col2
959                               name: count
960                               window function: GenericUDAFCountEvaluator
961                               window frame: RANGE PRECEDING(MAX)~CURRENT
962                             window function definition
963                               alias: count_window_6
964                               name: count
965                               window function: GenericUDAFCountEvaluator
966                               window frame: RANGE PRECEDING(MAX)~CURRENT
967                               isStar: true
968                   PTF Vectorization:
969                       className: VectorPTFOperator
970                       evaluatorClasses: [VectorPTFEvaluatorRowNumber, VectorPTFEvaluatorRank, VectorPTFEvaluatorDenseRank, VectorPTFEvaluatorDoubleFirstValue, VectorPTFEvaluatorDoubleLastValue, VectorPTFEvaluatorCount, VectorPTFEvaluatorCountStar]
971                       functionInputExpressions: [null, col 1:string, col 1:string, col 2:double, col 2:double, col 2:double, null]
972                       functionNames: [row_number, rank, dense_rank, first_value, last_value, count, count]
973                       keyInputColumns: [0, 1]
974                       native: true
975                       nonKeyInputColumns: [2]
976                       orderExpressions: [col 1:string]
977                       outputColumns: [3, 4, 5, 6, 7, 8, 9, 0, 1, 2]
978                       outputTypes: [int, int, int, double, double, bigint, bigint, string, string, double]
979                       partitionExpressions: [col 0:string]
980                       streamingColumns: [3, 4, 5, 6]
981                   Statistics: Num rows: 40 Data size: 19816 Basic stats: COMPLETE Column stats: COMPLETE
982                   Select Operator
983                     expressions: _col0 (type: string), _col1 (type: string), _col2 (type: double), row_number_window_0 (type: int), rank_window_1 (type: int), dense_rank_window_2 (type: int), first_value_window_3 (type: double), last_value_window_4 (type: double), count_window_5 (type: bigint), count_window_6 (type: bigint)
984                     outputColumnNames: _col0, _col1, _col2, _col3, _col4, _col5, _col6, _col7, _col8, _col9
985                     Select Vectorization:
986                         className: VectorSelectOperator
987                         native: true
988                         projectedOutputColumnNums: [0, 1, 2, 3, 4, 5, 6, 7, 8, 9]
989                     Statistics: Num rows: 40 Data size: 10824 Basic stats: COMPLETE Column stats: COMPLETE
990                     File Output Operator
991                       compressed: false
992                       File Sink Vectorization:
993                           className: VectorFileSinkOperator
994                           native: false
995                       Statistics: Num rows: 40 Data size: 10824 Basic stats: COMPLETE Column stats: COMPLETE
996                       table:
997                           input format: org.apache.hadoop.mapred.SequenceFileInputFormat
998                           output format: org.apache.hadoop.hive.ql.io.HiveSequenceFileOutputFormat
999                           serde: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
1000
1001   Stage: Stage-0
1002     Fetch Operator
1003       limit: -1
1004       Processor Tree:
1005         ListSink
1006
1007 PREHOOK: query: select p_mfgr,p_name, p_retailprice,
1008 row_number() over(partition by p_mfgr order by p_name) as rn,
1009 rank() over(partition by p_mfgr order by p_name) as r,
1010 dense_rank() over(partition by p_mfgr order by p_name) as dr,
1011 first_value(p_retailprice) over(partition by p_mfgr order by p_name) as fv,
1012 last_value(p_retailprice) over(partition by p_mfgr order by p_name) as lv,
1013 count(p_retailprice) over(partition by p_mfgr order by p_name) as c,
1014 count(*) over(partition by p_mfgr order by p_name) as cs
1015 from vector_ptf_part_simple_orc
1016 PREHOOK: type: QUERY
1017 PREHOOK: Input: default@vector_ptf_part_simple_orc
1018 #### A masked pattern was here ####
1019 POSTHOOK: query: select p_mfgr,p_name, p_retailprice,
1020 row_number() over(partition by p_mfgr order by p_name) as rn,
1021 rank() over(partition by p_mfgr order by p_name) as r,
1022 dense_rank() over(partition by p_mfgr order by p_name) as dr,
1023 first_value(p_retailprice) over(partition by p_mfgr order by p_name) as fv,
1024 last_value(p_retailprice) over(partition by p_mfgr order by p_name) as lv,
1025 count(p_retailprice) over(partition by p_mfgr order by p_name) as c,
1026 count(*) over(partition by p_mfgr order by p_name) as cs
1027 from vector_ptf_part_simple_orc
1028 POSTHOOK: type: QUERY
1029 POSTHOOK: Input: default@vector_ptf_part_simple_orc
1030 #### A masked pattern was here ####
1031 p_mfgr  p_name  p_retailprice   rn      r       dr      fv      lv      c       cs
1032 Manufacturer#1  almond antique burnished rose metallic  1173.15 1       1       1       1173.15 1173.15 2       2
1033 Manufacturer#1  almond antique burnished rose metallic  1173.15 2       1       1       1173.15 1173.15 2       2
1034 Manufacturer#1  almond antique chartreuse lavender yellow       1753.76 3       3       2       1173.15 1753.76 6       6
1035 Manufacturer#1  almond antique chartreuse lavender yellow       1753.76 4       3       2       1173.15 1753.76 6       6
1036 Manufacturer#1  almond antique chartreuse lavender yellow       1753.76 5       3       2       1173.15 1753.76 6       6
1037 Manufacturer#1  almond antique chartreuse lavender yellow       1753.76 6       3       2       1173.15 1753.76 6       6
1038 Manufacturer#1  almond antique salmon chartreuse burlywood      1602.59 7       7       3       1173.15 1602.59 7       7
1039 Manufacturer#1  almond aquamarine burnished black steel 1414.42 8       8       4       1173.15 1414.42 8       8
1040 Manufacturer#1  almond aquamarine pink moccasin thistle 1632.66 9       9       5       1173.15 1632.66 11      12
1041 Manufacturer#1  almond aquamarine pink moccasin thistle NULL    10      9       5       1173.15 1632.66 11      12
1042 Manufacturer#1  almond aquamarine pink moccasin thistle 1632.66 11      9       5       1173.15 1632.66 11      12
1043 Manufacturer#1  almond aquamarine pink moccasin thistle 1632.66 12      9       5       1173.15 1632.66 11      12
1044 Manufacturer#2  almond antique violet chocolate turquoise       1690.68 1       1       1       1690.68 1690.68 1       1
1045 Manufacturer#2  almond antique violet turquoise frosted 1800.7  2       2       2       1690.68 1800.7  4       4
1046 Manufacturer#2  almond antique violet turquoise frosted 1800.7  3       2       2       1690.68 1800.7  4       4
1047 Manufacturer#2  almond antique violet turquoise frosted 1800.7  4       2       2       1690.68 1800.7  4       4
1048 Manufacturer#2  almond aquamarine midnight light salmon 2031.98 5       5       3       1690.68 2031.98 5       5
1049 Manufacturer#2  almond aquamarine rose maroon antique   900.66  6       6       4       1690.68 1698.66 7       7
1050 Manufacturer#2  almond aquamarine rose maroon antique   1698.66 7       6       4       1690.68 1698.66 7       7
1051 Manufacturer#2  almond aquamarine sandy cyan gainsboro  1000.6  8       8       5       1690.68 1000.6  8       8
1052 Manufacturer#3  almond antique chartreuse khaki white   99.68   1       1       1       99.68   99.68   1       1
1053 Manufacturer#3  almond antique forest lavender goldenrod        590.27  2       2       2       99.68   1190.27 4       5
1054 Manufacturer#3  almond antique forest lavender goldenrod        NULL    3       2       2       99.68   1190.27 4       5
1055 Manufacturer#3  almond antique forest lavender goldenrod        1190.27 4       2       2       99.68   1190.27 4       5
1056 Manufacturer#3  almond antique forest lavender goldenrod        1190.27 5       2       2       99.68   1190.27 4       5
1057 Manufacturer#3  almond antique metallic orange dim      55.39   6       6       3       99.68   55.39   5       6
1058 Manufacturer#3  almond antique misty red olive  1922.98 7       7       4       99.68   1922.98 6       7
1059 Manufacturer#3  almond antique olive coral navajo       1337.29 8       8       5       99.68   1337.29 7       8
1060 Manufacturer#4  almond antique gainsboro frosted violet NULL    1       1       1       NULL    NULL    0       1
1061 Manufacturer#4  almond antique violet mint lemon        1375.42 2       2       2       NULL    1375.42 1       2
1062 Manufacturer#4  almond aquamarine floral ivory bisque   NULL    3       3       3       NULL    1206.26 2       4
1063 Manufacturer#4  almond aquamarine floral ivory bisque   1206.26 4       3       3       NULL    1206.26 2       4
1064 Manufacturer#4  almond aquamarine yellow dodger mint    1844.92 5       5       4       NULL    1844.92 3       5
1065 Manufacturer#4  almond azure aquamarine papaya violet   1290.35 6       6       5       NULL    1290.35 4       6
1066 Manufacturer#5  almond antique blue firebrick mint      1789.69 1       1       1       1789.69 1789.69 1       1
1067 Manufacturer#5  almond antique medium spring khaki      1611.66 2       2       2       1789.69 1611.66 3       3
1068 Manufacturer#5  almond antique medium spring khaki      1611.66 3       2       2       1789.69 1611.66 3       3
1069 Manufacturer#5  almond antique sky peru orange  1788.73 4       4       3       1789.69 1788.73 4       4
1070 Manufacturer#5  almond aquamarine dodger light gainsboro        1018.1  5       5       4       1789.69 1018.1  5       5
1071 Manufacturer#5  almond azure blanched chiffon midnight  1464.48 6       6       5       1789.69 1464.48 6       6
1072 PREHOOK: query: explain vectorization detail
1073 select p_mfgr,p_name, p_retailprice,
1074 row_number() over(partition by p_mfgr order by p_name range between unbounded preceding and unbounded following) as rn,
1075 rank() over(partition by p_mfgr order by p_name range between unbounded preceding and unbounded following) as r,
1076 dense_rank() over(partition by p_mfgr order by p_name range between unbounded preceding and unbounded following) as dr,
1077 first_value(p_retailprice) over(partition by p_mfgr order by p_name range between unbounded preceding and current row) as fv,
1078 last_value(p_retailprice) over(partition by p_mfgr order by p_name range between unbounded preceding and current row) as lv,
1079 count(p_retailprice) over(partition by p_mfgr order by p_name range between unbounded preceding and current row) as c,
1080 count(*) over(partition by p_mfgr order by p_name range between unbounded preceding and current row) as cs
1081 from vector_ptf_part_simple_orc
1082 PREHOOK: type: QUERY
1083 POSTHOOK: query: explain vectorization detail
1084 select p_mfgr,p_name, p_retailprice,
1085 row_number() over(partition by p_mfgr order by p_name range between unbounded preceding and unbounded following) as rn,
1086 rank() over(partition by p_mfgr order by p_name range between unbounded preceding and unbounded following) as r,
1087 dense_rank() over(partition by p_mfgr order by p_name range between unbounded preceding and unbounded following) as dr,
1088 first_value(p_retailprice) over(partition by p_mfgr order by p_name range between unbounded preceding and current row) as fv,
1089 last_value(p_retailprice) over(partition by p_mfgr order by p_name range between unbounded preceding and current row) as lv,
1090 count(p_retailprice) over(partition by p_mfgr order by p_name range between unbounded preceding and current row) as c,
1091 count(*) over(partition by p_mfgr order by p_name range between unbounded preceding and current row) as cs
1092 from vector_ptf_part_simple_orc
1093 POSTHOOK: type: QUERY
1094 Explain
1095 PLAN VECTORIZATION:
1096   enabled: true
1097   enabledConditionsMet: [hive.vectorized.execution.enabled IS true]
1098
1099 STAGE DEPENDENCIES:
1100   Stage-1 is a root stage
1101   Stage-0 depends on stages: Stage-1
1102
1103 STAGE PLANS:
1104   Stage: Stage-1
1105     Tez
1106 #### A masked pattern was here ####
1107       Edges:
1108         Reducer 2 <- Map 1 (SIMPLE_EDGE)
1109 #### A masked pattern was here ####
1110       Vertices:
1111         Map 1 
1112             Map Operator Tree:
1113                 TableScan
1114                   alias: vector_ptf_part_simple_orc
1115                   Statistics: Num rows: 40 Data size: 9096 Basic stats: COMPLETE Column stats: COMPLETE
1116                   TableScan Vectorization:
1117                       native: true
1118                       vectorizationSchemaColumns: [0:p_mfgr:string, 1:p_name:string, 2:p_retailprice:double, 3:ROW__ID:struct<transactionid:bigint,bucketid:int,rowid:bigint>]
1119                   Reduce Output Operator
1120                     key expressions: p_mfgr (type: string), p_name (type: string)
1121                     sort order: ++
1122                     Map-reduce partition columns: p_mfgr (type: string)
1123                     Reduce Sink Vectorization:
1124                         className: VectorReduceSinkObjectHashOperator
1125                         keyColumnNums: [0, 1]
1126                         native: true
1127                         nativeConditionsMet: hive.vectorized.execution.reducesink.new.enabled IS true, hive.execution.engine tez IN [tez, spark] IS true, No PTF TopN IS true, No DISTINCT columns IS true, BinarySortableSerDe for keys IS true, LazyBinarySerDe for values IS true
1128                         partitionColumnNums: [0]
1129                         valueColumnNums: [2]
1130                     Statistics: Num rows: 40 Data size: 9096 Basic stats: COMPLETE Column stats: COMPLETE
1131                     value expressions: p_retailprice (type: double)
1132             Execution mode: vectorized, llap
1133             LLAP IO: all inputs
1134             Map Vectorization:
1135                 enabled: true
1136                 enabledConditionsMet: hive.vectorized.use.vectorized.input.format IS true
1137                 inputFormatFeatureSupport: []
1138                 featureSupportInUse: []
1139                 inputFileFormats: org.apache.hadoop.hive.ql.io.orc.OrcInputFormat
1140                 allNative: true
1141                 usesVectorUDFAdaptor: false
1142                 vectorized: true
1143                 rowBatchContext:
1144                     dataColumnCount: 3
1145                     includeColumns: [0, 1, 2]
1146                     dataColumns: p_mfgr:string, p_name:string, p_retailprice:double
1147                     partitionColumnCount: 0
1148                     scratchColumnTypeNames: []
1149         Reducer 2 
1150             Execution mode: llap
1151             Reduce Vectorization:
1152                 enabled: true
1153                 enableConditionsMet: hive.vectorized.execution.reduce.enabled IS true, hive.execution.engine tez IN [tez, spark] IS true
1154                 notVectorizedReason: PTF operator: row_number only CURRENT ROW end frame is supported for RANGE
1155                 vectorized: false
1156             Reduce Operator Tree:
1157               Select Operator
1158                 expressions: KEY.reducesinkkey0 (type: string), KEY.reducesinkkey1 (type: string), VALUE._col0 (type: double)
1159                 outputColumnNames: _col0, _col1, _col2
1160                 Statistics: Num rows: 40 Data size: 19816 Basic stats: COMPLETE Column stats: COMPLETE
1161                 PTF Operator
1162                   Function definitions:
1163                       Input definition
1164                         input alias: ptf_0
1165                         output shape: _col0: string, _col1: string, _col2: double
1166                         type: WINDOWING
1167                       Windowing table definition
1168                         input alias: ptf_1
1169                         name: windowingtablefunction
1170                         order by: _col1 ASC NULLS FIRST
1171                         partition by: _col0
1172                         raw input shape:
1173                         window functions:
1174                             window function definition
1175                               alias: row_number_window_0
1176                               name: row_number
1177                               window function: GenericUDAFRowNumberEvaluator
1178                               window frame: RANGE PRECEDING(MAX)~FOLLOWING(MAX)
1179                               isPivotResult: true
1180                             window function definition
1181                               alias: rank_window_1
1182                               arguments: _col1
1183                               name: rank
1184                               window function: GenericUDAFRankEvaluator
1185                               window frame: RANGE PRECEDING(MAX)~FOLLOWING(MAX)
1186                               isPivotResult: true
1187                             window function definition
1188                               alias: dense_rank_window_2
1189                               arguments: _col1
1190                               name: dense_rank
1191                               window function: GenericUDAFDenseRankEvaluator
1192                               window frame: RANGE PRECEDING(MAX)~FOLLOWING(MAX)
1193                               isPivotResult: true
1194                             window function definition
1195                               alias: first_value_window_3
1196                               arguments: _col2
1197                               name: first_value
1198                               window function: GenericUDAFFirstValueEvaluator
1199                               window frame: RANGE PRECEDING(MAX)~CURRENT
1200                             window function definition
1201                               alias: last_value_window_4
1202                               arguments: _col2
1203                               name: last_value
1204                               window function: GenericUDAFLastValueEvaluator
1205                               window frame: RANGE PRECEDING(MAX)~CURRENT
1206                             window function definition
1207                               alias: count_window_5
1208                               arguments: _col2
1209                               name: count
1210                               window function: GenericUDAFCountEvaluator
1211                               window frame: RANGE PRECEDING(MAX)~CURRENT
1212                             window function definition
1213                               alias: count_window_6
1214                               name: count
1215                               window function: GenericUDAFCountEvaluator
1216                               window frame: RANGE PRECEDING(MAX)~CURRENT
1217                               isStar: true
1218                   Statistics: Num rows: 40 Data size: 19816 Basic stats: COMPLETE Column stats: COMPLETE
1219                   Select Operator
1220                     expressions: _col0 (type: string), _col1 (type: string), _col2 (type: double), row_number_window_0 (type: int), rank_window_1 (type: int), dense_rank_window_2 (type: int), first_value_window_3 (type: double), last_value_window_4 (type: double), count_window_5 (type: bigint), count_window_6 (type: bigint)
1221                     outputColumnNames: _col0, _col1, _col2, _col3, _col4, _col5, _col6, _col7, _col8, _col9
1222                     Statistics: Num rows: 40 Data size: 10824 Basic stats: COMPLETE Column stats: COMPLETE
1223                     File Output Operator
1224                       compressed: false
1225                       Statistics: Num rows: 40 Data size: 10824 Basic stats: COMPLETE Column stats: COMPLETE
1226                       table:
1227                           input format: org.apache.hadoop.mapred.SequenceFileInputFormat
1228                           output format: org.apache.hadoop.hive.ql.io.HiveSequenceFileOutputFormat
1229                           serde: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
1230
1231   Stage: Stage-0
1232     Fetch Operator
1233       limit: -1
1234       Processor Tree:
1235         ListSink
1236
1237 PREHOOK: query: select p_mfgr,p_name, p_retailprice,
1238 row_number() over(partition by p_mfgr order by p_name range between unbounded preceding and unbounded following) as rn,
1239 rank() over(partition by p_mfgr order by p_name range between unbounded preceding and unbounded following) as r,
1240 dense_rank() over(partition by p_mfgr order by p_name range between unbounded preceding and unbounded following) as dr,
1241 first_value(p_retailprice) over(partition by p_mfgr order by p_name range between unbounded preceding and current row) as fv,
1242 last_value(p_retailprice) over(partition by p_mfgr order by p_name range between unbounded preceding and current row) as lv,
1243 count(p_retailprice) over(partition by p_mfgr order by p_name range between unbounded preceding and current row) as c,
1244 count(*) over(partition by p_mfgr order by p_name range between unbounded preceding and current row) as cs
1245 from vector_ptf_part_simple_orc
1246 PREHOOK: type: QUERY
1247 PREHOOK: Input: default@vector_ptf_part_simple_orc
1248 #### A masked pattern was here ####
1249 POSTHOOK: query: select p_mfgr,p_name, p_retailprice,
1250 row_number() over(partition by p_mfgr order by p_name range between unbounded preceding and unbounded following) as rn,
1251 rank() over(partition by p_mfgr order by p_name range between unbounded preceding and unbounded following) as r,
1252 dense_rank() over(partition by p_mfgr order by p_name range between unbounded preceding and unbounded following) as dr,
1253 first_value(p_retailprice) over(partition by p_mfgr order by p_name range between unbounded preceding and current row) as fv,
1254 last_value(p_retailprice) over(partition by p_mfgr order by p_name range between unbounded preceding and current row) as lv,
1255 count(p_retailprice) over(partition by p_mfgr order by p_name range between unbounded preceding and current row) as c,
1256 count(*) over(partition by p_mfgr order by p_name range between unbounded preceding and current row) as cs
1257 from vector_ptf_part_simple_orc
1258 POSTHOOK: type: QUERY
1259 POSTHOOK: Input: default@vector_ptf_part_simple_orc
1260 #### A masked pattern was here ####
1261 p_mfgr  p_name  p_retailprice   rn      r       dr      fv      lv      c       cs
1262 Manufacturer#1  almond antique burnished rose metallic  1173.15 1       1       1       1173.15 1173.15 2       2
1263 Manufacturer#1  almond antique burnished rose metallic  1173.15 2       1       1       1173.15 1173.15 2       2
1264 Manufacturer#1  almond antique chartreuse lavender yellow       1753.76 3       3       2       1173.15 1753.76 6       6
1265 Manufacturer#1  almond antique chartreuse lavender yellow       1753.76 4       3       2       1173.15 1753.76 6       6
1266 Manufacturer#1  almond antique chartreuse lavender yellow       1753.76 5       3       2       1173.15 1753.76 6       6
1267 Manufacturer#1  almond antique chartreuse lavender yellow       1753.76 6       3       2       1173.15 1753.76 6       6
1268 Manufacturer#1  almond antique salmon chartreuse burlywood      1602.59 7       7       3       1173.15 1602.59 7       7
1269 Manufacturer#1  almond aquamarine burnished black steel 1414.42 8       8       4       1173.15 1414.42 8       8
1270 Manufacturer#1  almond aquamarine pink moccasin thistle 1632.66 9       9       5       1173.15 1632.66 11      12
1271 Manufacturer#1  almond aquamarine pink moccasin thistle NULL    10      9       5       1173.15 1632.66 11      12
1272 Manufacturer#1  almond aquamarine pink moccasin thistle 1632.66 11      9       5       1173.15 1632.66 11      12
1273 Manufacturer#1  almond aquamarine pink moccasin thistle 1632.66 12      9       5       1173.15 1632.66 11      12
1274 Manufacturer#2  almond antique violet chocolate turquoise       1690.68 1       1       1       1690.68 1690.68 1       1
1275 Manufacturer#2  almond antique violet turquoise frosted 1800.7  2       2       2       1690.68 1800.7  4       4
1276 Manufacturer#2  almond antique violet turquoise frosted 1800.7  3       2       2       1690.68 1800.7  4       4
1277 Manufacturer#2  almond antique violet turquoise frosted 1800.7  4       2       2       1690.68 1800.7  4       4
1278 Manufacturer#2  almond aquamarine midnight light salmon 2031.98 5       5       3       1690.68 2031.98 5       5
1279 Manufacturer#2  almond aquamarine rose maroon antique   900.66  6       6       4       1690.68 1698.66 7       7
1280 Manufacturer#2  almond aquamarine rose maroon antique   1698.66 7       6       4       1690.68 1698.66 7       7
1281 Manufacturer#2  almond aquamarine sandy cyan gainsboro  1000.6  8       8       5       1690.68 1000.6  8       8
1282 Manufacturer#3  almond antique chartreuse khaki white   99.68   1       1       1       99.68   99.68   1       1
1283 Manufacturer#3  almond antique forest lavender goldenrod        590.27  2       2       2       99.68   1190.27 4       5
1284 Manufacturer#3  almond antique forest lavender goldenrod        NULL    3       2       2       99.68   1190.27 4       5
1285 Manufacturer#3  almond antique forest lavender goldenrod        1190.27 4       2       2       99.68   1190.27 4       5
1286 Manufacturer#3  almond antique forest lavender goldenrod        1190.27 5       2       2       99.68   1190.27 4       5
1287 Manufacturer#3  almond antique metallic orange dim      55.39   6       6       3       99.68   55.39   5       6
1288 Manufacturer#3  almond antique misty red olive  1922.98 7       7       4       99.68   1922.98 6       7
1289 Manufacturer#3  almond antique olive coral navajo       1337.29 8       8       5       99.68   1337.29 7       8
1290 Manufacturer#4  almond antique gainsboro frosted violet NULL    1       1       1       NULL    NULL    0       1
1291 Manufacturer#4  almond antique violet mint lemon        1375.42 2       2       2       NULL    1375.42 1       2
1292 Manufacturer#4  almond aquamarine floral ivory bisque   NULL    3       3       3       NULL    1206.26 2       4
1293 Manufacturer#4  almond aquamarine floral ivory bisque   1206.26 4       3       3       NULL    1206.26 2       4
1294 Manufacturer#4  almond aquamarine yellow dodger mint    1844.92 5       5       4       NULL    1844.92 3       5
1295 Manufacturer#4  almond azure aquamarine papaya violet   1290.35 6       6       5       NULL    1290.35 4       6
1296 Manufacturer#5  almond antique blue firebrick mint      1789.69 1       1       1       1789.69 1789.69 1       1
1297 Manufacturer#5  almond antique medium spring khaki      1611.66 2       2       2       1789.69 1611.66 3       3
1298 Manufacturer#5  almond antique medium spring khaki      1611.66 3       2       2       1789.69 1611.66 3       3
1299 Manufacturer#5  almond antique sky peru orange  1788.73 4       4       3       1789.69 1788.73 4       4
1300 Manufacturer#5  almond aquamarine dodger light gainsboro        1018.1  5       5       4       1789.69 1018.1  5       5
1301 Manufacturer#5  almond azure blanched chiffon midnight  1464.48 6       6       5       1789.69 1464.48 6       6
1302 PREHOOK: query: explain vectorization detail
1303 select p_mfgr,p_name, p_retailprice,
1304 row_number() over(partition by p_mfgr order by p_name rows between unbounded preceding and unbounded following) as rn,
1305 rank() over(partition by p_mfgr order by p_name rows between unbounded preceding and unbounded following) as r,
1306 dense_rank() over(partition by p_mfgr order by p_name rows between unbounded preceding and unbounded following) as dr,
1307 first_value(p_retailprice) over(partition by p_mfgr order by p_name rows between unbounded preceding and current row) as fv,
1308 last_value(p_retailprice) over(partition by p_mfgr order by p_name rows between unbounded preceding and current row) as lv,
1309 count(p_retailprice) over(partition by p_mfgr order by p_name rows between unbounded preceding and current row) as c,
1310 count(*) over(partition by p_mfgr order by p_name rows between unbounded preceding and current row) as cs
1311 from vector_ptf_part_simple_orc
1312 PREHOOK: type: QUERY
1313 POSTHOOK: query: explain vectorization detail
1314 select p_mfgr,p_name, p_retailprice,
1315 row_number() over(partition by p_mfgr order by p_name rows between unbounded preceding and unbounded following) as rn,
1316 rank() over(partition by p_mfgr order by p_name rows between unbounded preceding and unbounded following) as r,
1317 dense_rank() over(partition by p_mfgr order by p_name rows between unbounded preceding and unbounded following) as dr,
1318 first_value(p_retailprice) over(partition by p_mfgr order by p_name rows between unbounded preceding and current row) as fv,
1319 last_value(p_retailprice) over(partition by p_mfgr order by p_name rows between unbounded preceding and current row) as lv,
1320 count(p_retailprice) over(partition by p_mfgr order by p_name rows between unbounded preceding and current row) as c,
1321 count(*) over(partition by p_mfgr order by p_name rows between unbounded preceding and current row) as cs
1322 from vector_ptf_part_simple_orc
1323 POSTHOOK: type: QUERY
1324 Explain
1325 PLAN VECTORIZATION:
1326   enabled: true
1327   enabledConditionsMet: [hive.vectorized.execution.enabled IS true]
1328
1329 STAGE DEPENDENCIES:
1330   Stage-1 is a root stage
1331   Stage-0 depends on stages: Stage-1
1332
1333 STAGE PLANS:
1334   Stage: Stage-1
1335     Tez
1336 #### A masked pattern was here ####
1337       Edges:
1338         Reducer 2 <- Map 1 (SIMPLE_EDGE)
1339 #### A masked pattern was here ####
1340       Vertices:
1341         Map 1 
1342             Map Operator Tree:
1343                 TableScan
1344                   alias: vector_ptf_part_simple_orc
1345                   Statistics: Num rows: 40 Data size: 9096 Basic stats: COMPLETE Column stats: COMPLETE
1346                   TableScan Vectorization:
1347                       native: true
1348                       vectorizationSchemaColumns: [0:p_mfgr:string, 1:p_name:string, 2:p_retailprice:double, 3:ROW__ID:struct<transactionid:bigint,bucketid:int,rowid:bigint>]
1349                   Reduce Output Operator
1350                     key expressions: p_mfgr (type: string), p_name (type: string)
1351                     sort order: ++
1352                     Map-reduce partition columns: p_mfgr (type: string)
1353                     Reduce Sink Vectorization:
1354                         className: VectorReduceSinkObjectHashOperator
1355                         keyColumnNums: [0, 1]
1356                         native: true
1357                         nativeConditionsMet: hive.vectorized.execution.reducesink.new.enabled IS true, hive.execution.engine tez IN [tez, spark] IS true, No PTF TopN IS true, No DISTINCT columns IS true, BinarySortableSerDe for keys IS true, LazyBinarySerDe for values IS true
1358                         partitionColumnNums: [0]
1359                         valueColumnNums: [2]
1360                     Statistics: Num rows: 40 Data size: 9096 Basic stats: COMPLETE Column stats: COMPLETE
1361                     value expressions: p_retailprice (type: double)
1362             Execution mode: vectorized, llap
1363             LLAP IO: all inputs
1364             Map Vectorization:
1365                 enabled: true
1366                 enabledConditionsMet: hive.vectorized.use.vectorized.input.format IS true
1367                 inputFormatFeatureSupport: []
1368                 featureSupportInUse: []
1369                 inputFileFormats: org.apache.hadoop.hive.ql.io.orc.OrcInputFormat
1370                 allNative: true
1371                 usesVectorUDFAdaptor: false
1372                 vectorized: true
1373                 rowBatchContext:
1374                     dataColumnCount: 3
1375                     includeColumns: [0, 1, 2]
1376                     dataColumns: p_mfgr:string, p_name:string, p_retailprice:double
1377                     partitionColumnCount: 0
1378                     scratchColumnTypeNames: []
1379         Reducer 2 
1380             Execution mode: llap
1381             Reduce Vectorization:
1382                 enabled: true
1383                 enableConditionsMet: hive.vectorized.execution.reduce.enabled IS true, hive.execution.engine tez IN [tez, spark] IS true
1384                 notVectorizedReason: PTF operator: first_value UNBOUNDED end frame is not supported for ROWS window type
1385                 vectorized: false
1386             Reduce Operator Tree:
1387               Select Operator
1388                 expressions: KEY.reducesinkkey0 (type: string), KEY.reducesinkkey1 (type: string), VALUE._col0 (type: double)
1389                 outputColumnNames: _col0, _col1, _col2
1390                 Statistics: Num rows: 40 Data size: 19816 Basic stats: COMPLETE Column stats: COMPLETE
1391                 PTF Operator
1392                   Function definitions:
1393                       Input definition
1394                         input alias: ptf_0
1395                         output shape: _col0: string, _col1: string, _col2: double
1396                         type: WINDOWING
1397                       Windowing table definition
1398                         input alias: ptf_1
1399                         name: windowingtablefunction
1400                         order by: _col1 ASC NULLS FIRST
1401                         partition by: _col0
1402                         raw input shape:
1403                         window functions:
1404                             window function definition
1405                               alias: row_number_window_0
1406                               name: row_number
1407                               window function: GenericUDAFRowNumberEvaluator
1408                               window frame: ROWS PRECEDING(MAX)~FOLLOWING(MAX)
1409                               isPivotResult: true
1410                             window function definition
1411                               alias: rank_window_1
1412                               arguments: _col1
1413                               name: rank
1414                               window function: GenericUDAFRankEvaluator
1415                               window frame: ROWS PRECEDING(MAX)~FOLLOWING(MAX)
1416                               isPivotResult: true
1417                             window function definition
1418                               alias: dense_rank_window_2
1419                               arguments: _col1
1420                               name: dense_rank
1421                               window function: GenericUDAFDenseRankEvaluator
1422                               window frame: ROWS PRECEDING(MAX)~FOLLOWING(MAX)
1423                               isPivotResult: true
1424                             window function definition
1425                               alias: first_value_window_3
1426                               arguments: _col2
1427                               name: first_value
1428                               window function: GenericUDAFFirstValueEvaluator
1429                               window frame: ROWS PRECEDING(MAX)~CURRENT
1430                             window function definition
1431                               alias: last_value_window_4
1432                               arguments: _col2
1433                               name: last_value
1434                               window function: GenericUDAFLastValueEvaluator
1435                               window frame: ROWS PRECEDING(MAX)~CURRENT
1436                             window function definition
1437                               alias: count_window_5
1438                               arguments: _col2
1439                               name: count
1440                               window function: GenericUDAFCountEvaluator
1441                               window frame: ROWS PRECEDING(MAX)~CURRENT
1442                             window function definition
1443                               alias: count_window_6
1444                               name: count
1445                               window function: GenericUDAFCountEvaluator
1446                               window frame: ROWS PRECEDING(MAX)~CURRENT
1447                               isStar: true
1448                   Statistics: Num rows: 40 Data size: 19816 Basic stats: COMPLETE Column stats: COMPLETE
1449                   Select Operator
1450                     expressions: _col0 (type: string), _col1 (type: string), _col2 (type: double), row_number_window_0 (type: int), rank_window_1 (type: int), dense_rank_window_2 (type: int), first_value_window_3 (type: double), last_value_window_4 (type: double), count_window_5 (type: bigint), count_window_6 (type: bigint)
1451                     outputColumnNames: _col0, _col1, _col2, _col3, _col4, _col5, _col6, _col7, _col8, _col9
1452                     Statistics: Num rows: 40 Data size: 10824 Basic stats: COMPLETE Column stats: COMPLETE
1453                     File Output Operator
1454                       compressed: false
1455                       Statistics: Num rows: 40 Data size: 10824 Basic stats: COMPLETE Column stats: COMPLETE
1456                       table:
1457                           input format: org.apache.hadoop.mapred.SequenceFileInputFormat
1458                           output format: org.apache.hadoop.hive.ql.io.HiveSequenceFileOutputFormat
1459                           serde: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
1460
1461   Stage: Stage-0
1462     Fetch Operator
1463       limit: -1
1464       Processor Tree:
1465         ListSink
1466
1467 PREHOOK: query: select p_mfgr,p_name, p_retailprice,
1468 row_number() over(partition by p_mfgr order by p_name rows between unbounded preceding and unbounded following) as rn,
1469 rank() over(partition by p_mfgr order by p_name rows between unbounded preceding and unbounded following) as r,
1470 dense_rank() over(partition by p_mfgr order by p_name rows between unbounded preceding and unbounded following) as dr,
1471 first_value(p_retailprice) over(partition by p_mfgr order by p_name rows between unbounded preceding and current row) as fv,
1472 last_value(p_retailprice) over(partition by p_mfgr order by p_name rows between unbounded preceding and current row) as lv,
1473 count(p_retailprice) over(partition by p_mfgr order by p_name rows between unbounded preceding and current row) as c,
1474 count(*) over(partition by p_mfgr order by p_name rows between unbounded preceding and current row) as cs
1475 from vector_ptf_part_simple_orc
1476 PREHOOK: type: QUERY
1477 PREHOOK: Input: default@vector_ptf_part_simple_orc
1478 #### A masked pattern was here ####
1479 POSTHOOK: query: select p_mfgr,p_name, p_retailprice,
1480 row_number() over(partition by p_mfgr order by p_name rows between unbounded preceding and unbounded following) as rn,
1481 rank() over(partition by p_mfgr order by p_name rows between unbounded preceding and unbounded following) as r,
1482 dense_rank() over(partition by p_mfgr order by p_name rows between unbounded preceding and unbounded following) as dr,
1483 first_value(p_retailprice) over(partition by p_mfgr order by p_name rows between unbounded preceding and current row) as fv,
1484 last_value(p_retailprice) over(partition by p_mfgr order by p_name rows between unbounded preceding and current row) as lv,
1485 count(p_retailprice) over(partition by p_mfgr order by p_name rows between unbounded preceding and current row) as c,
1486 count(*) over(partition by p_mfgr order by p_name rows between unbounded preceding and current row) as cs
1487 from vector_ptf_part_simple_orc
1488 POSTHOOK: type: QUERY
1489 POSTHOOK: Input: default@vector_ptf_part_simple_orc
1490 #### A masked pattern was here ####
1491 p_mfgr  p_name  p_retailprice   rn      r       dr      fv      lv      c       cs
1492 Manufacturer#1  almond antique burnished rose metallic  1173.15 1       1       1       1173.15 1173.15 1       1
1493 Manufacturer#1  almond antique burnished rose metallic  1173.15 2       1       1       1173.15 1173.15 2       2
1494 Manufacturer#1  almond antique chartreuse lavender yellow       1753.76 3       3       2       1173.15 1753.76 3       3
1495 Manufacturer#1  almond antique chartreuse lavender yellow       1753.76 4       3       2       1173.15 1753.76 4       4
1496 Manufacturer#1  almond antique chartreuse lavender yellow       1753.76 5       3       2       1173.15 1753.76 5       5
1497 Manufacturer#1  almond antique chartreuse lavender yellow       1753.76 6       3       2       1173.15 1753.76 6       6
1498 Manufacturer#1  almond antique salmon chartreuse burlywood      1602.59 7       7       3       1173.15 1602.59 7       7
1499 Manufacturer#1  almond aquamarine burnished black steel 1414.42 8       8       4       1173.15 1414.42 8       8
1500 Manufacturer#1  almond aquamarine pink moccasin thistle 1632.66 9       9       5       1173.15 1632.66 9       9
1501 Manufacturer#1  almond aquamarine pink moccasin thistle NULL    10      9       5       1173.15 NULL    9       10
1502 Manufacturer#1  almond aquamarine pink moccasin thistle 1632.66 11      9       5       1173.15 1632.66 10      11
1503 Manufacturer#1  almond aquamarine pink moccasin thistle 1632.66 12      9       5       1173.15 1632.66 11      12
1504 Manufacturer#2  almond antique violet chocolate turquoise       1690.68 1       1       1       1690.68 1690.68 1       1
1505 Manufacturer#2  almond antique violet turquoise frosted 1800.7  2       2       2       1690.68 1800.7  2       2
1506 Manufacturer#2  almond antique violet turquoise frosted 1800.7  3       2       2       1690.68 1800.7  3       3
1507 Manufacturer#2  almond antique violet turquoise frosted 1800.7  4       2       2       1690.68 1800.7  4       4
1508 Manufacturer#2  almond aquamarine midnight light salmon 2031.98 5       5       3       1690.68 2031.98 5       5
1509 Manufacturer#2  almond aquamarine rose maroon antique   900.66  6       6       4       1690.68 900.66  6       6
1510 Manufacturer#2  almond aquamarine rose maroon antique   1698.66 7       6       4       1690.68 1698.66 7       7
1511 Manufacturer#2  almond aquamarine sandy cyan gainsboro  1000.6  8       8       5       1690.68 1000.6  8       8
1512 Manufacturer#3  almond antique chartreuse khaki white   99.68   1       1       1       99.68   99.68   1       1
1513 Manufacturer#3  almond antique forest lavender goldenrod        590.27  2       2       2       99.68   590.27  2       2
1514 Manufacturer#3  almond antique forest lavender goldenrod        NULL    3       2       2       99.68   NULL    2       3
1515 Manufacturer#3  almond antique forest lavender goldenrod        1190.27 4       2       2       99.68   1190.27 3       4
1516 Manufacturer#3  almond antique forest lavender goldenrod        1190.27 5       2       2       99.68   1190.27 4       5
1517 Manufacturer#3  almond antique metallic orange dim      55.39   6       6       3       99.68   55.39   5       6
1518 Manufacturer#3  almond antique misty red olive  1922.98 7       7       4       99.68   1922.98 6       7
1519 Manufacturer#3  almond antique olive coral navajo       1337.29 8       8       5       99.68   1337.29 7       8
1520 Manufacturer#4  almond antique gainsboro frosted violet NULL    1       1       1       NULL    NULL    0       1
1521 Manufacturer#4  almond antique violet mint lemon        1375.42 2       2       2       NULL    1375.42 1       2
1522 Manufacturer#4  almond aquamarine floral ivory bisque   NULL    3       3       3       NULL    NULL    1       3
1523 Manufacturer#4  almond aquamarine floral ivory bisque   1206.26 4       3       3       NULL    1206.26 2       4
1524 Manufacturer#4  almond aquamarine yellow dodger mint    1844.92 5       5       4       NULL    1844.92 3       5
1525 Manufacturer#4  almond azure aquamarine papaya violet   1290.35 6       6       5       NULL    1290.35 4       6
1526 Manufacturer#5  almond antique blue firebrick mint      1789.69 1       1       1       1789.69 1789.69 1       1
1527 Manufacturer#5  almond antique medium spring khaki      1611.66 2       2       2       1789.69 1611.66 2       2
1528 Manufacturer#5  almond antique medium spring khaki      1611.66 3       2       2       1789.69 1611.66 3       3
1529 Manufacturer#5  almond antique sky peru orange  1788.73 4       4       3       1789.69 1788.73 4       4
1530 Manufacturer#5  almond aquamarine dodger light gainsboro        1018.1  5       5       4       1789.69 1018.1  5       5
1531 Manufacturer#5  almond azure blanched chiffon midnight  1464.48 6       6       5       1789.69 1464.48 6       6
1532 PREHOOK: query: explain vectorization detail
1533 select p_mfgr,p_name, p_retailprice,
1534 row_number() over(order by p_name) as rn,
1535 rank() over(order by p_name) as r,
1536 dense_rank() over(order by p_name) as dr,
1537 first_value(p_retailprice) over(order by p_name) as fv,
1538 last_value(p_retailprice) over(order by p_name) as lv,
1539 count(p_retailprice) over(order by p_name) as c,
1540 count(*) over(order by p_name) as cs
1541 from vector_ptf_part_simple_orc
1542 PREHOOK: type: QUERY
1543 POSTHOOK: query: explain vectorization detail
1544 select p_mfgr,p_name, p_retailprice,
1545 row_number() over(order by p_name) as rn,
1546 rank() over(order by p_name) as r,
1547 dense_rank() over(order by p_name) as dr,
1548 first_value(p_retailprice) over(order by p_name) as fv,
1549 last_value(p_retailprice) over(order by p_name) as lv,
1550 count(p_retailprice) over(order by p_name) as c,
1551 count(*) over(order by p_name) as cs
1552 from vector_ptf_part_simple_orc
1553 POSTHOOK: type: QUERY
1554 Explain
1555 PLAN VECTORIZATION:
1556   enabled: true
1557   enabledConditionsMet: [hive.vectorized.execution.enabled IS true]
1558
1559 STAGE DEPENDENCIES:
1560   Stage-1 is a root stage
1561   Stage-0 depends on stages: Stage-1
1562
1563 STAGE PLANS:
1564   Stage: Stage-1
1565     Tez
1566 #### A masked pattern was here ####
1567       Edges:
1568         Reducer 2 <- Map 1 (SIMPLE_EDGE)
1569 #### A masked pattern was here ####
1570       Vertices:
1571         Map 1 
1572             Map Operator Tree:
1573                 TableScan
1574                   alias: vector_ptf_part_simple_orc
1575                   Statistics: Num rows: 40 Data size: 9096 Basic stats: COMPLETE Column stats: COMPLETE
1576                   TableScan Vectorization:
1577                       native: true
1578                       vectorizationSchemaColumns: [0:p_mfgr:string, 1:p_name:string, 2:p_retailprice:double, 3:ROW__ID:struct<transactionid:bigint,bucketid:int,rowid:bigint>]
1579                   Reduce Output Operator
1580                     key expressions: 0 (type: int), p_name (type: string)
1581                     sort order: ++
1582                     Map-reduce partition columns: 0 (type: int)
1583                     Reduce Sink Vectorization:
1584                         className: VectorReduceSinkObjectHashOperator
1585                         keyColumnNums: [4, 1]
1586                         keyExpressions: ConstantVectorExpression(val 0) -> 4:int
1587                         native: true
1588                         nativeConditionsMet: hive.vectorized.execution.reducesink.new.enabled IS true, hive.execution.engine tez IN [tez, spark] IS true, No PTF TopN IS true, No DISTINCT columns IS true, BinarySortableSerDe for keys IS true, LazyBinarySerDe for values IS true
1589                         partitionColumnNums: [5]
1590                         valueColumnNums: [0, 2]
1591                     Statistics: Num rows: 40 Data size: 9096 Basic stats: COMPLETE Column stats: COMPLETE
1592                     value expressions: p_mfgr (type: string), p_retailprice (type: double)
1593             Execution mode: vectorized, llap
1594             LLAP IO: all inputs
1595             Map Vectorization:
1596                 enabled: true
1597                 enabledConditionsMet: hive.vectorized.use.vectorized.input.format IS true
1598                 inputFormatFeatureSupport: []
1599                 featureSupportInUse: []
1600                 inputFileFormats: org.apache.hadoop.hive.ql.io.orc.OrcInputFormat
1601                 allNative: true
1602                 usesVectorUDFAdaptor: false
1603                 vectorized: true
1604                 rowBatchContext:
1605                     dataColumnCount: 3
1606                     includeColumns: [0, 1, 2]
1607                     dataColumns: p_mfgr:string, p_name:string, p_retailprice:double
1608                     partitionColumnCount: 0
1609                     scratchColumnTypeNames: [bigint, bigint]
1610         Reducer 2 
1611             Execution mode: vectorized, llap
1612             Reduce Vectorization:
1613                 enabled: true
1614                 enableConditionsMet: hive.vectorized.execution.reduce.enabled IS true, hive.execution.engine tez IN [tez, spark] IS true
1615                 reduceColumnNullOrder: aa
1616                 reduceColumnSortOrder: ++
1617                 allNative: false
1618                 usesVectorUDFAdaptor: false
1619                 vectorized: true
1620                 rowBatchContext:
1621                     dataColumnCount: 4
1622                     dataColumns: KEY.reducesinkkey0:int, KEY.reducesinkkey1:string, VALUE._col0:string, VALUE._col1:double
1623                     partitionColumnCount: 0
1624                     scratchColumnTypeNames: [bigint, bigint, bigint, double, double, bigint, bigint, bigint]
1625             Reduce Operator Tree:
1626               Select Operator
1627                 expressions: VALUE._col0 (type: string), KEY.reducesinkkey1 (type: string), VALUE._col1 (type: double)
1628                 outputColumnNames: _col0, _col1, _col2
1629                 Select Vectorization:
1630                     className: VectorSelectOperator
1631                     native: true
1632                     projectedOutputColumnNums: [2, 1, 3]
1633                 Statistics: Num rows: 40 Data size: 19816 Basic stats: COMPLETE Column stats: COMPLETE
1634                 PTF Operator
1635                   Function definitions:
1636                       Input definition
1637                         input alias: ptf_0
1638                         output shape: _col0: string, _col1: string, _col2: double
1639                         type: WINDOWING
1640                       Windowing table definition
1641                         input alias: ptf_1
1642                         name: windowingtablefunction
1643                         order by: _col1 ASC NULLS FIRST
1644                         partition by: 0
1645                         raw input shape:
1646                         window functions:
1647                             window function definition
1648                               alias: row_number_window_0
1649                               name: row_number
1650                               window function: GenericUDAFRowNumberEvaluator
1651                               window frame: ROWS PRECEDING(MAX)~FOLLOWING(MAX)
1652                               isPivotResult: true
1653                             window function definition
1654                               alias: rank_window_1
1655                               arguments: _col1
1656                               name: rank
1657                               window function: GenericUDAFRankEvaluator
1658                               window frame: ROWS PRECEDING(MAX)~FOLLOWING(MAX)
1659                               isPivotResult: true
1660                             window function definition
1661                               alias: dense_rank_window_2
1662                               arguments: _col1
1663                               name: dense_rank
1664                               window function: GenericUDAFDenseRankEvaluator
1665                               window frame: ROWS PRECEDING(MAX)~FOLLOWING(MAX)
1666                               isPivotResult: true
1667                             window function definition
1668                               alias: first_value_window_3
1669                               arguments: _col2
1670                               name: first_value
1671                               window function: GenericUDAFFirstValueEvaluator
1672                               window frame: RANGE PRECEDING(MAX)~CURRENT
1673                             window function definition
1674                               alias: last_value_window_4
1675                               arguments: _col2
1676                               name: last_value
1677                               window function: GenericUDAFLastValueEvaluator
1678                               window frame: RANGE PRECEDING(MAX)~CURRENT
1679                             window function definition
1680                               alias: count_window_5
1681                               arguments: _col2
1682                               name: count
1683                               window function: GenericUDAFCountEvaluator
1684                               window frame: RANGE PRECEDING(MAX)~CURRENT
1685                             window function definition
1686                               alias: count_window_6
1687                               name: count
1688                               window function: GenericUDAFCountEvaluator
1689                               window frame: RANGE PRECEDING(MAX)~CURRENT
1690                               isStar: true
1691                   PTF Vectorization:
1692                       className: VectorPTFOperator
1693                       evaluatorClasses: [VectorPTFEvaluatorRowNumber, VectorPTFEvaluatorRank, VectorPTFEvaluatorDenseRank, VectorPTFEvaluatorDoubleFirstValue, VectorPTFEvaluatorDoubleLastValue, VectorPTFEvaluatorCount, VectorPTFEvaluatorCountStar]
1694                       functionInputExpressions: [null, col 1:string, col 1:string, col 3:double, col 3:double, col 3:double, null]
1695                       functionNames: [row_number, rank, dense_rank, first_value, last_value, count, count]
1696                       keyInputColumns: [1]
1697                       native: true
1698                       nonKeyInputColumns: [2, 3]
1699                       orderExpressions: [col 1:string]
1700                       outputColumns: [4, 5, 6, 7, 8, 9, 10, 2, 1, 3]
1701                       outputTypes: [int, int, int, double, double, bigint, bigint, string, string, double]
1702                       partitionExpressions: [ConstantVectorExpression(val 0) -> 11:int]
1703                       streamingColumns: [4, 5, 6, 7]
1704                   Statistics: Num rows: 40 Data size: 19816 Basic stats: COMPLETE Column stats: COMPLETE
1705                   Select Operator
1706                     expressions: _col0 (type: string), _col1 (type: string), _col2 (type: double), row_number_window_0 (type: int), rank_window_1 (type: int), dense_rank_window_2 (type: int), first_value_window_3 (type: double), last_value_window_4 (type: double), count_window_5 (type: bigint), count_window_6 (type: bigint)
1707                     outputColumnNames: _col0, _col1, _col2, _col3, _col4, _col5, _col6, _col7, _col8, _col9
1708                     Select Vectorization:
1709                         className: VectorSelectOperator
1710                         native: true
1711                         projectedOutputColumnNums: [2, 1, 3, 4, 5, 6, 7, 8, 9, 10]
1712                     Statistics: Num rows: 40 Data size: 10824 Basic stats: COMPLETE Column stats: COMPLETE
1713                     File Output Operator
1714                       compressed: false
1715                       File Sink Vectorization:
1716                           className: VectorFileSinkOperator
1717                           native: false
1718                       Statistics: Num rows: 40 Data size: 10824 Basic stats: COMPLETE Column stats: COMPLETE
1719                       table:
1720                           input format: org.apache.hadoop.mapred.SequenceFileInputFormat
1721                           output format: org.apache.hadoop.hive.ql.io.HiveSequenceFileOutputFormat
1722                           serde: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
1723
1724   Stage: Stage-0
1725     Fetch Operator
1726       limit: -1
1727       Processor Tree:
1728         ListSink
1729
1730 PREHOOK: query: select p_mfgr,p_name, p_retailprice,
1731 row_number() over(order by p_name) as rn,
1732 rank() over(order by p_name) as r,
1733 dense_rank() over(order by p_name) as dr,
1734 first_value(p_retailprice) over(order by p_name) as fv,
1735 last_value(p_retailprice) over(order by p_name) as lv,
1736 count(p_retailprice) over(order by p_name) as c,
1737 count(*) over(order by p_name) as cs
1738 from vector_ptf_part_simple_orc
1739 PREHOOK: type: QUERY
1740 PREHOOK: Input: default@vector_ptf_part_simple_orc
1741 #### A masked pattern was here ####
1742 POSTHOOK: query: select p_mfgr,p_name, p_retailprice,
1743 row_number() over(order by p_name) as rn,
1744 rank() over(order by p_name) as r,
1745 dense_rank() over(order by p_name) as dr,
1746 first_value(p_retailprice) over(order by p_name) as fv,
1747 last_value(p_retailprice) over(order by p_name) as lv,
1748 count(p_retailprice) over(order by p_name) as c,
1749 count(*) over(order by p_name) as cs
1750 from vector_ptf_part_simple_orc
1751 POSTHOOK: type: QUERY
1752 POSTHOOK: Input: default@vector_ptf_part_simple_orc
1753 #### A masked pattern was here ####
1754 p_mfgr  p_name  p_retailprice   rn      r       dr      fv      lv      c       cs
1755 Manufacturer#5  almond antique blue firebrick mint      1789.69 1       1       1       1789.69 1789.69 1       1
1756 Manufacturer#1  almond antique burnished rose metallic  1173.15 2       2       2       1789.69 1173.15 3       3
1757 Manufacturer#1  almond antique burnished rose metallic  1173.15 3       2       2       1789.69 1173.15 3       3
1758 Manufacturer#3  almond antique chartreuse khaki white   99.68   4       4       3       1789.69 99.68   4       4
1759 Manufacturer#1  almond antique chartreuse lavender yellow       1753.76 5       5       4       1789.69 1753.76 8       8
1760 Manufacturer#1  almond antique chartreuse lavender yellow       1753.76 6       5       4       1789.69 1753.76 8       8
1761 Manufacturer#1  almond antique chartreuse lavender yellow       1753.76 7       5       4       1789.69 1753.76 8       8
1762 Manufacturer#1  almond antique chartreuse lavender yellow       1753.76 8       5       4       1789.69 1753.76 8       8
1763 Manufacturer#3  almond antique forest lavender goldenrod        NULL    9       9       5       1789.69 1190.27 11      12
1764 Manufacturer#3  almond antique forest lavender goldenrod        590.27  10      9       5       1789.69 1190.27 11      12
1765 Manufacturer#3  almond antique forest lavender goldenrod        1190.27 11      9       5       1789.69 1190.27 11      12
1766 Manufacturer#3  almond antique forest lavender goldenrod        1190.27 12      9       5       1789.69 1190.27 11      12
1767 Manufacturer#4  almond antique gainsboro frosted violet NULL    13      13      6       1789.69 NULL    11      13
1768 Manufacturer#5  almond antique medium spring khaki      1611.66 14      14      7       1789.69 1611.66 13      15
1769 Manufacturer#5  almond antique medium spring khaki      1611.66 15      14      7       1789.69 1611.66 13      15
1770 Manufacturer#3  almond antique metallic orange dim      55.39   16      16      8       1789.69 55.39   14      16
1771 Manufacturer#3  almond antique misty red olive  1922.98 17      17      9       1789.69 1922.98 15      17
1772 Manufacturer#3  almond antique olive coral navajo       1337.29 18      18      10      1789.69 1337.29 16      18
1773 Manufacturer#1  almond antique salmon chartreuse burlywood      1602.59 19      19      11      1789.69 1602.59 17      19
1774 Manufacturer#5  almond antique sky peru orange  1788.73 20      20      12      1789.69 1788.73 18      20
1775 Manufacturer#2  almond antique violet chocolate turquoise       1690.68 21      21      13      1789.69 1690.68 19      21
1776 Manufacturer#4  almond antique violet mint lemon        1375.42 22      22      14      1789.69 1375.42 20      22
1777 Manufacturer#2  almond antique violet turquoise frosted 1800.7  23      23      15      1789.69 1800.7  23      25
1778 Manufacturer#2  almond antique violet turquoise frosted 1800.7  24      23      15      1789.69 1800.7  23      25
1779 Manufacturer#2  almond antique violet turquoise frosted 1800.7  25      23      15      1789.69 1800.7  23      25
1780 Manufacturer#1  almond aquamarine burnished black steel 1414.42 26      26      16      1789.69 1414.42 24      26
1781 Manufacturer#5  almond aquamarine dodger light gainsboro        1018.1  27      27      17      1789.69 1018.1  25      27
1782 Manufacturer#4  almond aquamarine floral ivory bisque   1206.26 28      28      18      1789.69 NULL    26      29
1783 Manufacturer#4  almond aquamarine floral ivory bisque   NULL    29      28      18      1789.69 NULL    26      29
1784 Manufacturer#2  almond aquamarine midnight light salmon 2031.98 30      30      19      1789.69 2031.98 27      30
1785 Manufacturer#1  almond aquamarine pink moccasin thistle 1632.66 31      31      20      1789.69 1632.66 30      34
1786 Manufacturer#1  almond aquamarine pink moccasin thistle 1632.66 32      31      20      1789.69 1632.66 30      34
1787 Manufacturer#1  almond aquamarine pink moccasin thistle NULL    33      31      20      1789.69 1632.66 30      34
1788 Manufacturer#1  almond aquamarine pink moccasin thistle 1632.66 34      31      20      1789.69 1632.66 30      34
1789 Manufacturer#2  almond aquamarine rose maroon antique   900.66  35      35      21      1789.69 1698.66 32      36
1790 Manufacturer#2  almond aquamarine rose maroon antique   1698.66 36      35      21      1789.69 1698.66 32      36
1791 Manufacturer#2  almond aquamarine sandy cyan gainsboro  1000.6  37      37      22      1789.69 1000.6  33      37
1792 Manufacturer#4  almond aquamarine yellow dodger mint    1844.92 38      38      23      1789.69 1844.92 34      38
1793 Manufacturer#4  almond azure aquamarine papaya violet   1290.35 39      39      24      1789.69 1290.35 35      39
1794 Manufacturer#5  almond azure blanched chiffon midnight  1464.48 40      40      25      1789.69 1464.48 36      40
1795 PREHOOK: query: explain vectorization detail
1796 select p_mfgr,p_name, p_retailprice,
1797 row_number() over(order by p_name range between unbounded preceding and unbounded following) as rn,
1798 rank() over(order by p_name range between unbounded preceding and unbounded following) as r,
1799 dense_rank() over(order by p_name range between unbounded preceding and unbounded following) as dr,
1800 first_value(p_retailprice) over(order by p_name range between unbounded preceding and current row) as fv,
1801 last_value(p_retailprice) over(order by p_name range between unbounded preceding and current row) as lv,
1802 count(p_retailprice) over(order by p_name range between unbounded preceding and current row) as c,
1803 count(*) over(order by p_name range between unbounded preceding and current row) as cs
1804 from vector_ptf_part_simple_orc
1805 PREHOOK: type: QUERY
1806 POSTHOOK: query: explain vectorization detail
1807 select p_mfgr,p_name, p_retailprice,
1808 row_number() over(order by p_name range between unbounded preceding and unbounded following) as rn,
1809 rank() over(order by p_name range between unbounded preceding and unbounded following) as r,
1810 dense_rank() over(order by p_name range between unbounded preceding and unbounded following) as dr,
1811 first_value(p_retailprice) over(order by p_name range between unbounded preceding and current row) as fv,
1812 last_value(p_retailprice) over(order by p_name range between unbounded preceding and current row) as lv,
1813 count(p_retailprice) over(order by p_name range between unbounded preceding and current row) as c,
1814 count(*) over(order by p_name range between unbounded preceding and current row) as cs
1815 from vector_ptf_part_simple_orc
1816 POSTHOOK: type: QUERY
1817 Explain
1818 PLAN VECTORIZATION:
1819   enabled: true
1820   enabledConditionsMet: [hive.vectorized.execution.enabled IS true]
1821
1822 STAGE DEPENDENCIES:
1823   Stage-1 is a root stage
1824   Stage-0 depends on stages: Stage-1
1825
1826 STAGE PLANS:
1827   Stage: Stage-1
1828     Tez
1829 #### A masked pattern was here ####
1830       Edges:
1831         Reducer 2 <- Map 1 (SIMPLE_EDGE)
1832 #### A masked pattern was here ####
1833       Vertices:
1834         Map 1 
1835             Map Operator Tree:
1836                 TableScan
1837                   alias: vector_ptf_part_simple_orc
1838                   Statistics: Num rows: 40 Data size: 9096 Basic stats: COMPLETE Column stats: COMPLETE
1839                   TableScan Vectorization:
1840                       native: true
1841                       vectorizationSchemaColumns: [0:p_mfgr:string, 1:p_name:string, 2:p_retailprice:double, 3:ROW__ID:struct<transactionid:bigint,bucketid:int,rowid:bigint>]
1842                   Reduce Output Operator
1843                     key expressions: 0 (type: int), p_name (type: string)
1844                     sort order: ++
1845                     Map-reduce partition columns: 0 (type: int)
1846                     Reduce Sink Vectorization:
1847                         className: VectorReduceSinkObjectHashOperator
1848                         keyColumnNums: [4, 1]
1849                         keyExpressions: ConstantVectorExpression(val 0) -> 4:int
1850                         native: true
1851                         nativeConditionsMet: hive.vectorized.execution.reducesink.new.enabled IS true, hive.execution.engine tez IN [tez, spark] IS true, No PTF TopN IS true, No DISTINCT columns IS true, BinarySortableSerDe for keys IS true, LazyBinarySerDe for values IS true
1852                         partitionColumnNums: [5]
1853                         valueColumnNums: [0, 2]
1854                     Statistics: Num rows: 40 Data size: 9096 Basic stats: COMPLETE Column stats: COMPLETE
1855                     value expressions: p_mfgr (type: string), p_retailprice (type: double)
1856             Execution mode: vectorized, llap
1857             LLAP IO: all inputs
1858             Map Vectorization:
1859                 enabled: true
1860                 enabledConditionsMet: hive.vectorized.use.vectorized.input.format IS true
1861                 inputFormatFeatureSupport: []
1862                 featureSupportInUse: []
1863                 inputFileFormats: org.apache.hadoop.hive.ql.io.orc.OrcInputFormat
1864                 allNative: true
1865                 usesVectorUDFAdaptor: false
1866                 vectorized: true
1867                 rowBatchContext:
1868                     dataColumnCount: 3
1869                     includeColumns: [0, 1, 2]
1870                     dataColumns: p_mfgr:string, p_name:string, p_retailprice:double
1871                     partitionColumnCount: 0
1872                     scratchColumnTypeNames: [bigint, bigint]
1873         Reducer 2 
1874             Execution mode: llap
1875             Reduce Vectorization:
1876                 enabled: true
1877                 enableConditionsMet: hive.vectorized.execution.reduce.enabled IS true, hive.execution.engine tez IN [tez, spark] IS true
1878                 notVectorizedReason: PTF operator: row_number only CURRENT ROW end frame is supported for RANGE
1879                 vectorized: false
1880             Reduce Operator Tree:
1881               Select Operator
1882                 expressions: VALUE._col0 (type: string), KEY.reducesinkkey1 (type: string), VALUE._col1 (type: double)
1883                 outputColumnNames: _col0, _col1, _col2
1884                 Statistics: Num rows: 40 Data size: 19816 Basic stats: COMPLETE Column stats: COMPLETE
1885                 PTF Operator
1886                   Function definitions:
1887                       Input definition
1888                         input alias: ptf_0
1889                         output shape: _col0: string, _col1: string, _col2: double
1890                         type: WINDOWING
1891                       Windowing table definition
1892                         input alias: ptf_1
1893                         name: windowingtablefunction
1894                         order by: _col1 ASC NULLS FIRST
1895                         partition by: 0
1896                         raw input shape:
1897                         window functions:
1898                             window function definition
1899                               alias: row_number_window_0
1900                               name: row_number
1901                               window function: GenericUDAFRowNumberEvaluator
1902                               window frame: RANGE PRECEDING(MAX)~FOLLOWING(MAX)
1903                               isPivotResult: true
1904                             window function definition
1905                               alias: rank_window_1
1906                               arguments: _col1
1907                               name: rank
1908                               window function: GenericUDAFRankEvaluator
1909                               window frame: RANGE PRECEDING(MAX)~FOLLOWING(MAX)
1910                               isPivotResult: true
1911                             window function definition
1912                               alias: dense_rank_window_2
1913                               arguments: _col1
1914                               name: dense_rank
1915                               window function: GenericUDAFDenseRankEvaluator
1916                               window frame: RANGE PRECEDING(MAX)~FOLLOWING(MAX)
1917                               isPivotResult: true
1918                             window function definition
1919                               alias: first_value_window_3
1920                               arguments: _col2
1921                               name: first_value
1922                               window function: GenericUDAFFirstValueEvaluator
1923                               window frame: RANGE PRECEDING(MAX)~CURRENT
1924                             window function definition
1925                               alias: last_value_window_4
1926                               arguments: _col2
1927                               name: last_value
1928                               window function: GenericUDAFLastValueEvaluator
1929                               window frame: RANGE PRECEDING(MAX)~CURRENT
1930                             window function definition
1931                               alias: count_window_5
1932                               arguments: _col2
1933                               name: count
1934                               window function: GenericUDAFCountEvaluator
1935                               window frame: RANGE PRECEDING(MAX)~CURRENT
1936                             window function definition
1937                               alias: count_window_6
1938                               name: count
1939                               window function: GenericUDAFCountEvaluator
1940                               window frame: RANGE PRECEDING(MAX)~CURRENT
1941                               isStar: true
1942                   Statistics: Num rows: 40 Data size: 19816 Basic stats: COMPLETE Column stats: COMPLETE
1943                   Select Operator
1944                     expressions: _col0 (type: string), _col1 (type: string), _col2 (type: double), row_number_window_0 (type: int), rank_window_1 (type: int), dense_rank_window_2 (type: int), first_value_window_3 (type: double), last_value_window_4 (type: double), count_window_5 (type: bigint), count_window_6 (type: bigint)
1945                     outputColumnNames: _col0, _col1, _col2, _col3, _col4, _col5, _col6, _col7, _col8, _col9
1946                     Statistics: Num rows: 40 Data size: 10824 Basic stats: COMPLETE Column stats: COMPLETE
1947                     File Output Operator
1948                       compressed: false
1949                       Statistics: Num rows: 40 Data size: 10824 Basic stats: COMPLETE Column stats: COMPLETE
1950                       table:
1951                           input format: org.apache.hadoop.mapred.SequenceFileInputFormat
1952                           output format: org.apache.hadoop.hive.ql.io.HiveSequenceFileOutputFormat
1953                           serde: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
1954
1955   Stage: Stage-0
1956     Fetch Operator
1957       limit: -1
1958       Processor Tree:
1959         ListSink
1960
1961 PREHOOK: query: select p_mfgr,p_name, p_retailprice,
1962 row_number() over(order by p_name range between unbounded preceding and unbounded following) as rn,
1963 rank() over(order by p_name range between unbounded preceding and unbounded following) as r,
1964 dense_rank() over(order by p_name range between unbounded preceding and unbounded following) as dr,
1965 first_value(p_retailprice) over(order by p_name range between unbounded preceding and current row) as fv,
1966 last_value(p_retailprice) over(order by p_name range between unbounded preceding and current row) as lv,
1967 count(p_retailprice) over(order by p_name range between unbounded preceding and current row) as c,
1968 count(*) over(order by p_name range between unbounded preceding and current row) as cs
1969 from vector_ptf_part_simple_orc
1970 PREHOOK: type: QUERY
1971 PREHOOK: Input: default@vector_ptf_part_simple_orc
1972 #### A masked pattern was here ####
1973 POSTHOOK: query: select p_mfgr,p_name, p_retailprice,
1974 row_number() over(order by p_name range between unbounded preceding and unbounded following) as rn,
1975 rank() over(order by p_name range between unbounded preceding and unbounded following) as r,
1976 dense_rank() over(order by p_name range between unbounded preceding and unbounded following) as dr,
1977 first_value(p_retailprice) over(order by p_name range between unbounded preceding and current row) as fv,
1978 last_value(p_retailprice) over(order by p_name range between unbounded preceding and current row) as lv,
1979 count(p_retailprice) over(order by p_name range between unbounded preceding and current row) as c,
1980 count(*) over(order by p_name range between unbounded preceding and current row) as cs
1981 from vector_ptf_part_simple_orc
1982 POSTHOOK: type: QUERY
1983 POSTHOOK: Input: default@vector_ptf_part_simple_orc
1984 #### A masked pattern was here ####
1985 p_mfgr  p_name  p_retailprice   rn      r       dr      fv      lv      c       cs
1986 Manufacturer#5  almond antique blue firebrick mint      1789.69 1       1       1       1789.69 1789.69 1       1
1987 Manufacturer#1  almond antique burnished rose metallic  1173.15 2       2       2       1789.69 1173.15 3       3
1988 Manufacturer#1  almond antique burnished rose metallic  1173.15 3       2       2       1789.69 1173.15 3       3
1989 Manufacturer#3  almond antique chartreuse khaki white   99.68   4       4       3       1789.69 99.68   4       4
1990 Manufacturer#1  almond antique chartreuse lavender yellow       1753.76 5       5       4       1789.69 1753.76 8       8
1991 Manufacturer#1  almond antique chartreuse lavender yellow       1753.76 6       5       4       1789.69 1753.76 8       8
1992 Manufacturer#1  almond antique chartreuse lavender yellow       1753.76 7       5       4       1789.69 1753.76 8       8
1993 Manufacturer#1  almond antique chartreuse lavender yellow       1753.76 8       5       4       1789.69 1753.76 8       8
1994 Manufacturer#3  almond antique forest lavender goldenrod        NULL    9       9       5       1789.69 1190.27 11      12
1995 Manufacturer#3  almond antique forest lavender goldenrod        590.27  10      9       5       1789.69 1190.27 11      12
1996 Manufacturer#3  almond antique forest lavender goldenrod        1190.27 11      9       5       1789.69 1190.27 11      12
1997 Manufacturer#3  almond antique forest lavender goldenrod        1190.27 12      9       5       1789.69 1190.27 11      12
1998 Manufacturer#4  almond antique gainsboro frosted violet NULL    13      13      6       1789.69 NULL    11      13
1999 Manufacturer#5  almond antique medium spring khaki      1611.66 14      14      7       1789.69 1611.66 13      15
2000 Manufacturer#5  almond antique medium spring khaki      1611.66 15      14      7       1789.69 1611.66 13      15
2001 Manufacturer#3  almond antique metallic orange dim      55.39   16      16      8       1789.69 55.39   14      16
2002 Manufacturer#3  almond antique misty red olive  1922.98 17      17      9       1789.69 1922.98 15      17
2003 Manufacturer#3  almond antique olive coral navajo       1337.29 18      18      10      1789.69 1337.29 16      18
2004 Manufacturer#1  almond antique salmon chartreuse burlywood      1602.59 19      19      11      1789.69 1602.59 17      19
2005 Manufacturer#5  almond antique sky peru orange  1788.73 20      20      12      1789.69 1788.73 18      20
2006 Manufacturer#2  almond antique violet chocolate turquoise       1690.68 21      21      13      1789.69 1690.68 19      21
2007 Manufacturer#4  almond antique violet mint lemon        1375.42 22      22      14      1789.69 1375.42 20      22
2008 Manufacturer#2  almond antique violet turquoise frosted 1800.7  23      23      15      1789.69 1800.7  23      25
2009 Manufacturer#2  almond antique violet turquoise frosted 1800.7  24      23      15      1789.69 1800.7  23      25
2010 Manufacturer#2  almond antique violet turquoise frosted 1800.7  25      23      15      1789.69 1800.7  23      25
2011 Manufacturer#1  almond aquamarine burnished black steel 1414.42 26      26      16      1789.69 1414.42 24      26
2012 Manufacturer#5  almond aquamarine dodger light gainsboro        1018.1  27      27      17      1789.69 1018.1  25      27
2013 Manufacturer#4  almond aquamarine floral ivory bisque   1206.26 28      28      18      1789.69 NULL    26      29
2014 Manufacturer#4  almond aquamarine floral ivory bisque   NULL    29      28      18      1789.69 NULL    26      29
2015 Manufacturer#2  almond aquamarine midnight light salmon 2031.98 30      30      19      1789.69 2031.98 27      30
2016 Manufacturer#1  almond aquamarine pink moccasin thistle 1632.66 31      31      20      1789.69 1632.66 30      34
2017 Manufacturer#1  almond aquamarine pink moccasin thistle 1632.66 32      31      20      1789.69 1632.66 30      34
2018 Manufacturer#1  almond aquamarine pink moccasin thistle NULL    33      31      20      1789.69 1632.66 30      34
2019 Manufacturer#1  almond aquamarine pink moccasin thistle 1632.66 34      31      20      1789.69 1632.66 30      34
2020 Manufacturer#2  almond aquamarine rose maroon antique   900.66  35      35      21      1789.69 1698.66 32      36
2021 Manufacturer#2  almond aquamarine rose maroon antique   1698.66 36      35      21      1789.69 1698.66 32      36
2022 Manufacturer#2  almond aquamarine sandy cyan gainsboro  1000.6  37      37      22      1789.69 1000.6  33      37
2023 Manufacturer#4  almond aquamarine yellow dodger mint    1844.92 38      38      23      1789.69 1844.92 34      38
2024 Manufacturer#4  almond azure aquamarine papaya violet   1290.35 39      39      24      1789.69 1290.35 35      39
2025 Manufacturer#5  almond azure blanched chiffon midnight  1464.48 40      40      25      1789.69 1464.48 36      40
2026 PREHOOK: query: explain vectorization detail
2027 select p_mfgr,p_name, p_retailprice,
2028 row_number() over(order by p_name rows between unbounded preceding and unbounded following) as rn,
2029 rank() over(order by p_name rows between unbounded preceding and unbounded following) as r,
2030 dense_rank() over(order by p_name rows between unbounded preceding and unbounded following) as dr,
2031 first_value(p_retailprice) over(order by p_name rows between unbounded preceding and current row) as fv,
2032 last_value(p_retailprice) over(order by p_name rows between unbounded preceding and current row) as lv,
2033 count(p_retailprice) over(order by p_name rows between unbounded preceding and current row) as c,
2034 count(*) over(order by p_name rows between unbounded preceding and current row) as cs
2035 from vector_ptf_part_simple_orc
2036 PREHOOK: type: QUERY
2037 POSTHOOK: query: explain vectorization detail
2038 select p_mfgr,p_name, p_retailprice,
2039 row_number() over(order by p_name rows between unbounded preceding and unbounded following) as rn,
2040 rank() over(order by p_name rows between unbounded preceding and unbounded following) as r,
2041 dense_rank() over(order by p_name rows between unbounded preceding and unbounded following) as dr,
2042 first_value(p_retailprice) over(order by p_name rows between unbounded preceding and current row) as fv,
2043 last_value(p_retailprice) over(order by p_name rows between unbounded preceding and current row) as lv,
2044 count(p_retailprice) over(order by p_name rows between unbounded preceding and current row) as c,
2045 count(*) over(order by p_name rows between unbounded preceding and current row) as cs
2046 from vector_ptf_part_simple_orc
2047 POSTHOOK: type: QUERY
2048 Explain
2049 PLAN VECTORIZATION:
2050   enabled: true
2051   enabledConditionsMet: [hive.vectorized.execution.enabled IS true]
2052
2053 STAGE DEPENDENCIES:
2054   Stage-1 is a root stage
2055   Stage-0 depends on stages: Stage-1
2056
2057 STAGE PLANS:
2058   Stage: Stage-1
2059     Tez
2060 #### A masked pattern was here ####
2061       Edges:
2062         Reducer 2 <- Map 1 (SIMPLE_EDGE)
2063 #### A masked pattern was here ####
2064       Vertices:
2065         Map 1 
2066             Map Operator Tree:
2067                 TableScan
2068                   alias: vector_ptf_part_simple_orc
2069                   Statistics: Num rows: 40 Data size: 9096 Basic stats: COMPLETE Column stats: COMPLETE
2070                   TableScan Vectorization:
2071                       native: true
2072                       vectorizationSchemaColumns: [0:p_mfgr:string, 1:p_name:string, 2:p_retailprice:double, 3:ROW__ID:struct<transactionid:bigint,bucketid:int,rowid:bigint>]
2073                   Reduce Output Operator
2074                     key expressions: 0 (type: int), p_name (type: string)
2075                     sort order: ++
2076                     Map-reduce partition columns: 0 (type: int)
2077                     Reduce Sink Vectorization:
2078                         className: VectorReduceSinkObjectHashOperator
2079                         keyColumnNums: [4, 1]
2080                         keyExpressions: ConstantVectorExpression(val 0) -> 4:int
2081                         native: true
2082                         nativeConditionsMet: hive.vectorized.execution.reducesink.new.enabled IS true, hive.execution.engine tez IN [tez, spark] IS true, No PTF TopN IS true, No DISTINCT columns IS true, BinarySortableSerDe for keys IS true, LazyBinarySerDe for values IS true
2083                         partitionColumnNums: [5]
2084                         valueColumnNums: [0, 2]
2085                     Statistics: Num rows: 40 Data size: 9096 Basic stats: COMPLETE Column stats: COMPLETE
2086                     value expressions: p_mfgr (type: string), p_retailprice (type: double)
2087             Execution mode: vectorized, llap
2088             LLAP IO: all inputs
2089             Map Vectorization:
2090                 enabled: true
2091                 enabledConditionsMet: hive.vectorized.use.vectorized.input.format IS true
2092                 inputFormatFeatureSupport: []
2093                 featureSupportInUse: []
2094                 inputFileFormats: org.apache.hadoop.hive.ql.io.orc.OrcInputFormat
2095                 allNative: true
2096                 usesVectorUDFAdaptor: false
2097                 vectorized: true
2098                 rowBatchContext:
2099                     dataColumnCount: 3
2100                     includeColumns: [0, 1, 2]
2101                     dataColumns: p_mfgr:string, p_name:string, p_retailprice:double
2102                     partitionColumnCount: 0
2103                     scratchColumnTypeNames: [bigint, bigint]
2104         Reducer 2 
2105             Execution mode: llap
2106             Reduce Vectorization:
2107                 enabled: true
2108                 enableConditionsMet: hive.vectorized.execution.reduce.enabled IS true, hive.execution.engine tez IN [tez, spark] IS true
2109                 notVectorizedReason: PTF operator: first_value UNBOUNDED end frame is not supported for ROWS window type
2110                 vectorized: false
2111             Reduce Operator Tree:
2112               Select Operator
2113                 expressions: VALUE._col0 (type: string), KEY.reducesinkkey1 (type: string), VALUE._col1 (type: double)
2114                 outputColumnNames: _col0, _col1, _col2
2115                 Statistics: Num rows: 40 Data size: 19816 Basic stats: COMPLETE Column stats: COMPLETE
2116                 PTF Operator
2117                   Function definitions:
2118                       Input definition
2119                         input alias: ptf_0
2120                         output shape: _col0: string, _col1: string, _col2: double
2121                         type: WINDOWING
2122                       Windowing table definition
2123                         input alias: ptf_1
2124                         name: windowingtablefunction
2125                         order by: _col1 ASC NULLS FIRST
2126                         partition by: 0
2127                         raw input shape:
2128                         window functions:
2129                             window function definition
2130                               alias: row_number_window_0
2131                               name: row_number
2132                               window function: GenericUDAFRowNumberEvaluator
2133                               window frame: ROWS PRECEDING(MAX)~FOLLOWING(MAX)
2134                               isPivotResult: true
2135                             window function definition
2136                               alias: rank_window_1
2137                               arguments: _col1
2138                               name: rank
2139                               window function: GenericUDAFRankEvaluator
2140                               window frame: ROWS PRECEDING(MAX)~FOLLOWING(MAX)
2141                               isPivotResult: true
2142                             window function definition
2143                               alias: dense_rank_window_2
2144                               arguments: _col1
2145                               name: dense_rank
2146                               window function: GenericUDAFDenseRankEvaluator
2147                               window frame: ROWS PRECEDING(MAX)~FOLLOWING(MAX)
2148                               isPivotResult: true
2149                             window function definition
2150                               alias: first_value_window_3
2151                               arguments: _col2
2152                               name: first_value
2153                               window function: GenericUDAFFirstValueEvaluator
2154                               window frame: ROWS PRECEDING(MAX)~CURRENT
2155                             window function definition
2156                               alias: last_value_window_4
2157                               arguments: _col2
2158                               name: last_value
2159                               window function: GenericUDAFLastValueEvaluator
2160                               window frame: ROWS PRECEDING(MAX)~CURRENT
2161                             window function definition
2162                               alias: count_window_5
2163                               arguments: _col2
2164                               name: count
2165                               window function: GenericUDAFCountEvaluator
2166                               window frame: ROWS PRECEDING(MAX)~CURRENT
2167                             window function definition
2168                               alias: count_window_6
2169                               name: count
2170                               window function: GenericUDAFCountEvaluator
2171                               window frame: ROWS PRECEDING(MAX)~CURRENT
2172                               isStar: true
2173                   Statistics: Num rows: 40 Data size: 19816 Basic stats: COMPLETE Column stats: COMPLETE
2174                   Select Operator
2175                     expressions: _col0 (type: string), _col1 (type: string), _col2 (type: double), row_number_window_0 (type: int), rank_window_1 (type: int), dense_rank_window_2 (type: int), first_value_window_3 (type: double), last_value_window_4 (type: double), count_window_5 (type: bigint), count_window_6 (type: bigint)
2176                     outputColumnNames: _col0, _col1, _col2, _col3, _col4, _col5, _col6, _col7, _col8, _col9
2177                     Statistics: Num rows: 40 Data size: 10824 Basic stats: COMPLETE Column stats: COMPLETE
2178                     File Output Operator
2179                       compressed: false
2180                       Statistics: Num rows: 40 Data size: 10824 Basic stats: COMPLETE Column stats: COMPLETE
2181                       table:
2182                           input format: org.apache.hadoop.mapred.SequenceFileInputFormat
2183                           output format: org.apache.hadoop.hive.ql.io.HiveSequenceFileOutputFormat
2184                           serde: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
2185
2186   Stage: Stage-0
2187     Fetch Operator
2188       limit: -1
2189       Processor Tree:
2190         ListSink
2191
2192 PREHOOK: query: select p_mfgr,p_name, p_retailprice,
2193 row_number() over(order by p_name rows between unbounded preceding and unbounded following) as rn,
2194 rank() over(order by p_name rows between unbounded preceding and unbounded following) as r,
2195 dense_rank() over(order by p_name rows between unbounded preceding and unbounded following) as dr,
2196 first_value(p_retailprice) over(order by p_name rows between unbounded preceding and current row) as fv,
2197 last_value(p_retailprice) over(order by p_name rows between unbounded preceding and current row) as lv,
2198 count(p_retailprice) over(order by p_name rows between unbounded preceding and current row) as c,
2199 count(*) over(order by p_name rows between unbounded preceding and current row) as cs
2200 from vector_ptf_part_simple_orc
2201 PREHOOK: type: QUERY
2202 PREHOOK: Input: default@vector_ptf_part_simple_orc
2203 #### A masked pattern was here ####
2204 POSTHOOK: query: select p_mfgr,p_name, p_retailprice,
2205 row_number() over(order by p_name rows between unbounded preceding and unbounded following) as rn,
2206 rank() over(order by p_name rows between unbounded preceding and unbounded following) as r,
2207 dense_rank() over(order by p_name rows between unbounded preceding and unbounded following) as dr,
2208 first_value(p_retailprice) over(order by p_name rows between unbounded preceding and current row) as fv,
2209 last_value(p_retailprice) over(order by p_name rows between unbounded preceding and current row) as lv,
2210 count(p_retailprice) over(order by p_name rows between unbounded preceding and current row) as c,
2211 count(*) over(order by p_name rows between unbounded preceding and current row) as cs
2212 from vector_ptf_part_simple_orc
2213 POSTHOOK: type: QUERY
2214 POSTHOOK: Input: default@vector_ptf_part_simple_orc
2215 #### A masked pattern was here ####
2216 p_mfgr  p_name  p_retailprice   rn      r       dr      fv      lv      c       cs
2217 Manufacturer#5  almond antique blue firebrick mint      1789.69 1       1       1       1789.69 1789.69 1       1
2218 Manufacturer#1  almond antique burnished rose metallic  1173.15 2       2       2       1789.69 1173.15 2       2
2219 Manufacturer#1  almond antique burnished rose metallic  1173.15 3       2       2       1789.69 1173.15 3       3
2220 Manufacturer#3  almond antique chartreuse khaki white   99.68   4       4       3       1789.69 99.68   4       4
2221 Manufacturer#1  almond antique chartreuse lavender yellow       1753.76 5       5       4       1789.69 1753.76 5       5
2222 Manufacturer#1  almond antique chartreuse lavender yellow       1753.76 6       5       4       1789.69 1753.76 6       6
2223 Manufacturer#1  almond antique chartreuse lavender yellow       1753.76 7       5       4       1789.69 1753.76 7       7
2224 Manufacturer#1  almond antique chartreuse lavender yellow       1753.76 8       5       4       1789.69 1753.76 8       8
2225 Manufacturer#3  almond antique forest lavender goldenrod        NULL    9       9       5       1789.69 NULL    8       9
2226 Manufacturer#3  almond antique forest lavender goldenrod        590.27  10      9       5       1789.69 590.27  9       10
2227 Manufacturer#3  almond antique forest lavender goldenrod        1190.27 11      9       5       1789.69 1190.27 10      11
2228 Manufacturer#3  almond antique forest lavender goldenrod        1190.27 12      9       5       1789.69 1190.27 11      12
2229 Manufacturer#4  almond antique gainsboro frosted violet NULL    13      13      6       1789.69 NULL    11      13
2230 Manufacturer#5  almond antique medium spring khaki      1611.66 14      14      7       1789.69 1611.66 12      14
2231 Manufacturer#5  almond antique medium spring khaki      1611.66 15      14      7       1789.69 1611.66 13      15
2232 Manufacturer#3  almond antique metallic orange dim      55.39   16      16      8       1789.69 55.39   14      16
2233 Manufacturer#3  almond antique misty red olive  1922.98 17      17      9       1789.69 1922.98 15      17
2234 Manufacturer#3  almond antique olive coral navajo       1337.29 18      18      10      1789.69 1337.29 16      18
2235 Manufacturer#1  almond antique salmon chartreuse burlywood      1602.59 19      19      11      1789.69 1602.59 17      19
2236 Manufacturer#5  almond antique sky peru orange  1788.73 20      20      12      1789.69 1788.73 18      20
2237 Manufacturer#2  almond antique violet chocolate turquoise       1690.68 21      21      13      1789.69 1690.68 19      21
2238 Manufacturer#4  almond antique violet mint lemon        1375.42 22      22      14      1789.69 1375.42 20      22
2239 Manufacturer#2  almond antique violet turquoise frosted 1800.7  23      23      15      1789.69 1800.7  21      23
2240 Manufacturer#2  almond antique violet turquoise frosted 1800.7  24      23      15      1789.69 1800.7  22      24
2241 Manufacturer#2  almond antique violet turquoise frosted 1800.7  25      23      15      1789.69 1800.7  23      25
2242 Manufacturer#1  almond aquamarine burnished black steel 1414.42 26      26      16      1789.69 1414.42 24      26
2243 Manufacturer#5  almond aquamarine dodger light gainsboro        1018.1  27      27      17      1789.69 1018.1  25      27
2244 Manufacturer#4  almond aquamarine floral ivory bisque   1206.26 28      28      18      1789.69 1206.26 26      28
2245 Manufacturer#4  almond aquamarine floral ivory bisque   NULL    29      28      18      1789.69 NULL    26      29
2246 Manufacturer#2  almond aquamarine midnight light salmon 2031.98 30      30      19      1789.69 2031.98 27      30
2247 Manufacturer#1  almond aquamarine pink moccasin thistle 1632.66 31      31      20      1789.69 1632.66 28      31
2248 Manufacturer#1  almond aquamarine pink moccasin thistle 1632.66 32      31      20      1789.69 1632.66 29      32
2249 Manufacturer#1  almond aquamarine pink moccasin thistle NULL    33      31      20      1789.69 NULL    29      33
2250 Manufacturer#1  almond aquamarine pink moccasin thistle 1632.66 34      31      20      1789.69 1632.66 30      34
2251 Manufacturer#2  almond aquamarine rose maroon antique   900.66  35      35      21      1789.69 900.66  31      35
2252 Manufacturer#2  almond aquamarine rose maroon antique   1698.66 36      35      21      1789.69 1698.66 32      36
2253 Manufacturer#2  almond aquamarine sandy cyan gainsboro  1000.6  37      37      22      1789.69 1000.6  33      37
2254 Manufacturer#4  almond aquamarine yellow dodger mint    1844.92 38      38      23      1789.69 1844.92 34      38
2255 Manufacturer#4  almond azure aquamarine papaya violet   1290.35 39      39      24      1789.69 1290.35 35      39
2256 Manufacturer#5  almond azure blanched chiffon midnight  1464.48 40      40      25      1789.69 1464.48 36      40
2257 PREHOOK: query: explain vectorization detail
2258 select p_mfgr,p_name, p_retailprice,
2259 sum(p_retailprice) over(partition by p_mfgr) as s,
2260 min(p_retailprice) over(partition by p_mfgr) as mi,
2261 max(p_retailprice) over(partition by p_mfgr) as ma,
2262 avg(p_retailprice) over(partition by p_mfgr) as av 
2263 from vector_ptf_part_simple_orc
2264 PREHOOK: type: QUERY
2265 POSTHOOK: query: explain vectorization detail
2266 select p_mfgr,p_name, p_retailprice,
2267 sum(p_retailprice) over(partition by p_mfgr) as s,
2268 min(p_retailprice) over(partition by p_mfgr) as mi,
2269 max(p_retailprice) over(partition by p_mfgr) as ma,
2270 avg(p_retailprice) over(partition by p_mfgr) as av 
2271 from vector_ptf_part_simple_orc
2272 POSTHOOK: type: QUERY
2273 Explain
2274 PLAN VECTORIZATION:
2275   enabled: true
2276   enabledConditionsMet: [hive.vectorized.execution.enabled IS true]
2277
2278 STAGE DEPENDENCIES:
2279   Stage-1 is a root stage
2280   Stage-0 depends on stages: Stage-1
2281
2282 STAGE PLANS:
2283   Stage: Stage-1
2284     Tez
2285 #### A masked pattern was here ####
2286       Edges:
2287         Reducer 2 <- Map 1 (SIMPLE_EDGE)
2288 #### A masked pattern was here ####
2289       Vertices:
2290         Map 1 
2291             Map Operator Tree:
2292                 TableScan
2293                   alias: vector_ptf_part_simple_orc
2294                   Statistics: Num rows: 40 Data size: 9096 Basic stats: COMPLETE Column stats: COMPLETE
2295                   TableScan Vectorization:
2296                       native: true
2297                       vectorizationSchemaColumns: [0:p_mfgr:string, 1:p_name:string, 2:p_retailprice:double, 3:ROW__ID:struct<transactionid:bigint,bucketid:int,rowid:bigint>]
2298                   Reduce Output Operator
2299                     key expressions: p_mfgr (type: string)
2300                     sort order: +
2301                     Map-reduce partition columns: p_mfgr (type: string)
2302                     Reduce Sink Vectorization:
2303                         className: VectorReduceSinkStringOperator
2304                         keyColumnNums: [0]
2305                         native: true
2306                         nativeConditionsMet: hive.vectorized.execution.reducesink.new.enabled IS true, hive.execution.engine tez IN [tez, spark] IS true, No PTF TopN IS true, No DISTINCT columns IS true, BinarySortableSerDe for keys IS true, LazyBinarySerDe for values IS true
2307                         valueColumnNums: [1, 2]
2308                     Statistics: Num rows: 40 Data size: 9096 Basic stats: COMPLETE Column stats: COMPLETE
2309                     value expressions: p_name (type: string), p_retailprice (type: double)
2310             Execution mode: vectorized, llap
2311             LLAP IO: all inputs
2312             Map Vectorization:
2313                 enabled: true
2314                 enabledConditionsMet: hive.vectorized.use.vectorized.input.format IS true
2315                 inputFormatFeatureSupport: []
2316                 featureSupportInUse: []
2317                 inputFileFormats: org.apache.hadoop.hive.ql.io.orc.OrcInputFormat
2318                 allNative: true
2319                 usesVectorUDFAdaptor: false
2320                 vectorized: true
2321                 rowBatchContext:
2322                     dataColumnCount: 3
2323                     includeColumns: [0, 1, 2]
2324                     dataColumns: p_mfgr:string, p_name:string, p_retailprice:double
2325                     partitionColumnCount: 0
2326                     scratchColumnTypeNames: []
2327         Reducer 2 
2328             Execution mode: vectorized, llap
2329             Reduce Vectorization:
2330                 enabled: true
2331                 enableConditionsMet: hive.vectorized.execution.reduce.enabled IS true, hive.execution.engine tez IN [tez, spark] IS true
2332                 reduceColumnNullOrder: a
2333                 reduceColumnSortOrder: +
2334                 allNative: false
2335                 usesVectorUDFAdaptor: false
2336                 vectorized: true
2337                 rowBatchContext:
2338                     dataColumnCount: 3
2339                     dataColumns: KEY.reducesinkkey0:string, VALUE._col0:string, VALUE._col1:double
2340                     partitionColumnCount: 0
2341                     scratchColumnTypeNames: [double, double, double, double]
2342             Reduce Operator Tree:
2343               Select Operator
2344                 expressions: KEY.reducesinkkey0 (type: string), VALUE._col0 (type: string), VALUE._col1 (type: double)
2345                 outputColumnNames: _col0, _col1, _col2
2346                 Select Vectorization:
2347                     className: VectorSelectOperator
2348                     native: true
2349                     projectedOutputColumnNums: [0, 1, 2]
2350                 Statistics: Num rows: 40 Data size: 19816 Basic stats: COMPLETE Column stats: COMPLETE
2351                 PTF Operator
2352                   Function definitions:
2353                       Input definition
2354                         input alias: ptf_0
2355                         output shape: _col0: string, _col1: string, _col2: double
2356                         type: WINDOWING
2357                       Windowing table definition
2358                         input alias: ptf_1
2359                         name: windowingtablefunction
2360                         order by: _col0 ASC NULLS FIRST
2361                         partition by: _col0
2362                         raw input shape:
2363                         window functions:
2364                             window function definition
2365                               alias: sum_window_0
2366                               arguments: _col2
2367                               name: sum
2368                               window function: GenericUDAFSumDouble
2369                               window frame: ROWS PRECEDING(MAX)~FOLLOWING(MAX)
2370                             window function definition
2371                               alias: min_window_1
2372                               arguments: _col2
2373                               name: min
2374                               window function: GenericUDAFMinEvaluator
2375                               window frame: ROWS PRECEDING(MAX)~FOLLOWING(MAX)
2376                             window function definition
2377                               alias: max_window_2
2378                               arguments: _col2
2379                               name: max
2380                               window function: GenericUDAFMaxEvaluator
2381                               window frame: ROWS PRECEDING(MAX)~FOLLOWING(MAX)
2382                             window function definition
2383                               alias: avg_window_3
2384                               arguments: _col2
2385                               name: avg
2386                               window function: GenericUDAFAverageEvaluatorDouble
2387                               window frame: ROWS PRECEDING(MAX)~FOLLOWING(MAX)
2388                   PTF Vectorization:
2389                       className: VectorPTFOperator
2390                       evaluatorClasses: [VectorPTFEvaluatorDoubleSum, VectorPTFEvaluatorDoubleMin, VectorPTFEvaluatorDoubleMax, VectorPTFEvaluatorDoubleAvg]
2391                       functionInputExpressions: [col 2:double, col 2:double, col 2:double, col 2:double]
2392                       functionNames: [sum, min, max, avg]
2393                       keyInputColumns: [0]
2394                       native: true
2395                       nonKeyInputColumns: [1, 2]
2396                       orderExpressions: [col 0:string]
2397                       outputColumns: [3, 4, 5, 6, 0, 1, 2]
2398                       outputTypes: [double, double, double, double, string, string, double]
2399                       streamingColumns: []
2400                   Statistics: Num rows: 40 Data size: 19816 Basic stats: COMPLETE Column stats: COMPLETE
2401                   Select Operator
2402                     expressions: _col0 (type: string), _col1 (type: string), _col2 (type: double), sum_window_0 (type: double), min_window_1 (type: double), max_window_2 (type: double), avg_window_3 (type: double)
2403                     outputColumnNames: _col0, _col1, _col2, _col3, _col4, _col5, _col6
2404                     Select Vectorization:
2405                         className: VectorSelectOperator
2406                         native: true
2407                         projectedOutputColumnNums: [0, 1, 2, 3, 4, 5, 6]
2408                     Statistics: Num rows: 40 Data size: 10344 Basic stats: COMPLETE Column stats: COMPLETE
2409                     File Output Operator
2410                       compressed: false
2411                       File Sink Vectorization:
2412                           className: VectorFileSinkOperator
2413                           native: false
2414                       Statistics: Num rows: 40 Data size: 10344 Basic stats: COMPLETE Column stats: COMPLETE
2415                       table:
2416                           input format: org.apache.hadoop.mapred.SequenceFileInputFormat
2417                           output format: org.apache.hadoop.hive.ql.io.HiveSequenceFileOutputFormat
2418                           serde: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
2419
2420   Stage: Stage-0
2421     Fetch Operator
2422       limit: -1
2423       Processor Tree:
2424         ListSink
2425
2426 PREHOOK: query: select p_mfgr,p_name, p_retailprice,
2427 sum(p_retailprice) over(partition by p_mfgr) as s,
2428 min(p_retailprice) over(partition by p_mfgr) as mi,
2429 max(p_retailprice) over(partition by p_mfgr) as ma,
2430 avg(p_retailprice) over(partition by p_mfgr) as av 
2431 from vector_ptf_part_simple_orc
2432 PREHOOK: type: QUERY
2433 PREHOOK: Input: default@vector_ptf_part_simple_orc
2434 #### A masked pattern was here ####
2435 POSTHOOK: query: select p_mfgr,p_name, p_retailprice,
2436 sum(p_retailprice) over(partition by p_mfgr) as s,
2437 min(p_retailprice) over(partition by p_mfgr) as mi,
2438 max(p_retailprice) over(partition by p_mfgr) as ma,
2439 avg(p_retailprice) over(partition by p_mfgr) as av 
2440 from vector_ptf_part_simple_orc
2441 POSTHOOK: type: QUERY
2442 POSTHOOK: Input: default@vector_ptf_part_simple_orc
2443 #### A masked pattern was here ####
2444 p_mfgr  p_name  p_retailprice   s       mi      ma      av
2445 Manufacturer#4  almond azure aquamarine papaya violet   1290.35 5716.950000000001       1206.26 1844.92 1429.2375000000002
2446 Manufacturer#4  almond antique violet mint lemon        1375.42 5716.950000000001       1206.26 1844.92 1429.2375000000002
2447 Manufacturer#4  almond aquamarine floral ivory bisque   NULL    5716.950000000001       1206.26 1844.92 1429.2375000000002
2448 Manufacturer#4  almond antique gainsboro frosted violet NULL    5716.950000000001       1206.26 1844.92 1429.2375000000002
2449 Manufacturer#4  almond aquamarine yellow dodger mint    1844.92 5716.950000000001       1206.26 1844.92 1429.2375000000002
2450 Manufacturer#4  almond aquamarine floral ivory bisque   1206.26 5716.950000000001       1206.26 1844.92 1429.2375000000002
2451 Manufacturer#5  almond azure blanched chiffon midnight  1464.48 9284.32 1018.1  1789.69 1547.3866666666665
2452 Manufacturer#5  almond aquamarine dodger light gainsboro        1018.1  9284.32 1018.1  1789.69 1547.3866666666665
2453 Manufacturer#5  almond antique medium spring khaki      1611.66 9284.32 1018.1  1789.69 1547.3866666666665
2454 Manufacturer#5  almond antique blue firebrick mint      1789.69 9284.32 1018.1  1789.69 1547.3866666666665
2455 Manufacturer#5  almond antique medium spring khaki      1611.66 9284.32 1018.1  1789.69 1547.3866666666665
2456 Manufacturer#5  almond antique sky peru orange  1788.73 9284.32 1018.1  1789.69 1547.3866666666665
2457 Manufacturer#2  almond aquamarine rose maroon antique   900.66  12724.68        900.66  2031.98 1590.585
2458 Manufacturer#2  almond aquamarine rose maroon antique   1698.66 12724.68        900.66  2031.98 1590.585
2459 Manufacturer#2  almond antique violet turquoise frosted 1800.7  12724.68        900.66  2031.98 1590.585
2460 Manufacturer#2  almond antique violet chocolate turquoise       1690.68 12724.68        900.66  2031.98 1590.585
2461 Manufacturer#2  almond antique violet turquoise frosted 1800.7  12724.68        900.66  2031.98 1590.585
2462 Manufacturer#2  almond aquamarine sandy cyan gainsboro  1000.6  12724.68        900.66  2031.98 1590.585
2463 Manufacturer#2  almond aquamarine midnight light salmon 2031.98 12724.68        900.66  2031.98 1590.585
2464 Manufacturer#2  almond antique violet turquoise frosted 1800.7  12724.68        900.66  2031.98 1590.585
2465 Manufacturer#1  almond antique chartreuse lavender yellow       1753.76 17276.33        1173.15 1753.76 1570.5754545454547
2466 Manufacturer#1  almond aquamarine pink moccasin thistle 1632.66 17276.33        1173.15 1753.76 1570.5754545454547
2467 Manufacturer#1  almond aquamarine pink moccasin thistle 1632.66 17276.33        1173.15 1753.76 1570.5754545454547
2468 Manufacturer#1  almond antique chartreuse lavender yellow       1753.76 17276.33        1173.15 1753.76 1570.5754545454547
2469 Manufacturer#1  almond aquamarine burnished black steel 1414.42 17276.33        1173.15 1753.76 1570.5754545454547
2470 Manufacturer#1  almond antique burnished rose metallic  1173.15 17276.33        1173.15 1753.76 1570.5754545454547
2471 Manufacturer#1  almond antique salmon chartreuse burlywood      1602.59 17276.33        1173.15 1753.76 1570.5754545454547
2472 Manufacturer#1  almond antique chartreuse lavender yellow       1753.76 17276.33        1173.15 1753.76 1570.5754545454547
2473 Manufacturer#1  almond antique burnished rose metallic  1173.15 17276.33        1173.15 1753.76 1570.5754545454547
2474 Manufacturer#1  almond antique chartreuse lavender yellow       1753.76 17276.33        1173.15 1753.76 1570.5754545454547
2475 Manufacturer#1  almond aquamarine pink moccasin thistle NULL    17276.33        1173.15 1753.76 1570.5754545454547
2476 Manufacturer#1  almond aquamarine pink moccasin thistle 1632.66 17276.33        1173.15 1753.76 1570.5754545454547
2477 Manufacturer#3  almond antique forest lavender goldenrod        590.27  6386.15 55.39   1922.98 912.3071428571428
2478 Manufacturer#3  almond antique metallic orange dim      55.39   6386.15 55.39   1922.98 912.3071428571428
2479 Manufacturer#3  almond antique forest lavender goldenrod        1190.27 6386.15 55.39   1922.98 912.3071428571428
2480 Manufacturer#3  almond antique olive coral navajo       1337.29 6386.15 55.39   1922.98 912.3071428571428
2481 Manufacturer#3  almond antique misty red olive  1922.98 6386.15 55.39   1922.98 912.3071428571428
2482 Manufacturer#3  almond antique forest lavender goldenrod        1190.27 6386.15 55.39   1922.98 912.3071428571428
2483 Manufacturer#3  almond antique forest lavender goldenrod        NULL    6386.15 55.39   1922.98 912.3071428571428
2484 Manufacturer#3  almond antique chartreuse khaki white   99.68   6386.15 55.39   1922.98 912.3071428571428
2485 PREHOOK: query: explain vectorization detail
2486 select p_mfgr,p_name, p_retailprice,
2487 sum(p_retailprice) over(partition by p_mfgr range between unbounded preceding and current row) as s,
2488 min(p_retailprice) over(partition by p_mfgr range between unbounded preceding and current row) as mi,
2489 max(p_retailprice) over(partition by p_mfgr range between unbounded preceding and current row) as ma,
2490 avg(p_retailprice) over(partition by p_mfgr range between unbounded preceding and current row) as av 
2491 from vector_ptf_part_simple_orc
2492 PREHOOK: type: QUERY
2493 POSTHOOK: query: explain vectorization detail
2494 select p_mfgr,p_name, p_retailprice,
2495 sum(p_retailprice) over(partition by p_mfgr range between unbounded preceding and current row) as s,
2496 min(p_retailprice) over(partition by p_mfgr range between unbounded preceding and current row) as mi,
2497 max(p_retailprice) over(partition by p_mfgr range between unbounded preceding and current row) as ma,
2498 avg(p_retailprice) over(partition by p_mfgr range between unbounded preceding and current row) as av 
2499 from vector_ptf_part_simple_orc
2500 POSTHOOK: type: QUERY
2501 Explain
2502 PLAN VECTORIZATION:
2503   enabled: true
2504   enabledConditionsMet: [hive.vectorized.execution.enabled IS true]
2505
2506 STAGE DEPENDENCIES:
2507   Stage-1 is a root stage
2508   Stage-0 depends on stages: Stage-1
2509
2510 STAGE PLANS:
2511   Stage: Stage-1
2512     Tez
2513 #### A masked pattern was here ####
2514       Edges:
2515         Reducer 2 <- Map 1 (SIMPLE_EDGE)
2516 #### A masked pattern was here ####
2517       Vertices:
2518         Map 1 
2519             Map Operator Tree:
2520                 TableScan
2521                   alias: vector_ptf_part_simple_orc
2522                   Statistics: Num rows: 40 Data size: 9096 Basic stats: COMPLETE Column stats: COMPLETE
2523                   TableScan Vectorization:
2524                       native: true
2525                       vectorizationSchemaColumns: [0:p_mfgr:string, 1:p_name:string, 2:p_retailprice:double, 3:ROW__ID:struct<transactionid:bigint,bucketid:int,rowid:bigint>]
2526                   Reduce Output Operator
2527                     key expressions: p_mfgr (type: string)
2528                     sort order: +
2529                     Map-reduce partition columns: p_mfgr (type: string)
2530                     Reduce Sink Vectorization:
2531                         className: VectorReduceSinkStringOperator
2532                         keyColumnNums: [0]
2533                         native: true
2534                         nativeConditionsMet: hive.vectorized.execution.reducesink.new.enabled IS true, hive.execution.engine tez IN [tez, spark] IS true, No PTF TopN IS true, No DISTINCT columns IS true, BinarySortableSerDe for keys IS true, LazyBinarySerDe for values IS true
2535                         valueColumnNums: [1, 2]
2536                     Statistics: Num rows: 40 Data size: 9096 Basic stats: COMPLETE Column stats: COMPLETE
2537                     value expressions: p_name (type: string), p_retailprice (type: double)
2538             Execution mode: vectorized, llap
2539             LLAP IO: all inputs
2540             Map Vectorization:
2541                 enabled: true
2542                 enabledConditionsMet: hive.vectorized.use.vectorized.input.format IS true
2543                 inputFormatFeatureSupport: []
2544                 featureSupportInUse: []
2545                 inputFileFormats: org.apache.hadoop.hive.ql.io.orc.OrcInputFormat
2546                 allNative: true
2547                 usesVectorUDFAdaptor: false
2548                 vectorized: true
2549                 rowBatchContext:
2550                     dataColumnCount: 3
2551                     includeColumns: [0, 1, 2]
2552                     dataColumns: p_mfgr:string, p_name:string, p_retailprice:double
2553                     partitionColumnCount: 0
2554                     scratchColumnTypeNames: []
2555         Reducer 2 
2556             Execution mode: vectorized, llap
2557             Reduce Vectorization:
2558                 enabled: true
2559                 enableConditionsMet: hive.vectorized.execution.reduce.enabled IS true, hive.execution.engine tez IN [tez, spark] IS true
2560                 reduceColumnNullOrder: a
2561                 reduceColumnSortOrder: +
2562                 allNative: false
2563                 usesVectorUDFAdaptor: false
2564                 vectorized: true
2565                 rowBatchContext:
2566                     dataColumnCount: 3
2567                     dataColumns: KEY.reducesinkkey0:string, VALUE._col0:string, VALUE._col1:double
2568                     partitionColumnCount: 0
2569                     scratchColumnTypeNames: [double, double, double, double]
2570             Reduce Operator Tree:
2571               Select Operator
2572                 expressions: KEY.reducesinkkey0 (type: string), VALUE._col0 (type: string), VALUE._col1 (type: double)
2573                 outputColumnNames: _col0, _col1, _col2
2574                 Select Vectorization:
2575                     className: VectorSelectOperator
2576                     native: true
2577                     projectedOutputColumnNums: [0, 1, 2]
2578                 Statistics: Num rows: 40 Data size: 19816 Basic stats: COMPLETE Column stats: COMPLETE
2579                 PTF Operator
2580                   Function definitions:
2581                       Input definition
2582                         input alias: ptf_0
2583                         output shape: _col0: string, _col1: string, _col2: double
2584                         type: WINDOWING
2585                       Windowing table definition
2586                         input alias: ptf_1
2587                         name: windowingtablefunction
2588                         order by: _col0 ASC NULLS FIRST
2589                         partition by: _col0
2590                         raw input shape:
2591                         window functions:
2592                  &