HIVE-18797 : ExprConstNodeDesc's getExprString should put appropriate qualifier with...
[hive.git] / ql / src / test / results / clientpositive / llap / vector_windowing_navfn.q.out
1 PREHOOK: query: drop table over10k
2 PREHOOK: type: DROPTABLE
3 POSTHOOK: query: drop table over10k
4 POSTHOOK: type: DROPTABLE
5 PREHOOK: query: create table over10k(
6            t tinyint,
7            si smallint,
8            i int,
9            b bigint,
10            f float,
11            d double,
12            bo boolean,
13            s string,
14            ts timestamp, 
15            `dec` decimal(4,2),  
16            bin binary)
17        row format delimited
18        fields terminated by '|'
19 PREHOOK: type: CREATETABLE
20 PREHOOK: Output: database:default
21 PREHOOK: Output: default@over10k
22 POSTHOOK: query: create table over10k(
23            t tinyint,
24            si smallint,
25            i int,
26            b bigint,
27            f float,
28            d double,
29            bo boolean,
30            s string,
31            ts timestamp, 
32            `dec` decimal(4,2),  
33            bin binary)
34        row format delimited
35        fields terminated by '|'
36 POSTHOOK: type: CREATETABLE
37 POSTHOOK: Output: database:default
38 POSTHOOK: Output: default@over10k
39 PREHOOK: query: load data local inpath '../../data/files/over10k' into table over10k
40 PREHOOK: type: LOAD
41 #### A masked pattern was here ####
42 PREHOOK: Output: default@over10k
43 POSTHOOK: query: load data local inpath '../../data/files/over10k' into table over10k
44 POSTHOOK: type: LOAD
45 #### A masked pattern was here ####
46 POSTHOOK: Output: default@over10k
47 PREHOOK: query: explain vectorization detail
48 select row_number() over()  from src where key = '238'
49 PREHOOK: type: QUERY
50 POSTHOOK: query: explain vectorization detail
51 select row_number() over()  from src where key = '238'
52 POSTHOOK: type: QUERY
53 Explain
54 PLAN VECTORIZATION:
55   enabled: true
56   enabledConditionsMet: [hive.vectorized.execution.enabled IS true]
57
58 STAGE DEPENDENCIES:
59   Stage-1 is a root stage
60   Stage-0 depends on stages: Stage-1
61
62 STAGE PLANS:
63   Stage: Stage-1
64     Tez
65 #### A masked pattern was here ####
66       Edges:
67         Reducer 2 <- Map 1 (SIMPLE_EDGE)
68 #### A masked pattern was here ####
69       Vertices:
70         Map 1 
71             Map Operator Tree:
72                 TableScan
73                   alias: src
74                   Statistics: Num rows: 500 Data size: 43500 Basic stats: COMPLETE Column stats: COMPLETE
75                   TableScan Vectorization:
76                       native: true
77                       vectorizationSchemaColumns: [0:key:string, 1:value:string, 2:ROW__ID:struct<transactionid:bigint,bucketid:int,rowid:bigint>]
78                   Filter Operator
79                     Filter Vectorization:
80                         className: VectorFilterOperator
81                         native: true
82                         predicateExpression: FilterStringGroupColEqualStringScalar(col 0:string, val 238)
83                     predicate: (key = '238') (type: boolean)
84                     Statistics: Num rows: 2 Data size: 174 Basic stats: COMPLETE Column stats: COMPLETE
85                     Reduce Output Operator
86                       key expressions: 0 (type: int)
87                       sort order: +
88                       Map-reduce partition columns: 0 (type: int)
89                       Reduce Sink Vectorization:
90                           className: VectorReduceSinkLongOperator
91                           keyColumnNums: [3]
92                           keyExpressions: ConstantVectorExpression(val 0) -> 3:int
93                           native: true
94                           nativeConditionsMet: hive.vectorized.execution.reducesink.new.enabled IS true, hive.execution.engine tez IN [tez, spark] IS true, No PTF TopN IS true, No DISTINCT columns IS true, BinarySortableSerDe for keys IS true, LazyBinarySerDe for values IS true
95                           valueColumnNums: []
96                       Statistics: Num rows: 2 Data size: 174 Basic stats: COMPLETE Column stats: COMPLETE
97             Execution mode: vectorized, llap
98             LLAP IO: no inputs
99             Map Vectorization:
100                 enabled: true
101                 enabledConditionsMet: hive.vectorized.use.vector.serde.deserialize IS true
102                 inputFormatFeatureSupport: [DECIMAL_64]
103                 vectorizationSupportRemovedReasons: [DECIMAL_64 disabled because LLAP is enabled]
104                 featureSupportInUse: []
105                 inputFileFormats: org.apache.hadoop.mapred.TextInputFormat
106                 allNative: true
107                 usesVectorUDFAdaptor: false
108                 vectorized: true
109                 rowBatchContext:
110                     dataColumnCount: 2
111                     includeColumns: [0]
112                     dataColumns: key:string, value:string
113                     partitionColumnCount: 0
114                     scratchColumnTypeNames: [bigint]
115         Reducer 2 
116             Execution mode: vectorized, llap
117             Reduce Vectorization:
118                 enabled: true
119                 enableConditionsMet: hive.vectorized.execution.reduce.enabled IS true, hive.execution.engine tez IN [tez, spark] IS true
120                 reduceColumnNullOrder: a
121                 reduceColumnSortOrder: +
122                 allNative: false
123                 usesVectorUDFAdaptor: false
124                 vectorized: true
125                 rowBatchContext:
126                     dataColumnCount: 1
127                     dataColumns: KEY.reducesinkkey0:int
128                     partitionColumnCount: 0
129                     scratchColumnTypeNames: [bigint, bigint]
130             Reduce Operator Tree:
131               PTF Operator
132                 Function definitions:
133                     Input definition
134                       input alias: ptf_0
135                       output shape: 
136                       type: WINDOWING
137                     Windowing table definition
138                       input alias: ptf_1
139                       name: windowingtablefunction
140                       order by: 0 ASC NULLS FIRST
141                       partition by: 0
142                       raw input shape:
143                       window functions:
144                           window function definition
145                             alias: row_number_window_0
146                             name: row_number
147                             window function: GenericUDAFRowNumberEvaluator
148                             window frame: ROWS PRECEDING(MAX)~FOLLOWING(MAX)
149                             isPivotResult: true
150                 PTF Vectorization:
151                     className: VectorPTFOperator
152                     evaluatorClasses: [VectorPTFEvaluatorRowNumber]
153                     functionInputExpressions: [null]
154                     functionNames: [row_number]
155                     keyInputColumns: []
156                     native: true
157                     nonKeyInputColumns: []
158                     orderExpressions: [ConstantVectorExpression(val 0) -> 2:int]
159                     outputColumns: [1]
160                     outputTypes: [int]
161                     streamingColumns: [1]
162                 Statistics: Num rows: 2 Data size: 174 Basic stats: COMPLETE Column stats: COMPLETE
163                 Select Operator
164                   expressions: row_number_window_0 (type: int)
165                   outputColumnNames: _col0
166                   Select Vectorization:
167                       className: VectorSelectOperator
168                       native: true
169                       projectedOutputColumnNums: [1]
170                   Statistics: Num rows: 2 Data size: 8 Basic stats: COMPLETE Column stats: COMPLETE
171                   File Output Operator
172                     compressed: false
173                     File Sink Vectorization:
174                         className: VectorFileSinkOperator
175                         native: false
176                     Statistics: Num rows: 2 Data size: 8 Basic stats: COMPLETE Column stats: COMPLETE
177                     table:
178                         input format: org.apache.hadoop.mapred.SequenceFileInputFormat
179                         output format: org.apache.hadoop.hive.ql.io.HiveSequenceFileOutputFormat
180                         serde: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
181
182   Stage: Stage-0
183     Fetch Operator
184       limit: -1
185       Processor Tree:
186         ListSink
187
188 PREHOOK: query: select row_number() over()  from src where key = '238'
189 PREHOOK: type: QUERY
190 PREHOOK: Input: default@src
191 #### A masked pattern was here ####
192 POSTHOOK: query: select row_number() over()  from src where key = '238'
193 POSTHOOK: type: QUERY
194 POSTHOOK: Input: default@src
195 #### A masked pattern was here ####
196 row_number_window_0
197 1
198 2
199 PREHOOK: query: explain vectorization detail
200 select s, row_number() over (partition by d order by `dec`) from over10k limit 100
201 PREHOOK: type: QUERY
202 POSTHOOK: query: explain vectorization detail
203 select s, row_number() over (partition by d order by `dec`) from over10k limit 100
204 POSTHOOK: type: QUERY
205 Explain
206 PLAN VECTORIZATION:
207   enabled: true
208   enabledConditionsMet: [hive.vectorized.execution.enabled IS true]
209
210 STAGE DEPENDENCIES:
211   Stage-1 is a root stage
212   Stage-0 depends on stages: Stage-1
213
214 STAGE PLANS:
215   Stage: Stage-1
216     Tez
217 #### A masked pattern was here ####
218       Edges:
219         Reducer 2 <- Map 1 (SIMPLE_EDGE)
220 #### A masked pattern was here ####
221       Vertices:
222         Map 1 
223             Map Operator Tree:
224                 TableScan
225                   alias: over10k
226                   Statistics: Num rows: 1 Data size: 304 Basic stats: COMPLETE Column stats: NONE
227                   TableScan Vectorization:
228                       native: true
229                       vectorizationSchemaColumns: [0:t:tinyint, 1:si:smallint, 2:i:int, 3:b:bigint, 4:f:float, 5:d:double, 6:bo:boolean, 7:s:string, 8:ts:timestamp, 9:dec:decimal(4,2), 10:bin:binary, 11:ROW__ID:struct<transactionid:bigint,bucketid:int,rowid:bigint>]
230                   Reduce Output Operator
231                     key expressions: d (type: double), dec (type: decimal(4,2))
232                     sort order: ++
233                     Map-reduce partition columns: d (type: double)
234                     Reduce Sink Vectorization:
235                         className: VectorReduceSinkObjectHashOperator
236                         keyColumnNums: [5, 9]
237                         native: true
238                         nativeConditionsMet: hive.vectorized.execution.reducesink.new.enabled IS true, hive.execution.engine tez IN [tez, spark] IS true, No PTF TopN IS true, No DISTINCT columns IS true, BinarySortableSerDe for keys IS true, LazyBinarySerDe for values IS true
239                         partitionColumnNums: [5]
240                         valueColumnNums: [7]
241                     Statistics: Num rows: 1 Data size: 304 Basic stats: COMPLETE Column stats: NONE
242                     value expressions: s (type: string)
243             Execution mode: vectorized, llap
244             LLAP IO: no inputs
245             Map Vectorization:
246                 enabled: true
247                 enabledConditionsMet: hive.vectorized.use.vector.serde.deserialize IS true
248                 inputFormatFeatureSupport: [DECIMAL_64]
249                 vectorizationSupportRemovedReasons: [DECIMAL_64 disabled because LLAP is enabled]
250                 featureSupportInUse: []
251                 inputFileFormats: org.apache.hadoop.mapred.TextInputFormat
252                 allNative: true
253                 usesVectorUDFAdaptor: false
254                 vectorized: true
255                 rowBatchContext:
256                     dataColumnCount: 11
257                     includeColumns: [5, 7, 9]
258                     dataColumns: t:tinyint, si:smallint, i:int, b:bigint, f:float, d:double, bo:boolean, s:string, ts:timestamp, dec:decimal(4,2), bin:binary
259                     partitionColumnCount: 0
260                     scratchColumnTypeNames: []
261         Reducer 2 
262             Execution mode: vectorized, llap
263             Reduce Vectorization:
264                 enabled: true
265                 enableConditionsMet: hive.vectorized.execution.reduce.enabled IS true, hive.execution.engine tez IN [tez, spark] IS true
266                 reduceColumnNullOrder: aa
267                 reduceColumnSortOrder: ++
268                 allNative: false
269                 usesVectorUDFAdaptor: false
270                 vectorized: true
271                 rowBatchContext:
272                     dataColumnCount: 3
273                     dataColumns: KEY.reducesinkkey0:double, KEY.reducesinkkey1:decimal(4,2), VALUE._col6:string
274                     partitionColumnCount: 0
275                     scratchColumnTypeNames: [bigint]
276             Reduce Operator Tree:
277               Select Operator
278                 expressions: KEY.reducesinkkey0 (type: double), VALUE._col6 (type: string), KEY.reducesinkkey1 (type: decimal(4,2))
279                 outputColumnNames: _col5, _col7, _col9
280                 Select Vectorization:
281                     className: VectorSelectOperator
282                     native: true
283                     projectedOutputColumnNums: [0, 2, 1]
284                 Statistics: Num rows: 1 Data size: 304 Basic stats: COMPLETE Column stats: NONE
285                 PTF Operator
286                   Function definitions:
287                       Input definition
288                         input alias: ptf_0
289                         output shape: _col5: double, _col7: string, _col9: decimal(4,2)
290                         type: WINDOWING
291                       Windowing table definition
292                         input alias: ptf_1
293                         name: windowingtablefunction
294                         order by: _col9 ASC NULLS FIRST
295                         partition by: _col5
296                         raw input shape:
297                         window functions:
298                             window function definition
299                               alias: row_number_window_0
300                               name: row_number
301                               window function: GenericUDAFRowNumberEvaluator
302                               window frame: ROWS PRECEDING(MAX)~FOLLOWING(MAX)
303                               isPivotResult: true
304                   PTF Vectorization:
305                       className: VectorPTFOperator
306                       evaluatorClasses: [VectorPTFEvaluatorRowNumber]
307                       functionInputExpressions: [null]
308                       functionNames: [row_number]
309                       keyInputColumns: [0, 1]
310                       native: true
311                       nonKeyInputColumns: [2]
312                       orderExpressions: [col 1:decimal(4,2)]
313                       outputColumns: [3, 0, 2, 1]
314                       outputTypes: [int, double, string, decimal(4,2)]
315                       partitionExpressions: [col 0:double]
316                       streamingColumns: [3]
317                   Statistics: Num rows: 1 Data size: 304 Basic stats: COMPLETE Column stats: NONE
318                   Select Operator
319                     expressions: _col7 (type: string), row_number_window_0 (type: int)
320                     outputColumnNames: _col0, _col1
321                     Select Vectorization:
322                         className: VectorSelectOperator
323                         native: true
324                         projectedOutputColumnNums: [2, 3]
325                     Statistics: Num rows: 1 Data size: 304 Basic stats: COMPLETE Column stats: NONE
326                     Limit
327                       Number of rows: 100
328                       Limit Vectorization:
329                           className: VectorLimitOperator
330                           native: true
331                       Statistics: Num rows: 1 Data size: 304 Basic stats: COMPLETE Column stats: NONE
332                       File Output Operator
333                         compressed: false
334                         File Sink Vectorization:
335                             className: VectorFileSinkOperator
336                             native: false
337                         Statistics: Num rows: 1 Data size: 304 Basic stats: COMPLETE Column stats: NONE
338                         table:
339                             input format: org.apache.hadoop.mapred.SequenceFileInputFormat
340                             output format: org.apache.hadoop.hive.ql.io.HiveSequenceFileOutputFormat
341                             serde: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
342
343   Stage: Stage-0
344     Fetch Operator
345       limit: 100
346       Processor Tree:
347         ListSink
348
349 PREHOOK: query: select s, row_number() over (partition by d order by `dec`) from over10k limit 100
350 PREHOOK: type: QUERY
351 PREHOOK: Input: default@over10k
352 #### A masked pattern was here ####
353 POSTHOOK: query: select s, row_number() over (partition by d order by `dec`) from over10k limit 100
354 POSTHOOK: type: QUERY
355 POSTHOOK: Input: default@over10k
356 #### A masked pattern was here ####
357 s       row_number_window_0
358 calvin miller   1
359 yuri laertes    1
360 wendy quirinius 2
361 holly polk      3
362 nick steinbeck  1
363 tom young       1
364 priscilla quirinius     2
365 katie brown     3
366 xavier robinson 1
367 gabriella quirinius     2
368 katie falkner   3
369 ethan carson    1
370 victor johnson  2
371 zach white      1
372 jessica white   2
373 jessica king    3
374 victor davidson 1
375 quinn falkner   2
376 holly falkner   3
377 holly young     1
378 xavier steinbeck        1
379 nick robinson   2
380 irene king      1
381 quinn zipper    1
382 priscilla miller        1
383 yuri miller     2
384 wendy zipper    3
385 zach steinbeck  1
386 fred nixon      1
387 katie brown     1
388 nick davidson   1
389 gabriella davidson      1
390 zach carson     2
391 wendy king      1
392 tom xylophone   2
393 holly hernandez 3
394 jessica quirinius       4
395 gabriella brown 1
396 quinn johnson   2
397 yuri zipper     3
398 david robinson  1
399 mike nixon      2
400 rachel davidson 1
401 gabriella white 2
402 yuri garcia     1
403 yuri zipper     2
404 katie hernandez 1
405 alice king      2
406 jessica steinbeck       3
407 quinn davidson  1
408 katie ovid      2
409 priscilla young 3
410 quinn van buren 4
411 victor steinbeck        5
412 gabriella brown 1
413 zach laertes    1
414 jessica ichabod 2
415 ethan miller    1
416 irene carson    2
417 priscilla zipper        3
418 irene falkner   4
419 tom robinson    5
420 katie polk      1
421 xavier laertes  2
422 sarah davidson  3
423 nick white      4
424 nick polk       1
425 alice ichabod   2
426 luke brown      1
427 wendy allen     2
428 gabriella robinson      3
429 holly steinbeck 1
430 calvin ichabod  2
431 holly van buren 1
432 tom nixon       2
433 gabriella carson        3
434 mike brown      1
435 katie laertes   2
436 zach garcia     1
437 oscar nixon     2
438 tom polk        1
439 mike allen      1
440 alice johnson   1
441 yuri young      1
442 holly robinson  2
443 priscilla thompson      3
444 rachel carson   1
445 gabriella laertes       1
446 victor brown    2
447 holly allen     1
448 bob carson      2
449 rachel carson   1
450 fred nixon      2
451 priscilla brown 1
452 alice nixon     2
453 victor falkner  1
454 david garcia    1
455 holly hernandez 2
456 tom white       3
457 rachel ellison  1
458 PREHOOK: query: explain vectorization detail
459 select i, lead(s) over (partition by bin order by d,i desc) from over10k limit 100
460 PREHOOK: type: QUERY
461 POSTHOOK: query: explain vectorization detail
462 select i, lead(s) over (partition by bin order by d,i desc) from over10k limit 100
463 POSTHOOK: type: QUERY
464 Explain
465 PLAN VECTORIZATION:
466   enabled: true
467   enabledConditionsMet: [hive.vectorized.execution.enabled IS true]
468
469 STAGE DEPENDENCIES:
470   Stage-1 is a root stage
471   Stage-0 depends on stages: Stage-1
472
473 STAGE PLANS:
474   Stage: Stage-1
475     Tez
476 #### A masked pattern was here ####
477       Edges:
478         Reducer 2 <- Map 1 (SIMPLE_EDGE)
479 #### A masked pattern was here ####
480       Vertices:
481         Map 1 
482             Map Operator Tree:
483                 TableScan
484                   alias: over10k
485                   Statistics: Num rows: 1 Data size: 340 Basic stats: COMPLETE Column stats: NONE
486                   TableScan Vectorization:
487                       native: true
488                       vectorizationSchemaColumns: [0:t:tinyint, 1:si:smallint, 2:i:int, 3:b:bigint, 4:f:float, 5:d:double, 6:bo:boolean, 7:s:string, 8:ts:timestamp, 9:dec:decimal(4,2), 10:bin:binary, 11:ROW__ID:struct<transactionid:bigint,bucketid:int,rowid:bigint>]
489                   Reduce Output Operator
490                     key expressions: bin (type: binary), d (type: double), i (type: int)
491                     sort order: ++-
492                     Map-reduce partition columns: bin (type: binary)
493                     Reduce Sink Vectorization:
494                         className: VectorReduceSinkObjectHashOperator
495                         keyColumnNums: [10, 5, 2]
496                         native: true
497                         nativeConditionsMet: hive.vectorized.execution.reducesink.new.enabled IS true, hive.execution.engine tez IN [tez, spark] IS true, No PTF TopN IS true, No DISTINCT columns IS true, BinarySortableSerDe for keys IS true, LazyBinarySerDe for values IS true
498                         partitionColumnNums: [10]
499                         valueColumnNums: [7]
500                     Statistics: Num rows: 1 Data size: 340 Basic stats: COMPLETE Column stats: NONE
501                     value expressions: s (type: string)
502             Execution mode: vectorized, llap
503             LLAP IO: no inputs
504             Map Vectorization:
505                 enabled: true
506                 enabledConditionsMet: hive.vectorized.use.vector.serde.deserialize IS true
507                 inputFormatFeatureSupport: [DECIMAL_64]
508                 vectorizationSupportRemovedReasons: [DECIMAL_64 disabled because LLAP is enabled]
509                 featureSupportInUse: []
510                 inputFileFormats: org.apache.hadoop.mapred.TextInputFormat
511                 allNative: true
512                 usesVectorUDFAdaptor: false
513                 vectorized: true
514                 rowBatchContext:
515                     dataColumnCount: 11
516                     includeColumns: [2, 5, 7, 10]
517                     dataColumns: t:tinyint, si:smallint, i:int, b:bigint, f:float, d:double, bo:boolean, s:string, ts:timestamp, dec:decimal(4,2), bin:binary
518                     partitionColumnCount: 0
519                     scratchColumnTypeNames: []
520         Reducer 2 
521             Execution mode: llap
522             Reduce Vectorization:
523                 enabled: true
524                 enableConditionsMet: hive.vectorized.execution.reduce.enabled IS true, hive.execution.engine tez IN [tez, spark] IS true
525                 notVectorizedReason: PTF operator: lead not in supported functions [avg, count, dense_rank, first_value, last_value, max, min, rank, row_number, sum]
526                 vectorized: false
527             Reduce Operator Tree:
528               Select Operator
529                 expressions: KEY.reducesinkkey2 (type: int), KEY.reducesinkkey1 (type: double), VALUE._col5 (type: string), KEY.reducesinkkey0 (type: binary)
530                 outputColumnNames: _col2, _col5, _col7, _col10
531                 Statistics: Num rows: 1 Data size: 340 Basic stats: COMPLETE Column stats: NONE
532                 PTF Operator
533                   Function definitions:
534                       Input definition
535                         input alias: ptf_0
536                         output shape: _col2: int, _col5: double, _col7: string, _col10: binary
537                         type: WINDOWING
538                       Windowing table definition
539                         input alias: ptf_1
540                         name: windowingtablefunction
541                         order by: _col5 ASC NULLS FIRST, _col2 DESC NULLS LAST
542                         partition by: _col10
543                         raw input shape:
544                         window functions:
545                             window function definition
546                               alias: lead_window_0
547                               arguments: _col7
548                               name: lead
549                               window function: GenericUDAFLeadEvaluator
550                               window frame: ROWS PRECEDING(MAX)~FOLLOWING(MAX)
551                               isPivotResult: true
552                   Statistics: Num rows: 1 Data size: 340 Basic stats: COMPLETE Column stats: NONE
553                   Select Operator
554                     expressions: _col2 (type: int), lead_window_0 (type: string)
555                     outputColumnNames: _col0, _col1
556                     Statistics: Num rows: 1 Data size: 340 Basic stats: COMPLETE Column stats: NONE
557                     Limit
558                       Number of rows: 100
559                       Statistics: Num rows: 1 Data size: 340 Basic stats: COMPLETE Column stats: NONE
560                       File Output Operator
561                         compressed: false
562                         Statistics: Num rows: 1 Data size: 340 Basic stats: COMPLETE Column stats: NONE
563                         table:
564                             input format: org.apache.hadoop.mapred.SequenceFileInputFormat
565                             output format: org.apache.hadoop.hive.ql.io.HiveSequenceFileOutputFormat
566                             serde: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
567
568   Stage: Stage-0
569     Fetch Operator
570       limit: 100
571       Processor Tree:
572         ListSink
573
574 PREHOOK: query: select i, lead(s) over (partition by bin order by d,i desc) from over10k limit 100
575 PREHOOK: type: QUERY
576 PREHOOK: Input: default@over10k
577 #### A masked pattern was here ####
578 POSTHOOK: query: select i, lead(s) over (partition by bin order by d,i desc) from over10k limit 100
579 POSTHOOK: type: QUERY
580 POSTHOOK: Input: default@over10k
581 #### A masked pattern was here ####
582 i       lead_window_0
583 65773   gabriella van buren
584 65727   quinn steinbeck
585 65649   katie laertes
586 65643   luke young
587 65712   xavier white
588 65554   oscar garcia
589 65715   katie ichabod
590 65737   mike garcia
591 65641   katie thompson
592 65674   zach falkner
593 65627   katie ovid
594 65628   irene davidson
595 65657   wendy van buren
596 65686   yuri ichabod
597 65594   ethan underhill
598 65615   zach young
599 65708   calvin falkner
600 65674   nick xylophone
601 65717   tom hernandez
602 65713   tom ichabod
603 65681   priscilla ichabod
604 65654   victor laertes
605 65580   victor van buren
606 65711   holly xylophone
607 65727   david garcia
608 65692   yuri ovid
609 65760   oscar xylophone
610 65545   luke falkner
611 65653   alice falkner
612 65773   jessica robinson
613 65756   fred davidson
614 65698   tom hernandez
615 65659   irene ellison
616 65662   holly robinson
617 65610   mike garcia
618 65537   yuri hernandez
619 65601   ulysses garcia
620 65545   mike brown
621 65538   ethan nixon
622 65551   yuri falkner
623 65709   rachel robinson
624 65774   yuri polk
625 65713   yuri nixon
626 65613   sarah thompson
627 65693   nick nixon
628 65650   ethan carson
629 65781   oscar king
630 65675   priscilla ichabod
631 65541   jessica thompson
632 65719   mike polk
633 65694   luke brown
634 65538   victor young
635 65746   oscar nixon
636 65564   tom zipper
637 65708   irene ellison
638 65696   alice davidson
639 65596   jessica garcia
640 65586   victor miller
641 65696   holly white
642 65600   david robinson
643 65785   jessica davidson
644 65606   ulysses brown
645 65734   ethan underhill
646 65546   ethan miller
647 65578   tom thompson
648 65776   holly steinbeck
649 65741   yuri underhill
650 65770   priscilla king
651 65562   bob white
652 65605   victor van buren
653 65764   bob allen
654 65725   david underhill
655 65700   holly king
656 65648   victor ovid
657 65733   priscilla xylophone
658 65682   katie miller
659 65694   victor xylophone
660 65553   mike steinbeck
661 65635   holly laertes
662 65537   katie steinbeck
663 65761   zach white
664 65747   ethan falkner
665 65601   ulysses king
666 65590   rachel davidson
667 65732   irene young
668 65642   bob thompson
669 65570   tom xylophone
670 65692   sarah davidson
671 65760   tom laertes
672 65784   yuri johnson
673 65630   zach laertes
674 65774   nick polk
675 65788   quinn xylophone
676 65595   yuri white
677 65765   xavier ellison
678 65541   jessica ichabod
679 65711   tom steinbeck
680 65536   alice hernandez
681 65545   tom zipper
682 65789   ulysses hernandez
683 PREHOOK: query: explain vectorization detail
684 select i, lag(`dec`) over (partition by i order by s,i,`dec`) from over10k limit 100
685 PREHOOK: type: QUERY
686 POSTHOOK: query: explain vectorization detail
687 select i, lag(`dec`) over (partition by i order by s,i,`dec`) from over10k limit 100
688 POSTHOOK: type: QUERY
689 Explain
690 PLAN VECTORIZATION:
691   enabled: true
692   enabledConditionsMet: [hive.vectorized.execution.enabled IS true]
693
694 STAGE DEPENDENCIES:
695   Stage-1 is a root stage
696   Stage-0 depends on stages: Stage-1
697
698 STAGE PLANS:
699   Stage: Stage-1
700     Tez
701 #### A masked pattern was here ####
702       Edges:
703         Reducer 2 <- Map 1 (SIMPLE_EDGE)
704 #### A masked pattern was here ####
705       Vertices:
706         Map 1 
707             Map Operator Tree:
708                 TableScan
709                   alias: over10k
710                   Statistics: Num rows: 1 Data size: 300 Basic stats: COMPLETE Column stats: NONE
711                   TableScan Vectorization:
712                       native: true
713                       vectorizationSchemaColumns: [0:t:tinyint, 1:si:smallint, 2:i:int, 3:b:bigint, 4:f:float, 5:d:double, 6:bo:boolean, 7:s:string, 8:ts:timestamp, 9:dec:decimal(4,2), 10:bin:binary, 11:ROW__ID:struct<transactionid:bigint,bucketid:int,rowid:bigint>]
714                   Reduce Output Operator
715                     key expressions: i (type: int), s (type: string), dec (type: decimal(4,2))
716                     sort order: +++
717                     Map-reduce partition columns: i (type: int)
718                     Reduce Sink Vectorization:
719                         className: VectorReduceSinkObjectHashOperator
720                         keyColumnNums: [2, 7, 9]
721                         native: true
722                         nativeConditionsMet: hive.vectorized.execution.reducesink.new.enabled IS true, hive.execution.engine tez IN [tez, spark] IS true, No PTF TopN IS true, No DISTINCT columns IS true, BinarySortableSerDe for keys IS true, LazyBinarySerDe for values IS true
723                         partitionColumnNums: [2]
724                         valueColumnNums: []
725                     Statistics: Num rows: 1 Data size: 300 Basic stats: COMPLETE Column stats: NONE
726             Execution mode: vectorized, llap
727             LLAP IO: no inputs
728             Map Vectorization:
729                 enabled: true
730                 enabledConditionsMet: hive.vectorized.use.vector.serde.deserialize IS true
731                 inputFormatFeatureSupport: [DECIMAL_64]
732                 vectorizationSupportRemovedReasons: [DECIMAL_64 disabled because LLAP is enabled]
733                 featureSupportInUse: []
734                 inputFileFormats: org.apache.hadoop.mapred.TextInputFormat
735                 allNative: true
736                 usesVectorUDFAdaptor: false
737                 vectorized: true
738                 rowBatchContext:
739                     dataColumnCount: 11
740                     includeColumns: [2, 7, 9]
741                     dataColumns: t:tinyint, si:smallint, i:int, b:bigint, f:float, d:double, bo:boolean, s:string, ts:timestamp, dec:decimal(4,2), bin:binary
742                     partitionColumnCount: 0
743                     scratchColumnTypeNames: []
744         Reducer 2 
745             Execution mode: llap
746             Reduce Vectorization:
747                 enabled: true
748                 enableConditionsMet: hive.vectorized.execution.reduce.enabled IS true, hive.execution.engine tez IN [tez, spark] IS true
749                 notVectorizedReason: PTF operator: lag not in supported functions [avg, count, dense_rank, first_value, last_value, max, min, rank, row_number, sum]
750                 vectorized: false
751             Reduce Operator Tree:
752               Select Operator
753                 expressions: KEY.reducesinkkey0 (type: int), KEY.reducesinkkey1 (type: string), KEY.reducesinkkey2 (type: decimal(4,2))
754                 outputColumnNames: _col2, _col7, _col9
755                 Statistics: Num rows: 1 Data size: 300 Basic stats: COMPLETE Column stats: NONE
756                 PTF Operator
757                   Function definitions:
758                       Input definition
759                         input alias: ptf_0
760                         output shape: _col2: int, _col7: string, _col9: decimal(4,2)
761                         type: WINDOWING
762                       Windowing table definition
763                         input alias: ptf_1
764                         name: windowingtablefunction
765                         order by: _col7 ASC NULLS FIRST, _col2 ASC NULLS FIRST, _col9 ASC NULLS FIRST
766                         partition by: _col2
767                         raw input shape:
768                         window functions:
769                             window function definition
770                               alias: lag_window_0
771                               arguments: _col9
772                               name: lag
773                               window function: GenericUDAFLagEvaluator
774                               window frame: ROWS PRECEDING(MAX)~FOLLOWING(MAX)
775                               isPivotResult: true
776                   Statistics: Num rows: 1 Data size: 300 Basic stats: COMPLETE Column stats: NONE
777                   Select Operator
778                     expressions: _col2 (type: int), lag_window_0 (type: decimal(4,2))
779                     outputColumnNames: _col0, _col1
780                     Statistics: Num rows: 1 Data size: 300 Basic stats: COMPLETE Column stats: NONE
781                     Limit
782                       Number of rows: 100
783                       Statistics: Num rows: 1 Data size: 300 Basic stats: COMPLETE Column stats: NONE
784                       File Output Operator
785                         compressed: false
786                         Statistics: Num rows: 1 Data size: 300 Basic stats: COMPLETE Column stats: NONE
787                         table:
788                             input format: org.apache.hadoop.mapred.SequenceFileInputFormat
789                             output format: org.apache.hadoop.hive.ql.io.HiveSequenceFileOutputFormat
790                             serde: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
791
792   Stage: Stage-0
793     Fetch Operator
794       limit: 100
795       Processor Tree:
796         ListSink
797
798 PREHOOK: query: select i, lag(`dec`) over (partition by i order by s,i,`dec`) from over10k limit 100
799 PREHOOK: type: QUERY
800 PREHOOK: Input: default@over10k
801 #### A masked pattern was here ####
802 POSTHOOK: query: select i, lag(`dec`) over (partition by i order by s,i,`dec`) from over10k limit 100
803 POSTHOOK: type: QUERY
804 POSTHOOK: Input: default@over10k
805 #### A masked pattern was here ####
806 i       lag_window_0
807 65536   NULL
808 65536   31.09
809 65536   1.33
810 65536   86.04
811 65536   52.78
812 65536   93.68
813 65536   98.42
814 65536   0.93
815 65536   83.48
816 65536   75.70
817 65536   88.04
818 65536   94.09
819 65536   33.45
820 65536   44.41
821 65536   22.15
822 65536   20.50
823 65536   58.86
824 65536   30.91
825 65536   74.47
826 65536   11.31
827 65536   59.67
828 65536   63.08
829 65536   5.53
830 65536   95.99
831 65536   59.58
832 65536   32.68
833 65536   16.85
834 65536   4.34
835 65536   28.49
836 65536   80.26
837 65536   35.07
838 65536   95.88
839 65536   30.60
840 65536   46.97
841 65536   58.80
842 65536   5.72
843 65536   29.27
844 65536   62.25
845 65536   45.25
846 65536   85.25
847 65536   30.25
848 65536   65.17
849 65536   1.05
850 65536   39.32
851 65536   32.03
852 65537   NULL
853 65537   14.48
854 65537   95.64
855 65537   4.49
856 65537   11.87
857 65537   89.52
858 65537   56.83
859 65537   99.34
860 65537   7.72
861 65537   94.52
862 65537   35.86
863 65537   47.75
864 65537   1.12
865 65537   52.90
866 65537   53.92
867 65537   43.45
868 65537   7.52
869 65537   91.35
870 65537   56.13
871 65537   51.91
872 65537   81.04
873 65537   19.44
874 65537   8.63
875 65537   29.01
876 65537   56.48
877 65537   83.21
878 65537   56.52
879 65537   36.60
880 65537   59.70
881 65537   80.14
882 65537   66.30
883 65537   94.87
884 65537   40.92
885 65537   25.20
886 65537   7.36
887 65538   NULL
888 65538   53.35
889 65538   54.64
890 65538   76.67
891 65538   15.17
892 65538   1.20
893 65538   13.71
894 65538   81.59
895 65538   43.33
896 65538   30.27
897 65538   8.91
898 65538   95.81
899 65538   92.44
900 65538   98.11
901 65538   18.02
902 65538   78.41
903 65538   35.14
904 65538   9.53
905 65538   48.61
906 65538   2.03
907 PREHOOK: query: explain vectorization detail
908 select s, last_value(t) over (partition by d order by f) from over10k limit 100
909 PREHOOK: type: QUERY
910 POSTHOOK: query: explain vectorization detail
911 select s, last_value(t) over (partition by d order by f) from over10k limit 100
912 POSTHOOK: type: QUERY
913 Explain
914 PLAN VECTORIZATION:
915   enabled: true
916   enabledConditionsMet: [hive.vectorized.execution.enabled IS true]
917
918 STAGE DEPENDENCIES:
919   Stage-1 is a root stage
920   Stage-0 depends on stages: Stage-1
921
922 STAGE PLANS:
923   Stage: Stage-1
924     Tez
925 #### A masked pattern was here ####
926       Edges:
927         Reducer 2 <- Map 1 (SIMPLE_EDGE)
928 #### A masked pattern was here ####
929       Vertices:
930         Map 1 
931             Map Operator Tree:
932                 TableScan
933                   alias: over10k
934                   Statistics: Num rows: 1 Data size: 200 Basic stats: COMPLETE Column stats: NONE
935                   TableScan Vectorization:
936                       native: true
937                       vectorizationSchemaColumns: [0:t:tinyint, 1:si:smallint, 2:i:int, 3:b:bigint, 4:f:float, 5:d:double, 6:bo:boolean, 7:s:string, 8:ts:timestamp, 9:dec:decimal(4,2), 10:bin:binary, 11:ROW__ID:struct<transactionid:bigint,bucketid:int,rowid:bigint>]
938                   Reduce Output Operator
939                     key expressions: d (type: double), f (type: float)
940                     sort order: ++
941                     Map-reduce partition columns: d (type: double)
942                     Reduce Sink Vectorization:
943                         className: VectorReduceSinkObjectHashOperator
944                         keyColumnNums: [5, 4]
945                         native: true
946                         nativeConditionsMet: hive.vectorized.execution.reducesink.new.enabled IS true, hive.execution.engine tez IN [tez, spark] IS true, No PTF TopN IS true, No DISTINCT columns IS true, BinarySortableSerDe for keys IS true, LazyBinarySerDe for values IS true
947                         partitionColumnNums: [5]
948                         valueColumnNums: [0, 7]
949                     Statistics: Num rows: 1 Data size: 200 Basic stats: COMPLETE Column stats: NONE
950                     value expressions: t (type: tinyint), s (type: string)
951             Execution mode: vectorized, llap
952             LLAP IO: no inputs
953             Map Vectorization:
954                 enabled: true
955                 enabledConditionsMet: hive.vectorized.use.vector.serde.deserialize IS true
956                 inputFormatFeatureSupport: [DECIMAL_64]
957                 vectorizationSupportRemovedReasons: [DECIMAL_64 disabled because LLAP is enabled]
958                 featureSupportInUse: []
959                 inputFileFormats: org.apache.hadoop.mapred.TextInputFormat
960                 allNative: true
961                 usesVectorUDFAdaptor: false
962                 vectorized: true
963                 rowBatchContext:
964                     dataColumnCount: 11
965                     includeColumns: [0, 4, 5, 7]
966                     dataColumns: t:tinyint, si:smallint, i:int, b:bigint, f:float, d:double, bo:boolean, s:string, ts:timestamp, dec:decimal(4,2), bin:binary
967                     partitionColumnCount: 0
968                     scratchColumnTypeNames: []
969         Reducer 2 
970             Execution mode: vectorized, llap
971             Reduce Vectorization:
972                 enabled: true
973                 enableConditionsMet: hive.vectorized.execution.reduce.enabled IS true, hive.execution.engine tez IN [tez, spark] IS true
974                 reduceColumnNullOrder: aa
975                 reduceColumnSortOrder: ++
976                 allNative: false
977                 usesVectorUDFAdaptor: false
978                 vectorized: true
979                 rowBatchContext:
980                     dataColumnCount: 4
981                     dataColumns: KEY.reducesinkkey0:double, KEY.reducesinkkey1:float, VALUE._col0:tinyint, VALUE._col5:string
982                     partitionColumnCount: 0
983                     scratchColumnTypeNames: [bigint]
984             Reduce Operator Tree:
985               Select Operator
986                 expressions: VALUE._col0 (type: tinyint), KEY.reducesinkkey1 (type: float), KEY.reducesinkkey0 (type: double), VALUE._col5 (type: string)
987                 outputColumnNames: _col0, _col4, _col5, _col7
988                 Select Vectorization:
989                     className: VectorSelectOperator
990                     native: true
991                     projectedOutputColumnNums: [2, 1, 0, 3]
992                 Statistics: Num rows: 1 Data size: 200 Basic stats: COMPLETE Column stats: NONE
993                 PTF Operator
994                   Function definitions:
995                       Input definition
996                         input alias: ptf_0
997                         output shape: _col0: tinyint, _col4: float, _col5: double, _col7: string
998                         type: WINDOWING
999                       Windowing table definition
1000                         input alias: ptf_1
1001                         name: windowingtablefunction
1002                         order by: _col4 ASC NULLS FIRST
1003                         partition by: _col5
1004                         raw input shape:
1005                         window functions:
1006                             window function definition
1007                               alias: last_value_window_0
1008                               arguments: _col0
1009                               name: last_value
1010                               window function: GenericUDAFLastValueEvaluator
1011                               window frame: RANGE PRECEDING(MAX)~CURRENT
1012                   PTF Vectorization:
1013                       className: VectorPTFOperator
1014                       evaluatorClasses: [VectorPTFEvaluatorLongLastValue]
1015                       functionInputExpressions: [col 2:tinyint]
1016                       functionNames: [last_value]
1017                       keyInputColumns: [1, 0]
1018                       native: true
1019                       nonKeyInputColumns: [2, 3]
1020                       orderExpressions: [col 1:float]
1021                       outputColumns: [4, 2, 1, 0, 3]
1022                       outputTypes: [tinyint, tinyint, float, double, string]
1023                       partitionExpressions: [col 0:double]
1024                       streamingColumns: []
1025                   Statistics: Num rows: 1 Data size: 200 Basic stats: COMPLETE Column stats: NONE
1026                   Select Operator
1027                     expressions: _col7 (type: string), last_value_window_0 (type: tinyint)
1028                     outputColumnNames: _col0, _col1
1029                     Select Vectorization:
1030                         className: VectorSelectOperator
1031                         native: true
1032                         projectedOutputColumnNums: [3, 4]
1033                     Statistics: Num rows: 1 Data size: 200 Basic stats: COMPLETE Column stats: NONE
1034                     Limit
1035                       Number of rows: 100
1036                       Limit Vectorization:
1037                           className: VectorLimitOperator
1038                           native: true
1039                       Statistics: Num rows: 1 Data size: 200 Basic stats: COMPLETE Column stats: NONE
1040                       File Output Operator
1041                         compressed: false
1042                         File Sink Vectorization:
1043                             className: VectorFileSinkOperator
1044                             native: false
1045                         Statistics: Num rows: 1 Data size: 200 Basic stats: COMPLETE Column stats: NONE
1046                         table:
1047                             input format: org.apache.hadoop.mapred.SequenceFileInputFormat
1048                             output format: org.apache.hadoop.hive.ql.io.HiveSequenceFileOutputFormat
1049                             serde: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
1050
1051   Stage: Stage-0
1052     Fetch Operator
1053       limit: 100
1054       Processor Tree:
1055         ListSink
1056
1057 PREHOOK: query: select s, last_value(t) over (partition by d order by f) from over10k limit 100
1058 PREHOOK: type: QUERY
1059 PREHOOK: Input: default@over10k
1060 #### A masked pattern was here ####
1061 POSTHOOK: query: select s, last_value(t) over (partition by d order by f) from over10k limit 100
1062 POSTHOOK: type: QUERY
1063 POSTHOOK: Input: default@over10k
1064 #### A masked pattern was here ####
1065 s       last_value_window_0
1066 calvin miller   99
1067 holly polk      83
1068 wendy quirinius -3
1069 yuri laertes    115
1070 nick steinbeck  21
1071 tom young       34
1072 katie brown     66
1073 priscilla quirinius     67
1074 gabriella quirinius     37
1075 katie falkner   118
1076 xavier robinson 47
1077 ethan carson    105
1078 victor johnson  19
1079 jessica white   29
1080 zach white      99
1081 jessica king    -3
1082 victor davidson 83
1083 holly falkner   110
1084 quinn falkner   33
1085 holly young     82
1086 nick robinson   106
1087 xavier steinbeck        8
1088 irene king      66
1089 quinn zipper    14
1090 priscilla miller        61
1091 yuri miller     7
1092 wendy zipper    1
1093 zach steinbeck  124
1094 fred nixon      91
1095 katie brown     104
1096 nick davidson   74
1097 gabriella davidson      112
1098 zach carson     109
1099 wendy king      78
1100 jessica quirinius       22
1101 holly hernandez 35
1102 tom xylophone   30
1103 quinn johnson   117
1104 yuri zipper     -1
1105 gabriella brown 92
1106 david robinson  103
1107 mike nixon      96
1108 gabriella white 6
1109 rachel davidson 7
1110 yuri garcia     121
1111 yuri zipper     92
1112 jessica steinbeck       86
1113 katie hernandez 57
1114 alice king      26
1115 victor steinbeck        87
1116 katie ovid      4
1117 priscilla young 71
1118 quinn van buren 18
1119 quinn davidson  93
1120 gabriella brown -3
1121 zach laertes    124
1122 jessica ichabod 86
1123 irene falkner   49
1124 ethan miller    72
1125 irene carson    26
1126 priscilla zipper        37
1127 tom robinson    33
1128 sarah davidson  86
1129 katie polk      62
1130 nick white      8
1131 xavier laertes  17
1132 alice ichabod   18
1133 nick polk       52
1134 luke brown      47
1135 wendy allen     16
1136 gabriella robinson      6
1137 calvin ichabod  -3
1138 holly steinbeck 25
1139 gabriella carson        39
1140 holly van buren 19
1141 tom nixon       45
1142 katie laertes   -1
1143 mike brown      3
1144 oscar nixon     65
1145 zach garcia     29
1146 tom polk        93
1147 mike allen      115
1148 alice johnson   17
1149 holly robinson  43
1150 yuri young      24
1151 priscilla thompson      9
1152 rachel carson   24
1153 victor brown    34
1154 gabriella laertes       18
1155 bob carson      6
1156 holly allen     63
1157 fred nixon      111
1158 rachel carson   89
1159 alice nixon     48
1160 priscilla brown 68
1161 victor falkner  81
1162 tom white       43
1163 holly hernandez 4
1164 david garcia    101
1165 rachel ellison  51
1166 PREHOOK: query: explain vectorization detail
1167 select s, first_value(s) over (partition by bo order by s) from over10k limit 100
1168 PREHOOK: type: QUERY
1169 POSTHOOK: query: explain vectorization detail
1170 select s, first_value(s) over (partition by bo order by s) from over10k limit 100
1171 POSTHOOK: type: QUERY
1172 Explain
1173 PLAN VECTORIZATION:
1174   enabled: true
1175   enabledConditionsMet: [hive.vectorized.execution.enabled IS true]
1176
1177 STAGE DEPENDENCIES:
1178   Stage-1 is a root stage
1179   Stage-0 depends on stages: Stage-1
1180
1181 STAGE PLANS:
1182   Stage: Stage-1
1183     Tez
1184 #### A masked pattern was here ####
1185       Edges:
1186         Reducer 2 <- Map 1 (SIMPLE_EDGE)
1187 #### A masked pattern was here ####
1188       Vertices:
1189         Map 1 
1190             Map Operator Tree:
1191                 TableScan
1192                   alias: over10k
1193                   Statistics: Num rows: 1 Data size: 188 Basic stats: COMPLETE Column stats: NONE
1194                   TableScan Vectorization:
1195                       native: true
1196                       vectorizationSchemaColumns: [0:t:tinyint, 1:si:smallint, 2:i:int, 3:b:bigint, 4:f:float, 5:d:double, 6:bo:boolean, 7:s:string, 8:ts:timestamp, 9:dec:decimal(4,2), 10:bin:binary, 11:ROW__ID:struct<transactionid:bigint,bucketid:int,rowid:bigint>]
1197                   Reduce Output Operator
1198                     key expressions: bo (type: boolean), s (type: string)
1199                     sort order: ++
1200                     Map-reduce partition columns: bo (type: boolean)
1201                     Reduce Sink Vectorization:
1202                         className: VectorReduceSinkObjectHashOperator
1203                         keyColumnNums: [6, 7]
1204                         native: true
1205                         nativeConditionsMet: hive.vectorized.execution.reducesink.new.enabled IS true, hive.execution.engine tez IN [tez, spark] IS true, No PTF TopN IS true, No DISTINCT columns IS true, BinarySortableSerDe for keys IS true, LazyBinarySerDe for values IS true
1206                         partitionColumnNums: [6]
1207                         valueColumnNums: []
1208                     Statistics: Num rows: 1 Data size: 188 Basic stats: COMPLETE Column stats: NONE
1209             Execution mode: vectorized, llap
1210             LLAP IO: no inputs
1211             Map Vectorization:
1212                 enabled: true
1213                 enabledConditionsMet: hive.vectorized.use.vector.serde.deserialize IS true
1214                 inputFormatFeatureSupport: [DECIMAL_64]
1215                 vectorizationSupportRemovedReasons: [DECIMAL_64 disabled because LLAP is enabled]
1216                 featureSupportInUse: []
1217                 inputFileFormats: org.apache.hadoop.mapred.TextInputFormat
1218                 allNative: true
1219                 usesVectorUDFAdaptor: false
1220                 vectorized: true
1221                 rowBatchContext:
1222                     dataColumnCount: 11
1223                     includeColumns: [6, 7]
1224                     dataColumns: t:tinyint, si:smallint, i:int, b:bigint, f:float, d:double, bo:boolean, s:string, ts:timestamp, dec:decimal(4,2), bin:binary
1225                     partitionColumnCount: 0
1226                     scratchColumnTypeNames: []
1227         Reducer 2 
1228             Execution mode: llap
1229             Reduce Vectorization:
1230                 enabled: true
1231                 enableConditionsMet: hive.vectorized.execution.reduce.enabled IS true, hive.execution.engine tez IN [tez, spark] IS true
1232                 notVectorizedReason: PTF operator: string data type not supported in argument expression of aggregation function first_value
1233                 vectorized: false
1234             Reduce Operator Tree:
1235               Select Operator
1236                 expressions: KEY.reducesinkkey0 (type: boolean), KEY.reducesinkkey1 (type: string)
1237                 outputColumnNames: _col6, _col7
1238                 Statistics: Num rows: 1 Data size: 188 Basic stats: COMPLETE Column stats: NONE
1239                 PTF Operator
1240                   Function definitions:
1241                       Input definition
1242                         input alias: ptf_0
1243                         output shape: _col6: boolean, _col7: string
1244                         type: WINDOWING
1245                       Windowing table definition
1246                         input alias: ptf_1
1247                         name: windowingtablefunction
1248                         order by: _col7 ASC NULLS FIRST
1249                         partition by: _col6
1250                         raw input shape:
1251                         window functions:
1252                             window function definition
1253                               alias: first_value_window_0
1254                               arguments: _col7
1255                               name: first_value
1256                               window function: GenericUDAFFirstValueEvaluator
1257                               window frame: RANGE PRECEDING(MAX)~CURRENT
1258                   Statistics: Num rows: 1 Data size: 188 Basic stats: COMPLETE Column stats: NONE
1259                   Select Operator
1260                     expressions: _col7 (type: string), first_value_window_0 (type: string)
1261                     outputColumnNames: _col0, _col1
1262                     Statistics: Num rows: 1 Data size: 188 Basic stats: COMPLETE Column stats: NONE
1263                     Limit
1264                       Number of rows: 100
1265                       Statistics: Num rows: 1 Data size: 188 Basic stats: COMPLETE Column stats: NONE
1266                       File Output Operator
1267                         compressed: false
1268                         Statistics: Num rows: 1 Data size: 188 Basic stats: COMPLETE Column stats: NONE
1269                         table:
1270                             input format: org.apache.hadoop.mapred.SequenceFileInputFormat
1271                             output format: org.apache.hadoop.hive.ql.io.HiveSequenceFileOutputFormat
1272                             serde: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
1273
1274   Stage: Stage-0
1275     Fetch Operator
1276       limit: 100
1277       Processor Tree:
1278         ListSink
1279
1280 PREHOOK: query: select s, first_value(s) over (partition by bo order by s) from over10k limit 100
1281 PREHOOK: type: QUERY
1282 PREHOOK: Input: default@over10k
1283 #### A masked pattern was here ####
1284 POSTHOOK: query: select s, first_value(s) over (partition by bo order by s) from over10k limit 100
1285 POSTHOOK: type: QUERY
1286 POSTHOOK: Input: default@over10k
1287 #### A masked pattern was here ####
1288 s       first_value_window_0
1289 alice allen     alice allen
1290 alice allen     alice allen
1291 alice allen     alice allen
1292 alice allen     alice allen
1293 alice brown     alice allen
1294 alice brown     alice allen
1295 alice brown     alice allen
1296 alice brown     alice allen
1297 alice brown     alice allen
1298 alice brown     alice allen
1299 alice brown     alice allen
1300 alice brown     alice allen
1301 alice carson    alice allen
1302 alice carson    alice allen
1303 alice carson    alice allen
1304 alice davidson  alice allen
1305 alice davidson  alice allen
1306 alice davidson  alice allen
1307 alice davidson  alice allen
1308 alice davidson  alice allen
1309 alice davidson  alice allen
1310 alice davidson  alice allen
1311 alice davidson  alice allen
1312 alice davidson  alice allen
1313 alice davidson  alice allen
1314 alice ellison   alice allen
1315 alice ellison   alice allen
1316 alice ellison   alice allen
1317 alice ellison   alice allen
1318 alice ellison   alice allen
1319 alice ellison   alice allen
1320 alice ellison   alice allen
1321 alice ellison   alice allen
1322 alice ellison   alice allen
1323 alice falkner   alice allen
1324 alice falkner   alice allen
1325 alice falkner   alice allen
1326 alice falkner   alice allen
1327 alice falkner   alice allen
1328 alice falkner   alice allen
1329 alice garcia    alice allen
1330 alice garcia    alice allen
1331 alice garcia    alice allen
1332 alice garcia    alice allen
1333 alice garcia    alice allen
1334 alice hernandez alice allen
1335 alice hernandez alice allen
1336 alice hernandez alice allen
1337 alice hernandez alice allen
1338 alice hernandez alice allen
1339 alice hernandez alice allen
1340 alice hernandez alice allen
1341 alice hernandez alice allen
1342 alice hernandez alice allen
1343 alice hernandez alice allen
1344 alice hernandez alice allen
1345 alice ichabod   alice allen
1346 alice ichabod   alice allen
1347 alice ichabod   alice allen
1348 alice ichabod   alice allen
1349 alice ichabod   alice allen
1350 alice ichabod   alice allen
1351 alice ichabod   alice allen
1352 alice ichabod   alice allen
1353 alice ichabod   alice allen
1354 alice ichabod   alice allen
1355 alice ichabod   alice allen
1356 alice johnson   alice allen
1357 alice johnson   alice allen
1358 alice johnson   alice allen
1359 alice johnson   alice allen
1360 alice johnson   alice allen
1361 alice johnson   alice allen
1362 alice johnson   alice allen
1363 alice johnson   alice allen
1364 alice king      alice allen
1365 alice king      alice allen
1366 alice king      alice allen
1367 alice king      alice allen
1368 alice king      alice allen
1369 alice king      alice allen
1370 alice laertes   alice allen
1371 alice laertes   alice allen
1372 alice laertes   alice allen
1373 alice laertes   alice allen
1374 alice laertes   alice allen
1375 alice laertes   alice allen
1376 alice miller    alice allen
1377 alice miller    alice allen
1378 alice miller    alice allen
1379 alice miller    alice allen
1380 alice miller    alice allen
1381 alice miller    alice allen
1382 alice miller    alice allen
1383 alice miller    alice allen
1384 alice miller    alice allen
1385 alice miller    alice allen
1386 alice nixon     alice allen
1387 alice nixon     alice allen
1388 alice nixon     alice allen
1389 PREHOOK: query: explain vectorization detail
1390 select t, s, i, last_value(i) over (partition by t order by s) 
1391 from over10k where (s = 'oscar allen' or s = 'oscar carson') and t = 10
1392 PREHOOK: type: QUERY
1393 POSTHOOK: query: explain vectorization detail
1394 select t, s, i, last_value(i) over (partition by t order by s) 
1395 from over10k where (s = 'oscar allen' or s = 'oscar carson') and t = 10
1396 POSTHOOK: type: QUERY
1397 Explain
1398 PLAN VECTORIZATION:
1399   enabled: true
1400   enabledConditionsMet: [hive.vectorized.execution.enabled IS true]
1401
1402 STAGE DEPENDENCIES:
1403   Stage-1 is a root stage
1404   Stage-0 depends on stages: Stage-1
1405
1406 STAGE PLANS:
1407   Stage: Stage-1
1408     Tez
1409 #### A masked pattern was here ####
1410       Edges:
1411         Reducer 2 <- Map 1 (SIMPLE_EDGE)
1412 #### A masked pattern was here ####
1413       Vertices:
1414         Map 1 
1415             Map Operator Tree:
1416                 TableScan
1417                   alias: over10k
1418                   Statistics: Num rows: 1 Data size: 192 Basic stats: COMPLETE Column stats: NONE
1419                   TableScan Vectorization:
1420                       native: true
1421                       vectorizationSchemaColumns: [0:t:tinyint, 1:si:smallint, 2:i:int, 3:b:bigint, 4:f:float, 5:d:double, 6:bo:boolean, 7:s:string, 8:ts:timestamp, 9:dec:decimal(4,2), 10:bin:binary, 11:ROW__ID:struct<transactionid:bigint,bucketid:int,rowid:bigint>]
1422                   Filter Operator
1423                     Filter Vectorization:
1424                         className: VectorFilterOperator
1425                         native: true
1426                         predicateExpression: FilterExprAndExpr(children: FilterExprOrExpr(children: FilterStringGroupColEqualStringScalar(col 7:string, val oscar allen), FilterStringGroupColEqualStringScalar(col 7:string, val oscar carson)), FilterLongColEqualLongScalar(col 0:tinyint, val 10))
1427                     predicate: (((s = 'oscar allen') or (s = 'oscar carson')) and (t = 10Y)) (type: boolean)
1428                     Statistics: Num rows: 1 Data size: 192 Basic stats: COMPLETE Column stats: NONE
1429                     Reduce Output Operator
1430                       key expressions: UDFToByte(10) (type: tinyint), s (type: string)
1431                       sort order: ++
1432                       Map-reduce partition columns: UDFToByte(10) (type: tinyint)
1433                       Reduce Sink Vectorization:
1434                           className: VectorReduceSinkObjectHashOperator
1435                           keyColumnNums: [12, 7]
1436                           keyExpressions: ConstantVectorExpression(val 10) -> 12:bigint
1437                           native: true
1438                           nativeConditionsMet: hive.vectorized.execution.reducesink.new.enabled IS true, hive.execution.engine tez IN [tez, spark] IS true, No PTF TopN IS true, No DISTINCT columns IS true, BinarySortableSerDe for keys IS true, LazyBinarySerDe for values IS true
1439                           partitionColumnNums: [13]
1440                           valueColumnNums: [2]
1441                       Statistics: Num rows: 1 Data size: 192 Basic stats: COMPLETE Column stats: NONE
1442                       value expressions: i (type: int)
1443             Execution mode: vectorized, llap
1444             LLAP IO: no inputs
1445             Map Vectorization:
1446                 enabled: true
1447                 enabledConditionsMet: hive.vectorized.use.vector.serde.deserialize IS true
1448                 inputFormatFeatureSupport: [DECIMAL_64]
1449                 vectorizationSupportRemovedReasons: [DECIMAL_64 disabled because LLAP is enabled]
1450                 featureSupportInUse: []
1451                 inputFileFormats: org.apache.hadoop.mapred.TextInputFormat
1452                 allNative: true
1453                 usesVectorUDFAdaptor: false
1454                 vectorized: true
1455                 rowBatchContext:
1456                     dataColumnCount: 11
1457                     includeColumns: [0, 2, 7]
1458                     dataColumns: t:tinyint, si:smallint, i:int, b:bigint, f:float, d:double, bo:boolean, s:string, ts:timestamp, dec:decimal(4,2), bin:binary
1459                     partitionColumnCount: 0
1460                     scratchColumnTypeNames: [bigint, bigint]
1461         Reducer 2 
1462             Execution mode: vectorized, llap
1463             Reduce Vectorization:
1464                 enabled: true
1465                 enableConditionsMet: hive.vectorized.execution.reduce.enabled IS true, hive.execution.engine tez IN [tez, spark] IS true
1466                 reduceColumnNullOrder: aa
1467                 reduceColumnSortOrder: ++
1468                 allNative: false
1469                 usesVectorUDFAdaptor: false
1470                 vectorized: true
1471                 rowBatchContext:
1472                     dataColumnCount: 3
1473                     dataColumns: KEY.reducesinkkey0:tinyint, KEY.reducesinkkey1:string, VALUE._col2:int
1474                     partitionColumnCount: 0
1475                     scratchColumnTypeNames: [bigint, bigint, bigint]
1476             Reduce Operator Tree:
1477               Select Operator
1478                 expressions: VALUE._col2 (type: int), KEY.reducesinkkey1 (type: string)
1479                 outputColumnNames: _col2, _col7
1480                 Select Vectorization:
1481                     className: VectorSelectOperator
1482                     native: true
1483                     projectedOutputColumnNums: [2, 1]
1484                 Statistics: Num rows: 1 Data size: 192 Basic stats: COMPLETE Column stats: NONE
1485                 PTF Operator
1486                   Function definitions:
1487                       Input definition
1488                         input alias: ptf_0
1489                         output shape: _col2: int, _col7: string
1490                         type: WINDOWING
1491                       Windowing table definition
1492                         input alias: ptf_1
1493                         name: windowingtablefunction
1494                         order by: _col7 ASC NULLS FIRST
1495                         partition by: UDFToByte(10)
1496                         raw input shape:
1497                         window functions:
1498                             window function definition
1499                               alias: last_value_window_0
1500                               arguments: _col2
1501                               name: last_value
1502                               window function: GenericUDAFLastValueEvaluator
1503                               window frame: RANGE PRECEDING(MAX)~CURRENT
1504                   PTF Vectorization:
1505                       className: VectorPTFOperator
1506                       evaluatorClasses: [VectorPTFEvaluatorLongLastValue]
1507                       functionInputExpressions: [col 2:int]
1508                       functionNames: [last_value]
1509                       keyInputColumns: [1]
1510                       native: true
1511                       nonKeyInputColumns: [2]
1512                       orderExpressions: [col 1:string]
1513                       outputColumns: [3, 2, 1]
1514                       outputTypes: [int, int, string]
1515                       partitionExpressions: [ConstantVectorExpression(val 10) -> 4:bigint]
1516                       streamingColumns: []
1517                   Statistics: Num rows: 1 Data size: 192 Basic stats: COMPLETE Column stats: NONE
1518                   Select Operator
1519                     expressions: 10Y (type: tinyint), _col7 (type: string), _col2 (type: int), last_value_window_0 (type: int)
1520                     outputColumnNames: _col0, _col1, _col2, _col3
1521                     Select Vectorization:
1522                         className: VectorSelectOperator
1523                         native: true
1524                         projectedOutputColumnNums: [5, 1, 2, 3]
1525                         selectExpressions: ConstantVectorExpression(val 10) -> 5:tinyint
1526                     Statistics: Num rows: 1 Data size: 192 Basic stats: COMPLETE Column stats: NONE
1527                     File Output Operator
1528                       compressed: false
1529                       File Sink Vectorization:
1530                           className: VectorFileSinkOperator
1531                           native: false
1532                       Statistics: Num rows: 1 Data size: 192 Basic stats: COMPLETE Column stats: NONE
1533                       table:
1534                           input format: org.apache.hadoop.mapred.SequenceFileInputFormat
1535                           output format: org.apache.hadoop.hive.ql.io.HiveSequenceFileOutputFormat
1536                           serde: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
1537
1538   Stage: Stage-0
1539     Fetch Operator
1540       limit: -1
1541       Processor Tree:
1542         ListSink
1543
1544 PREHOOK: query: drop table if exists wtest
1545 PREHOOK: type: DROPTABLE
1546 POSTHOOK: query: drop table if exists wtest
1547 POSTHOOK: type: DROPTABLE
1548 PREHOOK: query: create table wtest as
1549 select a, b
1550 from
1551 (
1552 SELECT explode(
1553    map(
1554    3, array(1,2,3,4,5), 
1555    1, array(int(null),int(null),int(null), int(null), int(null)), 
1556    2, array(1,null,2, null, 3)
1557    )
1558   ) as (a,barr) FROM (select * from src limit 1) s
1559   ) s1 lateral view explode(barr) arr as b
1560 PREHOOK: type: CREATETABLE_AS_SELECT
1561 PREHOOK: Input: default@src
1562 PREHOOK: Output: database:default
1563 PREHOOK: Output: default@wtest
1564 POSTHOOK: query: create table wtest as
1565 select a, b
1566 from
1567 (
1568 SELECT explode(
1569    map(
1570    3, array(1,2,3,4,5), 
1571    1, array(int(null),int(null),int(null), int(null), int(null)), 
1572    2, array(1,null,2, null, 3)
1573    )
1574   ) as (a,barr) FROM (select * from src limit 1) s
1575   ) s1 lateral view explode(barr) arr as b
1576 POSTHOOK: type: CREATETABLE_AS_SELECT
1577 POSTHOOK: Input: default@src
1578 POSTHOOK: Output: database:default
1579 POSTHOOK: Output: default@wtest
1580 POSTHOOK: Lineage: wtest.a SCRIPT []
1581 POSTHOOK: Lineage: wtest.b SCRIPT []
1582 a       b
1583 PREHOOK: query: explain vectorization detail
1584 select a, b,
1585 first_value(b) over (partition by a order by b rows between 1 preceding and 1 following ) ,
1586 first_value(b, true) over (partition by a order by b rows between 1 preceding and 1 following ) ,
1587 first_value(b) over (partition by a order by b rows between unbounded preceding and 1 following ) ,
1588 first_value(b, true) over (partition by a order by b rows between unbounded preceding and 1 following ) 
1589 from wtest
1590 PREHOOK: type: QUERY
1591 POSTHOOK: query: explain vectorization detail
1592 select a, b,
1593 first_value(b) over (partition by a order by b rows between 1 preceding and 1 following ) ,
1594 first_value(b, true) over (partition by a order by b rows between 1 preceding and 1 following ) ,
1595 first_value(b) over (partition by a order by b rows between unbounded preceding and 1 following ) ,
1596 first_value(b, true) over (partition by a order by b rows between unbounded preceding and 1 following ) 
1597 from wtest
1598 POSTHOOK: type: QUERY
1599 Explain
1600 PLAN VECTORIZATION:
1601   enabled: true
1602   enabledConditionsMet: [hive.vectorized.execution.enabled IS true]
1603
1604 STAGE DEPENDENCIES:
1605   Stage-1 is a root stage
1606   Stage-0 depends on stages: Stage-1
1607
1608 STAGE PLANS:
1609   Stage: Stage-1
1610     Tez
1611 #### A masked pattern was here ####
1612       Edges:
1613         Reducer 2 <- Map 1 (SIMPLE_EDGE)
1614 #### A masked pattern was here ####
1615       Vertices:
1616         Map 1 
1617             Map Operator Tree:
1618                 TableScan
1619                   alias: wtest
1620                   Statistics: Num rows: 15 Data size: 120 Basic stats: COMPLETE Column stats: NONE
1621                   TableScan Vectorization:
1622                       native: true
1623                       vectorizationSchemaColumns: [0:a:int, 1:b:int, 2:ROW__ID:struct<transactionid:bigint,bucketid:int,rowid:bigint>]
1624                   Reduce Output Operator
1625                     key expressions: a (type: int), b (type: int)
1626                     sort order: ++
1627                     Map-reduce partition columns: a (type: int)
1628                     Reduce Sink Vectorization:
1629                         className: VectorReduceSinkObjectHashOperator
1630                         keyColumnNums: [0, 1]
1631                         native: true
1632                         nativeConditionsMet: hive.vectorized.execution.reducesink.new.enabled IS true, hive.execution.engine tez IN [tez, spark] IS true, No PTF TopN IS true, No DISTINCT columns IS true, BinarySortableSerDe for keys IS true, LazyBinarySerDe for values IS true
1633                         partitionColumnNums: [0]
1634                         valueColumnNums: []
1635                     Statistics: Num rows: 15 Data size: 120 Basic stats: COMPLETE Column stats: NONE
1636             Execution mode: vectorized, llap
1637             LLAP IO: no inputs
1638             Map Vectorization:
1639                 enabled: true
1640                 enabledConditionsMet: hive.vectorized.use.vector.serde.deserialize IS true
1641                 inputFormatFeatureSupport: [DECIMAL_64]
1642                 vectorizationSupportRemovedReasons: [DECIMAL_64 disabled because LLAP is enabled]
1643                 featureSupportInUse: []
1644                 inputFileFormats: org.apache.hadoop.mapred.TextInputFormat
1645                 allNative: true
1646                 usesVectorUDFAdaptor: false
1647                 vectorized: true
1648                 rowBatchContext:
1649                     dataColumnCount: 2
1650                     includeColumns: [0, 1]
1651                     dataColumns: a:int, b:int
1652                     partitionColumnCount: 0
1653                     scratchColumnTypeNames: []
1654         Reducer 2 
1655             Execution mode: llap
1656             Reduce Vectorization:
1657                 enabled: true
1658                 enableConditionsMet: hive.vectorized.execution.reduce.enabled IS true, hive.execution.engine tez IN [tez, spark] IS true
1659                 notVectorizedReason: PTF operator: first_value only UNBOUNDED start frame is supported
1660                 vectorized: false
1661             Reduce Operator Tree:
1662               Select Operator
1663                 expressions: KEY.reducesinkkey0 (type: int), KEY.reducesinkkey1 (type: int)
1664                 outputColumnNames: _col0, _col1
1665                 Statistics: Num rows: 15 Data size: 120 Basic stats: COMPLETE Column stats: NONE
1666                 PTF Operator
1667                   Function definitions:
1668                       Input definition
1669                         input alias: ptf_0
1670                         output shape: _col0: int, _col1: int
1671                         type: WINDOWING
1672                       Windowing table definition
1673                         input alias: ptf_1
1674                         name: windowingtablefunction
1675                         order by: _col1 ASC NULLS FIRST
1676                         partition by: _col0
1677                         raw input shape:
1678                         window functions:
1679                             window function definition
1680                               alias: first_value_window_0
1681                               arguments: _col1
1682                               name: first_value
1683                               window function: GenericUDAFFirstValueEvaluator
1684                               window frame: ROWS PRECEDING(1)~FOLLOWING(1)
1685                             window function definition
1686                               alias: first_value_window_1
1687                               arguments: _col1, true
1688                               name: first_value
1689                               window function: GenericUDAFFirstValueEvaluator
1690                               window frame: ROWS PRECEDING(1)~FOLLOWING(1)
1691                             window function definition
1692                               alias: first_value_window_2
1693                               arguments: _col1
1694                               name: first_value
1695                               window function: GenericUDAFFirstValueEvaluator
1696                               window frame: ROWS PRECEDING(MAX)~FOLLOWING(1)
1697                             window function definition
1698                               alias: first_value_window_3
1699                               arguments: _col1, true
1700                               name: first_value
1701                               window function: GenericUDAFFirstValueEvaluator
1702                               window frame: ROWS PRECEDING(MAX)~FOLLOWING(1)
1703                   Statistics: Num rows: 15 Data size: 120 Basic stats: COMPLETE Column stats: NONE
1704                   Select Operator
1705                     expressions: _col0 (type: int), _col1 (type: int), first_value_window_0 (type: int), first_value_window_1 (type: int), first_value_window_2 (type: int), first_value_window_3 (type: int)
1706                     outputColumnNames: _col0, _col1, _col2, _col3, _col4, _col5
1707                     Statistics: Num rows: 15 Data size: 120 Basic stats: COMPLETE Column stats: NONE
1708                     File Output Operator
1709                       compressed: false
1710                       Statistics: Num rows: 15 Data size: 120 Basic stats: COMPLETE Column stats: NONE
1711                       table:
1712                           input format: org.apache.hadoop.mapred.SequenceFileInputFormat
1713                           output format: org.apache.hadoop.hive.ql.io.HiveSequenceFileOutputFormat
1714                           serde: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
1715
1716   Stage: Stage-0
1717     Fetch Operator
1718       limit: -1
1719       Processor Tree:
1720         ListSink
1721
1722 PREHOOK: query: select a, b,
1723 first_value(b) over (partition by a order by b rows between 1 preceding and 1 following ) ,
1724 first_value(b, true) over (partition by a order by b rows between 1 preceding and 1 following ) ,
1725 first_value(b) over (partition by a order by b rows between unbounded preceding and 1 following ) ,
1726 first_value(b, true) over (partition by a order by b rows between unbounded preceding and 1 following ) 
1727 from wtest
1728 PREHOOK: type: QUERY
1729 PREHOOK: Input: default@wtest
1730 #### A masked pattern was here ####
1731 POSTHOOK: query: select a, b,
1732 first_value(b) over (partition by a order by b rows between 1 preceding and 1 following ) ,
1733 first_value(b, true) over (partition by a order by b rows between 1 preceding and 1 following ) ,
1734 first_value(b) over (partition by a order by b rows between unbounded preceding and 1 following ) ,
1735 first_value(b, true) over (partition by a order by b rows between unbounded preceding and 1 following ) 
1736 from wtest
1737 POSTHOOK: type: QUERY
1738 POSTHOOK: Input: default@wtest
1739 #### A masked pattern was here ####
1740 a       b       first_value_window_0    first_value_window_1    first_value_window_2    first_value_window_3
1741 1       NULL    NULL    NULL    NULL    NULL
1742 1       NULL    NULL    NULL    NULL    NULL
1743 1       NULL    NULL    NULL    NULL    NULL
1744 1       NULL    NULL    NULL    NULL    NULL
1745 1       NULL    NULL    NULL    NULL    NULL
1746 2       NULL    NULL    NULL    NULL    NULL
1747 2       NULL    NULL    1       NULL    1
1748 2       1       NULL    1       NULL    1
1749 2       2       1       1       NULL    1
1750 2       3       2       2       NULL    1
1751 3       1       1       1       1       1
1752 3       2       1       1       1       1
1753 3       3       2       2       1       1
1754 3       4       3       3       1       1
1755 3       5       4       4       1       1
1756 PREHOOK: query: explain vectorization detail
1757 select a, b,
1758 first_value(b) over (partition by a order by b desc  rows between 1 preceding and 1 following ) ,
1759 first_value(b, true) over (partition by a order by b desc rows between 1 preceding and 1 following ) ,
1760 first_value(b) over (partition by a order by b desc rows between unbounded preceding and 1 following ) ,
1761 first_value(b, true) over (partition by a order by b desc rows between unbounded preceding and 1 following ) 
1762 from wtest
1763 PREHOOK: type: QUERY
1764 POSTHOOK: query: explain vectorization detail
1765 select a, b,
1766 first_value(b) over (partition by a order by b desc  rows between 1 preceding and 1 following ) ,
1767 first_value(b, true) over (partition by a order by b desc rows between 1 preceding and 1 following ) ,
1768 first_value(b) over (partition by a order by b desc rows between unbounded preceding and 1 following ) ,
1769 first_value(b, true) over (partition by a order by b desc rows between unbounded preceding and 1 following ) 
1770 from wtest
1771 POSTHOOK: type: QUERY
1772 Explain
1773 PLAN VECTORIZATION:
1774   enabled: true
1775   enabledConditionsMet: [hive.vectorized.execution.enabled IS true]
1776
1777 STAGE DEPENDENCIES:
1778   Stage-1 is a root stage
1779   Stage-0 depends on stages: Stage-1
1780
1781 STAGE PLANS:
1782   Stage: Stage-1
1783     Tez
1784 #### A masked pattern was here ####
1785       Edges:
1786         Reducer 2 <- Map 1 (SIMPLE_EDGE)
1787 #### A masked pattern was here ####
1788       Vertices:
1789         Map 1 
1790             Map Operator Tree:
1791                 TableScan
1792                   alias: wtest
1793                   Statistics: Num rows: 15 Data size: 120 Basic stats: COMPLETE Column stats: NONE
1794                   TableScan Vectorization:
1795                       native: true
1796                       vectorizationSchemaColumns: [0:a:int, 1:b:int, 2:ROW__ID:struct<transactionid:bigint,bucketid:int,rowid:bigint>]
1797                   Reduce Output Operator
1798                     key expressions: a (type: int), b (type: int)
1799                     sort order: +-
1800                     Map-reduce partition columns: a (type: int)
1801                     Reduce Sink Vectorization:
1802                         className: VectorReduceSinkObjectHashOperator
1803                         keyColumnNums: [0, 1]
1804                         native: true
1805                         nativeConditionsMet: hive.vectorized.execution.reducesink.new.enabled IS true, hive.execution.engine tez IN [tez, spark] IS true, No PTF TopN IS true, No DISTINCT columns IS true, BinarySortableSerDe for keys IS true, LazyBinarySerDe for values IS true
1806                         partitionColumnNums: [0]
1807                         valueColumnNums: []
1808                     Statistics: Num rows: 15 Data size: 120 Basic stats: COMPLETE Column stats: NONE
1809             Execution mode: vectorized, llap
1810             LLAP IO: no inputs
1811             Map Vectorization:
1812                 enabled: true
1813                 enabledConditionsMet: hive.vectorized.use.vector.serde.deserialize IS true
1814                 inputFormatFeatureSupport: [DECIMAL_64]
1815                 vectorizationSupportRemovedReasons: [DECIMAL_64 disabled because LLAP is enabled]
1816                 featureSupportInUse: []
1817                 inputFileFormats: org.apache.hadoop.mapred.TextInputFormat
1818                 allNative: true
1819                 usesVectorUDFAdaptor: false
1820                 vectorized: true
1821                 rowBatchContext:
1822                     dataColumnCount: 2
1823                     includeColumns: [0, 1]
1824                     dataColumns: a:int, b:int
1825                     partitionColumnCount: 0
1826                     scratchColumnTypeNames: []
1827         Reducer 2 
1828             Execution mode: llap
1829             Reduce Vectorization:
1830                 enabled: true
1831                 enableConditionsMet: hive.vectorized.execution.reduce.enabled IS true, hive.execution.engine tez IN [tez, spark] IS true
1832                 notVectorizedReason: PTF operator: first_value only UNBOUNDED start frame is supported
1833                 vectorized: false
1834             Reduce Operator Tree:
1835               Select Operator
1836                 expressions: KEY.reducesinkkey0 (type: int), KEY.reducesinkkey1 (type: int)
1837                 outputColumnNames: _col0, _col1
1838                 Statistics: Num rows: 15 Data size: 120 Basic stats: COMPLETE Column stats: NONE
1839                 PTF Operator
1840                   Function definitions:
1841                       Input definition
1842                         input alias: ptf_0
1843                         output shape: _col0: int, _col1: int
1844                         type: WINDOWING
1845                       Windowing table definition
1846                         input alias: ptf_1
1847                         name: windowingtablefunction
1848                         order by: _col1 DESC NULLS LAST
1849                         partition by: _col0
1850                         raw input shape:
1851                         window functions:
1852                             window function definition
1853                               alias: first_value_window_0
1854                               arguments: _col1
1855                               name: first_value
1856                               window function: GenericUDAFFirstValueEvaluator
1857                               window frame: ROWS PRECEDING(1)~FOLLOWING(1)
1858                             window function definition
1859                               alias: first_value_window_1
1860                               arguments: _col1, true
1861                               name: first_value
1862                               window function: GenericUDAFFirstValueEvaluator
1863                               window frame: ROWS PRECEDING(1)~FOLLOWING(1)
1864                             window function definition
1865                               alias: first_value_window_2
1866                               arguments: _col1
1867                               name: first_value
1868                               window function: GenericUDAFFirstValueEvaluator
1869                               window frame: ROWS PRECEDING(MAX)~FOLLOWING(1)
1870                             window function definition
1871                               alias: first_value_window_3
1872                               arguments: _col1, true
1873                               name: first_value
1874                               window function: GenericUDAFFirstValueEvaluator
1875                               window frame: ROWS PRECEDING(MAX)~FOLLOWING(1)
1876                   Statistics: Num rows: 15 Data size: 120 Basic stats: COMPLETE Column stats: NONE
1877                   Select Operator
1878                     expressions: _col0 (type: int), _col1 (type: int), first_value_window_0 (type: int), first_value_window_1 (type: int), first_value_window_2 (type: int), first_value_window_3 (type: int)
1879                     outputColumnNames: _col0, _col1, _col2, _col3, _col4, _col5
1880                     Statistics: Num rows: 15 Data size: 120 Basic stats: COMPLETE Column stats: NONE
1881                     File Output Operator
1882                       compressed: false
1883                       Statistics: Num rows: 15 Data size: 120 Basic stats: COMPLETE Column stats: NONE
1884                       table:
1885                           input format: org.apache.hadoop.mapred.SequenceFileInputFormat
1886                           output format: org.apache.hadoop.hive.ql.io.HiveSequenceFileOutputFormat
1887                           serde: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
1888
1889   Stage: Stage-0
1890     Fetch Operator
1891       limit: -1
1892       Processor Tree:
1893         ListSink
1894
1895 PREHOOK: query: select a, b,
1896 first_value(b) over (partition by a order by b desc  rows between 1 preceding and 1 following ) ,
1897 first_value(b, true) over (partition by a order by b desc rows between 1 preceding and 1 following ) ,
1898 first_value(b) over (partition by a order by b desc rows between unbounded preceding and 1 following ) ,
1899 first_value(b, true) over (partition by a order by b desc rows between unbounded preceding and 1 following ) 
1900 from wtest
1901 PREHOOK: type: QUERY
1902 PREHOOK: Input: default@wtest
1903 #### A masked pattern was here ####
1904 POSTHOOK: query: select a, b,
1905 first_value(b) over (partition by a order by b desc  rows between 1 preceding and 1 following ) ,
1906 first_value(b, true) over (partition by a order by b desc rows between 1 preceding and 1 following ) ,
1907 first_value(b) over (partition by a order by b desc rows between unbounded preceding and 1 following ) ,
1908 first_value(b, true) over (partition by a order by b desc rows between unbounded preceding and 1 following ) 
1909 from wtest
1910 POSTHOOK: type: QUERY
1911 POSTHOOK: Input: default@wtest
1912 #### A masked pattern was here ####
1913 a       b       first_value_window_0    first_value_window_1    first_value_window_2    first_value_window_3
1914 1       NULL    NULL    NULL    NULL    NULL
1915 1       NULL    NULL    NULL    NULL    NULL
1916 1       NULL    NULL    NULL    NULL    NULL
1917 1       NULL    NULL    NULL    NULL    NULL
1918 1       NULL    NULL    NULL    NULL    NULL
1919 2       3       3       3       3       3
1920 2       2       3       3       3       3
1921 2       1       2       2       3       3
1922 2       NULL    1       1       3       3
1923 2       NULL    NULL    NULL    3       3
1924 3       5       5       5       5       5
1925 3       4       5       5       5       5
1926 3       3       4       4       5       5
1927 3       2       3       3       5       5
1928 3       1       2       2       5       5
1929 PREHOOK: query: explain vectorization detail
1930 select a, b,
1931 last_value(b) over (partition by a order by b rows between 1 preceding and 1 following ) ,
1932 last_value(b, true) over (partition by a order by b rows between 1 preceding and 1 following ) ,
1933 last_value(b) over (partition by a order by b rows between unbounded preceding and 1 following ) ,
1934 last_value(b, true) over (partition by a order by b rows between unbounded preceding and 1 following ) 
1935 from wtest
1936 PREHOOK: type: QUERY
1937 POSTHOOK: query: explain vectorization detail
1938 select a, b,
1939 last_value(b) over (partition by a order by b rows between 1 preceding and 1 following ) ,
1940 last_value(b, true) over (partition by a order by b rows between 1 preceding and 1 following ) ,
1941 last_value(b) over (partition by a order by b rows between unbounded preceding and 1 following ) ,
1942 last_value(b, true) over (partition by a order by b rows between unbounded preceding and 1 following ) 
1943 from wtest
1944 POSTHOOK: type: QUERY
1945 Explain
1946 PLAN VECTORIZATION:
1947   enabled: true
1948   enabledConditionsMet: [hive.vectorized.execution.enabled IS true]
1949
1950 STAGE DEPENDENCIES:
1951   Stage-1 is a root stage
1952   Stage-0 depends on stages: Stage-1
1953
1954 STAGE PLANS:
1955   Stage: Stage-1
1956     Tez
1957 #### A masked pattern was here ####
1958       Edges:
1959         Reducer 2 <- Map 1 (SIMPLE_EDGE)
1960 #### A masked pattern was here ####
1961       Vertices:
1962         Map 1 
1963             Map Operator Tree:
1964                 TableScan
1965                   alias: wtest
1966                   Statistics: Num rows: 15 Data size: 120 Basic stats: COMPLETE Column stats: NONE
1967                   TableScan Vectorization:
1968                       native: true
1969                       vectorizationSchemaColumns: [0:a:int, 1:b:int, 2:ROW__ID:struct<transactionid:bigint,bucketid:int,rowid:bigint>]
1970                   Reduce Output Operator
1971                     key expressions: a (type: int), b (type: int)
1972                     sort order: ++
1973                     Map-reduce partition columns: a (type: int)
1974                     Reduce Sink Vectorization:
1975                         className: VectorReduceSinkObjectHashOperator
1976                         keyColumnNums: [0, 1]
1977                         native: true
1978                         nativeConditionsMet: hive.vectorized.execution.reducesink.new.enabled IS true, hive.execution.engine tez IN [tez, spark] IS true, No PTF TopN IS true, No DISTINCT columns IS true, BinarySortableSerDe for keys IS true, LazyBinarySerDe for values IS true
1979                         partitionColumnNums: [0]
1980                         valueColumnNums: []
1981                     Statistics: Num rows: 15 Data size: 120 Basic stats: COMPLETE Column stats: NONE
1982             Execution mode: vectorized, llap
1983             LLAP IO: no inputs
1984             Map Vectorization:
1985                 enabled: true
1986                 enabledConditionsMet: hive.vectorized.use.vector.serde.deserialize IS true
1987                 inputFormatFeatureSupport: [DECIMAL_64]
1988                 vectorizationSupportRemovedReasons: [DECIMAL_64 disabled because LLAP is enabled]
1989                 featureSupportInUse: []
1990                 inputFileFormats: org.apache.hadoop.mapred.TextInputFormat
1991                 allNative: true
1992                 usesVectorUDFAdaptor: false
1993                 vectorized: true
1994                 rowBatchContext:
1995                     dataColumnCount: 2
1996                     includeColumns: [0, 1]
1997                     dataColumns: a:int, b:int
1998                     partitionColumnCount: 0
1999                     scratchColumnTypeNames: []
2000         Reducer 2 
2001             Execution mode: llap
2002             Reduce Vectorization:
2003                 enabled: true
2004                 enableConditionsMet: hive.vectorized.execution.reduce.enabled IS true, hive.execution.engine tez IN [tez, spark] IS true
2005                 notVectorizedReason: PTF operator: last_value only UNBOUNDED start frame is supported
2006                 vectorized: false
2007             Reduce Operator Tree:
2008               Select Operator
2009                 expressions: KEY.reducesinkkey0 (type: int), KEY.reducesinkkey1 (type: int)
2010                 outputColumnNames: _col0, _col1
2011                 Statistics: Num rows: 15 Data size: 120 Basic stats: COMPLETE Column stats: NONE
2012                 PTF Operator
2013                   Function definitions:
2014                       Input definition
2015                         input alias: ptf_0
2016                         output shape: _col0: int, _col1: int
2017                         type: WINDOWING
2018                       Windowing table definition
2019                         input alias: ptf_1
2020                         name: windowingtablefunction
2021                         order by: _col1 ASC NULLS FIRST
2022                         partition by: _col0
2023                         raw input shape:
2024                         window functions:
2025                             window function definition
2026                               alias: last_value_window_0
2027                               arguments: _col1
2028                               name: last_value
2029                               window function: GenericUDAFLastValueEvaluator
2030                               window frame: ROWS PRECEDING(1)~FOLLOWING(1)
2031                             window function definition
2032                               alias: last_value_window_1
2033                               arguments: _col1, true
2034                               name: last_value
2035                               window function: GenericUDAFLastValueEvaluator
2036                               window frame: ROWS PRECEDING(1)~FOLLOWING(1)
2037                             window function definition
2038                               alias: last_value_window_2
2039                               arguments: _col1
2040                               name: last_value
2041                               window function: GenericUDAFLastValueEvaluator
2042                               window frame: ROWS PRECEDING(MAX)~FOLLOWING(1)
2043                             window function definition
2044                               alias: last_value_window_3
2045                               arguments: _col1, true
2046                               name: last_value
2047                               window function: GenericUDAFLastValueEvaluator
2048                               window frame: ROWS PRECEDING(MAX)~FOLLOWING(1)
2049                   Statistics: Num rows: 15 Data size: 120 Basic stats: COMPLETE Column stats: NONE
2050                   Select Operator
2051                     expressions: _col0 (type: int), _col1 (type: int), last_value_window_0 (type: int), last_value_window_1 (type: int), last_value_window_2 (type: int), last_value_window_3 (type: int)
2052                     outputColumnNames: _col0, _col1, _col2, _col3, _col4, _col5
2053                     Statistics: Num rows: 15 Data size: 120 Basic stats: COMPLETE Column stats: NONE
2054                     File Output Operator
2055                       compressed: false
2056                       Statistics: Num rows: 15 Data size: 120 Basic stats: COMPLETE Column stats: NONE
2057                       table:
2058                           input format: org.apache.hadoop.mapred.SequenceFileInputFormat
2059                           output format: org.apache.hadoop.hive.ql.io.HiveSequenceFileOutputFormat
2060                           serde: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
2061
2062   Stage: Stage-0
2063     Fetch Operator
2064       limit: -1
2065       Processor Tree:
2066         ListSink
2067
2068 PREHOOK: query: select a, b,
2069 last_value(b) over (partition by a order by b rows between 1 preceding and 1 following ) ,
2070 last_value(b, true) over (partition by a order by b rows between 1 preceding and 1 following ) ,
2071 last_value(b) over (partition by a order by b rows between unbounded preceding and 1 following ) ,
2072 last_value(b, true) over (partition by a order by b rows between unbounded preceding and 1 following ) 
2073 from wtest
2074 PREHOOK: type: QUERY
2075 PREHOOK: Input: default@wtest
2076 #### A masked pattern was here ####
2077 POSTHOOK: query: select a, b,
2078 last_value(b) over (partition by a order by b rows between 1 preceding and 1 following ) ,
2079 last_value(b, true) over (partition by a order by b rows between 1 preceding and 1 following ) ,
2080 last_value(b) over (partition by a order by b rows between unbounded preceding and 1 following ) ,
2081 last_value(b, true) over (partition by a order by b rows between unbounded preceding and 1 following ) 
2082 from wtest
2083 POSTHOOK: type: QUERY
2084 POSTHOOK: Input: default@wtest
2085 #### A masked pattern was here ####
2086 a       b       last_value_window_0     last_value_window_1     last_value_window_2     last_value_window_3
2087 1       NULL    NULL    NULL    NULL    NULL
2088 1       NULL    NULL    NULL    NULL    NULL
2089 1       NULL    NULL    NULL    NULL    NULL
2090 1       NULL    NULL    NULL    NULL    NULL
2091 1       NULL    NULL    NULL    NULL    NULL
2092 2       NULL    NULL    NULL    NULL    NULL
2093 2       NULL    1       1       1       1
2094 2       1       2       2       2       2
2095 2       2       3       3       3       3
2096 2       3       3       3       3       3
2097 3       1       2       2       2       2
2098 3       2       3       3       3       3
2099 3       3       4       4       4       4
2100 3       4       5       5       5       5
2101 3       5       5       5       5       5
2102 PREHOOK: query: explain vectorization detail
2103 select a, b,
2104 last_value(b) over (partition by a order by b desc  rows between 1 preceding and 1 following ) ,
2105 last_value(b, true) over (partition by a order by b desc rows between 1 preceding and 1 following ) ,
2106 last_value(b) over (partition by a order by b desc rows between unbounded preceding and 1 following ) ,
2107 last_value(b, true) over (partition by a order by b desc rows between unbounded preceding and 1 following ) 
2108 from wtest
2109 PREHOOK: type: QUERY
2110 POSTHOOK: query: explain vectorization detail
2111 select a, b,
2112 last_value(b) over (partition by a order by b desc  rows between 1 preceding and 1 following ) ,
2113 last_value(b, true) over (partition by a order by b desc rows between 1 preceding and 1 following ) ,
2114 last_value(b) over (partition by a order by b desc rows between unbounded preceding and 1 following ) ,
2115 last_value(b, true) over (partition by a order by b desc rows between unbounded preceding and 1 following ) 
2116 from wtest
2117 POSTHOOK: type: QUERY
2118 Explain
2119 PLAN VECTORIZATION:
2120   enabled: true
2121   enabledConditionsMet: [hive.vectorized.execution.enabled IS true]
2122
2123 STAGE DEPENDENCIES:
2124   Stage-1 is a root stage
2125   Stage-0 depends on stages: Stage-1
2126
2127 STAGE PLANS:
2128   Stage: Stage-1
2129     Tez
2130 #### A masked pattern was here ####
2131       Edges:
2132         Reducer 2 <- Map 1 (SIMPLE_EDGE)
2133 #### A masked pattern was here ####
2134       Vertices:
2135         Map 1 
2136             Map Operator Tree:
2137                 TableScan
2138                   alias: wtest
2139                   Statistics: Num rows: 15 Data size: 120 Basic stats: COMPLETE Column stats: NONE
2140                   TableScan Vectorization:
2141                       native: true
2142                       vectorizationSchemaColumns: [0:a:int, 1:b:int, 2:ROW__ID:struct<transactionid:bigint,bucketid:int,rowid:bigint>]
2143                   Reduce Output Operator
2144                     key expressions: a (type: int), b (type: int)
2145                     sort order: +-
2146                     Map-reduce partition columns: a (type: int)
2147                     Reduce Sink Vectorization:
2148                         className: VectorReduceSinkObjectHashOperator
2149                         keyColumnNums: [0, 1]
2150                         native: true
2151                         nativeConditionsMet: hive.vectorized.execution.reducesink.new.enabled IS true, hive.execution.engine tez IN [tez, spark] IS true, No PTF TopN IS true, No DISTINCT columns IS true, BinarySortableSerDe for keys IS true, LazyBinarySerDe for values IS true
2152                         partitionColumnNums: [0]
2153                         valueColumnNums: []
2154                     Statistics: Num rows: 15 Data size: 120 Basic stats: COMPLETE Column stats: NONE
2155             Execution mode: vectorized, llap
2156             LLAP IO: no inputs
2157             Map Vectorization:
2158                 enabled: true
2159                 enabledConditionsMet: hive.vectorized.use.vector.serde.deserialize IS true
2160                 inputFormatFeatureSupport: [DECIMAL_64]
2161                 vectorizationSupportRemovedReasons: [DECIMAL_64 disabled because LLAP is enabled]
2162                 featureSupportInUse: []
2163                 inputFileFormats: org.apache.hadoop.mapred.TextInputFormat
2164                 allNative: true
2165                 usesVectorUDFAdaptor: false
2166                 vectorized: true
2167                 rowBatchContext:
2168                     dataColumnCount: 2
2169                     includeColumns: [0, 1]
2170                     dataColumns: a:int, b:int
2171                     partitionColumnCount: 0
2172                     scratchColumnTypeNames: []
2173         Reducer 2 
2174             Execution mode: llap
2175             Reduce Vectorization:
2176                 enabled: true
2177                 enableConditionsMet: hive.vectorized.execution.reduce.enabled IS true, hive.execution.engine tez IN [tez, spark] IS true
2178                 notVectorizedReason: PTF operator: last_value only UNBOUNDED start frame is supported
2179                 vectorized: false
2180             Reduce Operator Tree:
2181               Select Operator
2182                 expressions: KEY.reducesinkkey0 (type: int), KEY.reducesinkkey1 (type: int)
2183                 outputColumnNames: _col0, _col1
2184                 Statistics: Num rows: 15 Data size: 120 Basic stats: COMPLETE Column stats: NONE
2185                 PTF Operator
2186                   Function definitions:
2187                       Input definition
2188                         input alias: ptf_0
2189                         output shape: _col0: int, _col1: int
2190                         type: WINDOWING
2191                       Windowing table definition
2192                         input alias: ptf_1
2193                         name: windowingtablefunction
2194                         order by: _col1 DESC NULLS LAST
2195                         partition by: _col0
2196                         raw input shape:
2197                         window functions:
2198                             window function definition
2199                               alias: last_value_window_0
2200                               arguments: _col1
2201                               name: last_value
2202                               window function: GenericUDAFLastValueEvaluator
2203                               window frame: ROWS PRECEDING(1)~FOLLOWING(1)
2204                             window function definition
2205                               alias: last_value_window_1
2206                               arguments: _col1, true
2207                               name: last_value
2208                               window function: GenericUDAFLastValueEvaluator
2209                               window frame: ROWS PRECEDING(1)~FOLLOWING(1)
2210                             window function definition
2211                               alias: last_value_window_2
2212                               arguments: _col1
2213                               name: last_value
2214                               window function: GenericUDAFLastValueEvaluator
2215                               window frame: ROWS PRECEDING(MAX)~FOLLOWING(1)
2216                             window function definition
2217                               alias: last_value_window_3
2218                               arguments: _col1, true
2219                               name: last_value
2220                               window function: GenericUDAFLastValueEvaluator
2221                               window frame: ROWS PRECEDING(MAX)~FOLLOWING(1)
2222                   Statistics: Num rows: 15 Data size: 120 Basic stats: COMPLETE Column stats: NONE
2223                   Select Operator
2224                     expressions: _col0 (type: int), _col1 (type: int), last_value_window_0 (type: int), last_value_window_1 (type: int), last_value_window_2 (type: int), last_value_window_3 (type: int)
2225                     outputColumnNames: _col0, _col1, _col2, _col3, _col4, _col5
2226                     Statistics: Num rows: 15 Data size: 120 Basic stats: COMPLETE Column stats: NONE
2227                     File Output Operator
2228                       compressed: false
2229                       Statistics: Num rows: 15 Data size: 120 Basic stats: COMPLETE Column stats: NONE
2230                       table:
2231                           input format: org.apache.hadoop.mapred.SequenceFileInputFormat
2232                           output format: org.apache.hadoop.hive.ql.io.HiveSequenceFileOutputFormat
2233                           serde: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
2234
2235   Stage: Stage-0
2236     Fetch Operator
2237       limit: -1
2238       Processor Tree:
2239         ListSink
2240
2241 PREHOOK: query: select a, b,
2242 last_value(b) over (partition by a order by b desc  rows between 1 preceding and 1 following ) ,
2243 last_value(b, true) over (partition by a order by b desc rows between 1 preceding and 1 following ) ,
2244 last_value(b) over (partition by a order by b desc rows between unbounded preceding and 1 following ) ,
2245 last_value(b, true) over (partition by a order by b desc rows between unbounded preceding and 1 following ) 
2246 from wtest
2247 PREHOOK: type: QUERY
2248 PREHOOK: Input: default@wtest
2249 #### A masked pattern was here ####
2250 POSTHOOK: query: select a, b,
2251 last_value(b) over (partition by a order by b desc  rows between 1 preceding and 1 following ) ,
2252 last_value(b, true) over (partition by a order by b desc rows between 1 preceding and 1 following ) ,
2253 last_value(b) over (partition by a order by b desc rows between unbounded preceding and 1 following ) ,
2254 last_value(b, true) over (partition by a order by b desc rows between unbounded preceding and 1 following ) 
2255 from wtest
2256 POSTHOOK: type: QUERY
2257 POSTHOOK: Input: default@wtest
2258 #### A masked pattern was here ####
2259 a       b       last_value_window_0     last_value_window_1     last_value_window_2     last_value_window_3
2260 1       NULL    NULL    NULL    NULL    NULL
2261 1       NULL    NULL    NULL    NULL    NULL
2262 1       NULL    NULL    NULL    NULL    NULL
2263 1       NULL    NULL    NULL    NULL    NULL
2264 1       NULL    NULL    NULL    NULL    NULL
2265 2       3       2       2       2       2
2266 2       2       1       1       1       1
2267 2       1       NULL    1       NULL    1
2268 2       NULL    NULL    1       NULL    1
2269 2       NULL    NULL    NULL    NULL    1
2270 3       5       4       4       4       4
2271 3       4       3       3       3       3
2272 3       3       2       2       2       2
2273 3       2       1       1       1       1
2274 3       1       1       1       1       1