HIVE-18797 : ExprConstNodeDesc's getExprString should put appropriate qualifier with...
[hive.git] / ql / src / test / results / clientpositive / llap / dynpart_sort_opt_vectorization.q.out
1 PREHOOK: query: create table over1k(
2            t tinyint,
3            si smallint,
4            i int,
5            b bigint,
6            f float,
7            d double,
8            bo boolean,
9            s string,
10            ts timestamp,
11            `dec` decimal(4,2),
12            bin binary)
13        row format delimited
14        fields terminated by '|'
15 PREHOOK: type: CREATETABLE
16 PREHOOK: Output: database:default
17 PREHOOK: Output: default@over1k
18 POSTHOOK: query: create table over1k(
19            t tinyint,
20            si smallint,
21            i int,
22            b bigint,
23            f float,
24            d double,
25            bo boolean,
26            s string,
27            ts timestamp,
28            `dec` decimal(4,2),
29            bin binary)
30        row format delimited
31        fields terminated by '|'
32 POSTHOOK: type: CREATETABLE
33 POSTHOOK: Output: database:default
34 POSTHOOK: Output: default@over1k
35 PREHOOK: query: load data local inpath '../../data/files/over1k' into table over1k
36 PREHOOK: type: LOAD
37 #### A masked pattern was here ####
38 PREHOOK: Output: default@over1k
39 POSTHOOK: query: load data local inpath '../../data/files/over1k' into table over1k
40 POSTHOOK: type: LOAD
41 #### A masked pattern was here ####
42 POSTHOOK: Output: default@over1k
43 PREHOOK: query: create table over1k_orc like over1k
44 PREHOOK: type: CREATETABLE
45 PREHOOK: Output: database:default
46 PREHOOK: Output: default@over1k_orc
47 POSTHOOK: query: create table over1k_orc like over1k
48 POSTHOOK: type: CREATETABLE
49 POSTHOOK: Output: database:default
50 POSTHOOK: Output: default@over1k_orc
51 PREHOOK: query: alter table over1k_orc set fileformat orc
52 PREHOOK: type: ALTERTABLE_FILEFORMAT
53 PREHOOK: Input: default@over1k_orc
54 PREHOOK: Output: default@over1k_orc
55 POSTHOOK: query: alter table over1k_orc set fileformat orc
56 POSTHOOK: type: ALTERTABLE_FILEFORMAT
57 POSTHOOK: Input: default@over1k_orc
58 POSTHOOK: Output: default@over1k_orc
59 PREHOOK: query: insert overwrite table over1k_orc select * from over1k
60 PREHOOK: type: QUERY
61 PREHOOK: Input: default@over1k
62 PREHOOK: Output: default@over1k_orc
63 POSTHOOK: query: insert overwrite table over1k_orc select * from over1k
64 POSTHOOK: type: QUERY
65 POSTHOOK: Input: default@over1k
66 POSTHOOK: Output: default@over1k_orc
67 POSTHOOK: Lineage: over1k_orc.b SIMPLE [(over1k)over1k.FieldSchema(name:b, type:bigint, comment:null), ]
68 POSTHOOK: Lineage: over1k_orc.bin SIMPLE [(over1k)over1k.FieldSchema(name:bin, type:binary, comment:null), ]
69 POSTHOOK: Lineage: over1k_orc.bo SIMPLE [(over1k)over1k.FieldSchema(name:bo, type:boolean, comment:null), ]
70 POSTHOOK: Lineage: over1k_orc.d SIMPLE [(over1k)over1k.FieldSchema(name:d, type:double, comment:null), ]
71 POSTHOOK: Lineage: over1k_orc.dec SIMPLE [(over1k)over1k.FieldSchema(name:dec, type:decimal(4,2), comment:null), ]
72 POSTHOOK: Lineage: over1k_orc.f SIMPLE [(over1k)over1k.FieldSchema(name:f, type:float, comment:null), ]
73 POSTHOOK: Lineage: over1k_orc.i SIMPLE [(over1k)over1k.FieldSchema(name:i, type:int, comment:null), ]
74 POSTHOOK: Lineage: over1k_orc.s SIMPLE [(over1k)over1k.FieldSchema(name:s, type:string, comment:null), ]
75 POSTHOOK: Lineage: over1k_orc.si SIMPLE [(over1k)over1k.FieldSchema(name:si, type:smallint, comment:null), ]
76 POSTHOOK: Lineage: over1k_orc.t SIMPLE [(over1k)over1k.FieldSchema(name:t, type:tinyint, comment:null), ]
77 POSTHOOK: Lineage: over1k_orc.ts SIMPLE [(over1k)over1k.FieldSchema(name:ts, type:timestamp, comment:null), ]
78 PREHOOK: query: create table over1k_part_orc(
79            si smallint,
80            i int,
81            b bigint,
82            f float)
83        partitioned by (ds string, t tinyint) stored as orc
84 PREHOOK: type: CREATETABLE
85 PREHOOK: Output: database:default
86 PREHOOK: Output: default@over1k_part_orc
87 POSTHOOK: query: create table over1k_part_orc(
88            si smallint,
89            i int,
90            b bigint,
91            f float)
92        partitioned by (ds string, t tinyint) stored as orc
93 POSTHOOK: type: CREATETABLE
94 POSTHOOK: Output: database:default
95 POSTHOOK: Output: default@over1k_part_orc
96 PREHOOK: query: create table over1k_part_limit_orc like over1k_part_orc
97 PREHOOK: type: CREATETABLE
98 PREHOOK: Output: database:default
99 PREHOOK: Output: default@over1k_part_limit_orc
100 POSTHOOK: query: create table over1k_part_limit_orc like over1k_part_orc
101 POSTHOOK: type: CREATETABLE
102 POSTHOOK: Output: database:default
103 POSTHOOK: Output: default@over1k_part_limit_orc
104 PREHOOK: query: alter table over1k_part_limit_orc set fileformat orc
105 PREHOOK: type: ALTERTABLE_FILEFORMAT
106 PREHOOK: Input: default@over1k_part_limit_orc
107 PREHOOK: Output: default@over1k_part_limit_orc
108 POSTHOOK: query: alter table over1k_part_limit_orc set fileformat orc
109 POSTHOOK: type: ALTERTABLE_FILEFORMAT
110 POSTHOOK: Input: default@over1k_part_limit_orc
111 POSTHOOK: Output: default@over1k_part_limit_orc
112 PREHOOK: query: create table over1k_part_buck_orc(
113            si smallint,
114            i int,
115            b bigint,
116            f float)
117        partitioned by (t tinyint)
118        clustered by (si) into 4 buckets stored as orc
119 PREHOOK: type: CREATETABLE
120 PREHOOK: Output: database:default
121 PREHOOK: Output: default@over1k_part_buck_orc
122 POSTHOOK: query: create table over1k_part_buck_orc(
123            si smallint,
124            i int,
125            b bigint,
126            f float)
127        partitioned by (t tinyint)
128        clustered by (si) into 4 buckets stored as orc
129 POSTHOOK: type: CREATETABLE
130 POSTHOOK: Output: database:default
131 POSTHOOK: Output: default@over1k_part_buck_orc
132 PREHOOK: query: create table over1k_part_buck_sort_orc(
133            si smallint,
134            i int,
135            b bigint,
136            f float)
137        partitioned by (t tinyint)
138        clustered by (si) 
139        sorted by (f) into 4 buckets stored as orc
140 PREHOOK: type: CREATETABLE
141 PREHOOK: Output: database:default
142 PREHOOK: Output: default@over1k_part_buck_sort_orc
143 POSTHOOK: query: create table over1k_part_buck_sort_orc(
144            si smallint,
145            i int,
146            b bigint,
147            f float)
148        partitioned by (t tinyint)
149        clustered by (si) 
150        sorted by (f) into 4 buckets stored as orc
151 POSTHOOK: type: CREATETABLE
152 POSTHOOK: Output: database:default
153 POSTHOOK: Output: default@over1k_part_buck_sort_orc
154 PREHOOK: query: explain insert overwrite table over1k_part_orc partition(ds="foo", t) select si,i,b,f,t from over1k_orc where t is null or t=27 order by si
155 PREHOOK: type: QUERY
156 POSTHOOK: query: explain insert overwrite table over1k_part_orc partition(ds="foo", t) select si,i,b,f,t from over1k_orc where t is null or t=27 order by si
157 POSTHOOK: type: QUERY
158 STAGE DEPENDENCIES:
159   Stage-1 is a root stage
160   Stage-2 depends on stages: Stage-1
161   Stage-0 depends on stages: Stage-2
162   Stage-3 depends on stages: Stage-0
163
164 STAGE PLANS:
165   Stage: Stage-1
166     Tez
167 #### A masked pattern was here ####
168       Edges:
169         Reducer 2 <- Map 1 (SIMPLE_EDGE)
170 #### A masked pattern was here ####
171       Vertices:
172         Map 1 
173             Map Operator Tree:
174                 TableScan
175                   alias: over1k_orc
176                   Statistics: Num rows: 1049 Data size: 25160 Basic stats: COMPLETE Column stats: COMPLETE
177                   Filter Operator
178                     predicate: ((t = 27Y) or t is null) (type: boolean)
179                     Statistics: Num rows: 11 Data size: 264 Basic stats: COMPLETE Column stats: COMPLETE
180                     Select Operator
181                       expressions: si (type: smallint), i (type: int), b (type: bigint), f (type: float), t (type: tinyint)
182                       outputColumnNames: _col0, _col1, _col2, _col3, _col4
183                       Statistics: Num rows: 11 Data size: 264 Basic stats: COMPLETE Column stats: COMPLETE
184                       Reduce Output Operator
185                         key expressions: _col4 (type: tinyint), _col0 (type: smallint)
186                         sort order: ++
187                         Map-reduce partition columns: _col4 (type: tinyint)
188                         Statistics: Num rows: 11 Data size: 264 Basic stats: COMPLETE Column stats: COMPLETE
189                         value expressions: _col1 (type: int), _col2 (type: bigint), _col3 (type: float)
190             Execution mode: vectorized, llap
191             LLAP IO: all inputs
192         Reducer 2 
193             Execution mode: vectorized, llap
194             Reduce Operator Tree:
195               Select Operator
196                 expressions: KEY._col0 (type: smallint), VALUE._col1 (type: int), VALUE._col2 (type: bigint), VALUE._col3 (type: float), KEY._col4 (type: tinyint)
197                 outputColumnNames: _col0, _col1, _col2, _col3, _col4
198                 Statistics: Num rows: 11 Data size: 264 Basic stats: COMPLETE Column stats: COMPLETE
199                 File Output Operator
200                   compressed: false
201                   Dp Sort State: PARTITION_SORTED
202                   Statistics: Num rows: 11 Data size: 264 Basic stats: COMPLETE Column stats: COMPLETE
203                   table:
204                       input format: org.apache.hadoop.hive.ql.io.orc.OrcInputFormat
205                       output format: org.apache.hadoop.hive.ql.io.orc.OrcOutputFormat
206                       serde: org.apache.hadoop.hive.ql.io.orc.OrcSerde
207                       name: default.over1k_part_orc
208
209   Stage: Stage-2
210     Dependency Collection
211
212   Stage: Stage-0
213     Move Operator
214       tables:
215           partition:
216             ds foo
217             t 
218           replace: true
219           table:
220               input format: org.apache.hadoop.hive.ql.io.orc.OrcInputFormat
221               output format: org.apache.hadoop.hive.ql.io.orc.OrcOutputFormat
222               serde: org.apache.hadoop.hive.ql.io.orc.OrcSerde
223               name: default.over1k_part_orc
224
225   Stage: Stage-3
226     Stats Work
227       Basic Stats Work:
228       Column Stats Desc:
229           Columns: si, i, b, f
230           Column Types: smallint, int, bigint, float
231           Table: default.over1k_part_orc
232
233 PREHOOK: query: explain insert overwrite table over1k_part_limit_orc partition(ds="foo", t) select si,i,b,f,t from over1k_orc where t is null or t=27 limit 10
234 PREHOOK: type: QUERY
235 POSTHOOK: query: explain insert overwrite table over1k_part_limit_orc partition(ds="foo", t) select si,i,b,f,t from over1k_orc where t is null or t=27 limit 10
236 POSTHOOK: type: QUERY
237 STAGE DEPENDENCIES:
238   Stage-1 is a root stage
239   Stage-2 depends on stages: Stage-1
240   Stage-0 depends on stages: Stage-2
241   Stage-3 depends on stages: Stage-0
242
243 STAGE PLANS:
244   Stage: Stage-1
245     Tez
246 #### A masked pattern was here ####
247       Edges:
248         Reducer 2 <- Map 1 (CUSTOM_SIMPLE_EDGE)
249         Reducer 3 <- Reducer 2 (SIMPLE_EDGE)
250 #### A masked pattern was here ####
251       Vertices:
252         Map 1 
253             Map Operator Tree:
254                 TableScan
255                   alias: over1k_orc
256                   Statistics: Num rows: 1049 Data size: 25160 Basic stats: COMPLETE Column stats: COMPLETE
257                   Filter Operator
258                     predicate: ((t = 27Y) or t is null) (type: boolean)
259                     Statistics: Num rows: 11 Data size: 264 Basic stats: COMPLETE Column stats: COMPLETE
260                     Select Operator
261                       expressions: si (type: smallint), i (type: int), b (type: bigint), f (type: float), t (type: tinyint)
262                       outputColumnNames: _col0, _col1, _col2, _col3, _col4
263                       Statistics: Num rows: 11 Data size: 264 Basic stats: COMPLETE Column stats: COMPLETE
264                       Limit
265                         Number of rows: 10
266                         Statistics: Num rows: 10 Data size: 240 Basic stats: COMPLETE Column stats: COMPLETE
267                         Reduce Output Operator
268                           sort order: 
269                           Statistics: Num rows: 10 Data size: 240 Basic stats: COMPLETE Column stats: COMPLETE
270                           TopN Hash Memory Usage: 0.1
271                           value expressions: _col0 (type: smallint), _col1 (type: int), _col2 (type: bigint), _col3 (type: float), _col4 (type: tinyint)
272             Execution mode: vectorized, llap
273             LLAP IO: all inputs
274         Reducer 2 
275             Execution mode: vectorized, llap
276             Reduce Operator Tree:
277               Select Operator
278                 expressions: VALUE._col0 (type: smallint), VALUE._col1 (type: int), VALUE._col2 (type: bigint), VALUE._col3 (type: float), VALUE._col4 (type: tinyint)
279                 outputColumnNames: _col0, _col1, _col2, _col3, _col4
280                 Statistics: Num rows: 10 Data size: 240 Basic stats: COMPLETE Column stats: COMPLETE
281                 Limit
282                   Number of rows: 10
283                   Statistics: Num rows: 10 Data size: 240 Basic stats: COMPLETE Column stats: COMPLETE
284                   Reduce Output Operator
285                     key expressions: _col4 (type: tinyint)
286                     sort order: +
287                     Map-reduce partition columns: _col4 (type: tinyint)
288                     Statistics: Num rows: 10 Data size: 240 Basic stats: COMPLETE Column stats: COMPLETE
289                     value expressions: _col0 (type: smallint), _col1 (type: int), _col2 (type: bigint), _col3 (type: float)
290         Reducer 3 
291             Execution mode: vectorized, llap
292             Reduce Operator Tree:
293               Select Operator
294                 expressions: VALUE._col0 (type: smallint), VALUE._col1 (type: int), VALUE._col2 (type: bigint), VALUE._col3 (type: float), KEY._col4 (type: tinyint)
295                 outputColumnNames: _col0, _col1, _col2, _col3, _col4
296                 Statistics: Num rows: 10 Data size: 240 Basic stats: COMPLETE Column stats: COMPLETE
297                 File Output Operator
298                   compressed: false
299                   Dp Sort State: PARTITION_SORTED
300                   Statistics: Num rows: 10 Data size: 240 Basic stats: COMPLETE Column stats: COMPLETE
301                   table:
302                       input format: org.apache.hadoop.hive.ql.io.orc.OrcInputFormat
303                       output format: org.apache.hadoop.hive.ql.io.orc.OrcOutputFormat
304                       serde: org.apache.hadoop.hive.ql.io.orc.OrcSerde
305                       name: default.over1k_part_limit_orc
306
307   Stage: Stage-2
308     Dependency Collection
309
310   Stage: Stage-0
311     Move Operator
312       tables:
313           partition:
314             ds foo
315             t 
316           replace: true
317           table:
318               input format: org.apache.hadoop.hive.ql.io.orc.OrcInputFormat
319               output format: org.apache.hadoop.hive.ql.io.orc.OrcOutputFormat
320               serde: org.apache.hadoop.hive.ql.io.orc.OrcSerde
321               name: default.over1k_part_limit_orc
322
323   Stage: Stage-3
324     Stats Work
325       Basic Stats Work:
326       Column Stats Desc:
327           Columns: si, i, b, f
328           Column Types: smallint, int, bigint, float
329           Table: default.over1k_part_limit_orc
330
331 PREHOOK: query: explain insert overwrite table over1k_part_buck_orc partition(t) select si,i,b,f,t from over1k_orc where t is null or t=27
332 PREHOOK: type: QUERY
333 POSTHOOK: query: explain insert overwrite table over1k_part_buck_orc partition(t) select si,i,b,f,t from over1k_orc where t is null or t=27
334 POSTHOOK: type: QUERY
335 STAGE DEPENDENCIES:
336   Stage-1 is a root stage
337   Stage-2 depends on stages: Stage-1
338   Stage-0 depends on stages: Stage-2
339   Stage-3 depends on stages: Stage-0
340
341 STAGE PLANS:
342   Stage: Stage-1
343     Tez
344 #### A masked pattern was here ####
345       Edges:
346         Reducer 2 <- Map 1 (SIMPLE_EDGE)
347 #### A masked pattern was here ####
348       Vertices:
349         Map 1 
350             Map Operator Tree:
351                 TableScan
352                   alias: over1k_orc
353                   Statistics: Num rows: 1049 Data size: 25160 Basic stats: COMPLETE Column stats: COMPLETE
354                   Filter Operator
355                     predicate: ((t = 27Y) or t is null) (type: boolean)
356                     Statistics: Num rows: 11 Data size: 264 Basic stats: COMPLETE Column stats: COMPLETE
357                     Select Operator
358                       expressions: si (type: smallint), i (type: int), b (type: bigint), f (type: float), t (type: tinyint)
359                       outputColumnNames: _col0, _col1, _col2, _col3, _col4
360                       Statistics: Num rows: 11 Data size: 264 Basic stats: COMPLETE Column stats: COMPLETE
361                       Reduce Output Operator
362                         key expressions: _col4 (type: tinyint), '_bucket_number' (type: string)
363                         sort order: ++
364                         Map-reduce partition columns: _col4 (type: tinyint)
365                         Statistics: Num rows: 11 Data size: 264 Basic stats: COMPLETE Column stats: COMPLETE
366                         value expressions: _col0 (type: smallint), _col1 (type: int), _col2 (type: bigint), _col3 (type: float)
367             Execution mode: vectorized, llap
368             LLAP IO: all inputs
369         Reducer 2 
370             Execution mode: vectorized, llap
371             Reduce Operator Tree:
372               Select Operator
373                 expressions: VALUE._col0 (type: smallint), VALUE._col1 (type: int), VALUE._col2 (type: bigint), VALUE._col3 (type: float), KEY._col4 (type: tinyint), KEY.'_bucket_number' (type: string)
374                 outputColumnNames: _col0, _col1, _col2, _col3, _col4, '_bucket_number'
375                 Statistics: Num rows: 11 Data size: 1342 Basic stats: COMPLETE Column stats: COMPLETE
376                 File Output Operator
377                   compressed: false
378                   Dp Sort State: PARTITION_BUCKET_SORTED
379                   Statistics: Num rows: 11 Data size: 1342 Basic stats: COMPLETE Column stats: COMPLETE
380                   table:
381                       input format: org.apache.hadoop.hive.ql.io.orc.OrcInputFormat
382                       output format: org.apache.hadoop.hive.ql.io.orc.OrcOutputFormat
383                       serde: org.apache.hadoop.hive.ql.io.orc.OrcSerde
384                       name: default.over1k_part_buck_orc
385
386   Stage: Stage-2
387     Dependency Collection
388
389   Stage: Stage-0
390     Move Operator
391       tables:
392           partition:
393             t 
394           replace: true
395           table:
396               input format: org.apache.hadoop.hive.ql.io.orc.OrcInputFormat
397               output format: org.apache.hadoop.hive.ql.io.orc.OrcOutputFormat
398               serde: org.apache.hadoop.hive.ql.io.orc.OrcSerde
399               name: default.over1k_part_buck_orc
400
401   Stage: Stage-3
402     Stats Work
403       Basic Stats Work:
404       Column Stats Desc:
405           Columns: si, i, b, f
406           Column Types: smallint, int, bigint, float
407           Table: default.over1k_part_buck_orc
408
409 PREHOOK: query: explain insert overwrite table over1k_part_buck_sort_orc partition(t) select si,i,b,f,t from over1k_orc where t is null or t=27
410 PREHOOK: type: QUERY
411 POSTHOOK: query: explain insert overwrite table over1k_part_buck_sort_orc partition(t) select si,i,b,f,t from over1k_orc where t is null or t=27
412 POSTHOOK: type: QUERY
413 STAGE DEPENDENCIES:
414   Stage-1 is a root stage
415   Stage-2 depends on stages: Stage-1
416   Stage-0 depends on stages: Stage-2
417   Stage-3 depends on stages: Stage-0
418
419 STAGE PLANS:
420   Stage: Stage-1
421     Tez
422 #### A masked pattern was here ####
423       Edges:
424         Reducer 2 <- Map 1 (SIMPLE_EDGE)
425 #### A masked pattern was here ####
426       Vertices:
427         Map 1 
428             Map Operator Tree:
429                 TableScan
430                   alias: over1k_orc
431                   Statistics: Num rows: 1049 Data size: 25160 Basic stats: COMPLETE Column stats: COMPLETE
432                   Filter Operator
433                     predicate: ((t = 27Y) or t is null) (type: boolean)
434                     Statistics: Num rows: 11 Data size: 264 Basic stats: COMPLETE Column stats: COMPLETE
435                     Select Operator
436                       expressions: si (type: smallint), i (type: int), b (type: bigint), f (type: float), t (type: tinyint)
437                       outputColumnNames: _col0, _col1, _col2, _col3, _col4
438                       Statistics: Num rows: 11 Data size: 264 Basic stats: COMPLETE Column stats: COMPLETE
439                       Reduce Output Operator
440                         key expressions: _col4 (type: tinyint), '_bucket_number' (type: string), _col3 (type: float)
441                         sort order: +++
442                         Map-reduce partition columns: _col4 (type: tinyint)
443                         Statistics: Num rows: 11 Data size: 264 Basic stats: COMPLETE Column stats: COMPLETE
444                         value expressions: _col0 (type: smallint), _col1 (type: int), _col2 (type: bigint)
445             Execution mode: vectorized, llap
446             LLAP IO: all inputs
447         Reducer 2 
448             Execution mode: vectorized, llap
449             Reduce Operator Tree:
450               Select Operator
451                 expressions: VALUE._col0 (type: smallint), VALUE._col1 (type: int), VALUE._col2 (type: bigint), KEY._col3 (type: float), KEY._col4 (type: tinyint), KEY.'_bucket_number' (type: string)
452                 outputColumnNames: _col0, _col1, _col2, _col3, _col4, '_bucket_number'
453                 Statistics: Num rows: 11 Data size: 1342 Basic stats: COMPLETE Column stats: COMPLETE
454                 File Output Operator
455                   compressed: false
456                   Dp Sort State: PARTITION_BUCKET_SORTED
457                   Statistics: Num rows: 11 Data size: 1342 Basic stats: COMPLETE Column stats: COMPLETE
458                   table:
459                       input format: org.apache.hadoop.hive.ql.io.orc.OrcInputFormat
460                       output format: org.apache.hadoop.hive.ql.io.orc.OrcOutputFormat
461                       serde: org.apache.hadoop.hive.ql.io.orc.OrcSerde
462                       name: default.over1k_part_buck_sort_orc
463
464   Stage: Stage-2
465     Dependency Collection
466
467   Stage: Stage-0
468     Move Operator
469       tables:
470           partition:
471             t 
472           replace: true
473           table:
474               input format: org.apache.hadoop.hive.ql.io.orc.OrcInputFormat
475               output format: org.apache.hadoop.hive.ql.io.orc.OrcOutputFormat
476               serde: org.apache.hadoop.hive.ql.io.orc.OrcSerde
477               name: default.over1k_part_buck_sort_orc
478
479   Stage: Stage-3
480     Stats Work
481       Basic Stats Work:
482       Column Stats Desc:
483           Columns: si, i, b, f
484           Column Types: smallint, int, bigint, float
485           Table: default.over1k_part_buck_sort_orc
486
487 PREHOOK: query: insert overwrite table over1k_part_orc partition(ds="foo", t) select si,i,b,f,t from over1k_orc where t is null or t=27 order by si
488 PREHOOK: type: QUERY
489 PREHOOK: Input: default@over1k_orc
490 PREHOOK: Output: default@over1k_part_orc@ds=foo
491 POSTHOOK: query: insert overwrite table over1k_part_orc partition(ds="foo", t) select si,i,b,f,t from over1k_orc where t is null or t=27 order by si
492 POSTHOOK: type: QUERY
493 POSTHOOK: Input: default@over1k_orc
494 POSTHOOK: Output: default@over1k_part_orc@ds=foo/t=27
495 POSTHOOK: Output: default@over1k_part_orc@ds=foo/t=__HIVE_DEFAULT_PARTITION__
496 POSTHOOK: Lineage: over1k_part_orc PARTITION(ds=foo,t=27).b SIMPLE [(over1k_orc)over1k_orc.FieldSchema(name:b, type:bigint, comment:null), ]
497 POSTHOOK: Lineage: over1k_part_orc PARTITION(ds=foo,t=27).f SIMPLE [(over1k_orc)over1k_orc.FieldSchema(name:f, type:float, comment:null), ]
498 POSTHOOK: Lineage: over1k_part_orc PARTITION(ds=foo,t=27).i SIMPLE [(over1k_orc)over1k_orc.FieldSchema(name:i, type:int, comment:null), ]
499 POSTHOOK: Lineage: over1k_part_orc PARTITION(ds=foo,t=27).si SIMPLE [(over1k_orc)over1k_orc.FieldSchema(name:si, type:smallint, comment:null), ]
500 POSTHOOK: Lineage: over1k_part_orc PARTITION(ds=foo,t=__HIVE_DEFAULT_PARTITION__).b SIMPLE [(over1k_orc)over1k_orc.FieldSchema(name:b, type:bigint, comment:null), ]
501 POSTHOOK: Lineage: over1k_part_orc PARTITION(ds=foo,t=__HIVE_DEFAULT_PARTITION__).f SIMPLE [(over1k_orc)over1k_orc.FieldSchema(name:f, type:float, comment:null), ]
502 POSTHOOK: Lineage: over1k_part_orc PARTITION(ds=foo,t=__HIVE_DEFAULT_PARTITION__).i SIMPLE [(over1k_orc)over1k_orc.FieldSchema(name:i, type:int, comment:null), ]
503 POSTHOOK: Lineage: over1k_part_orc PARTITION(ds=foo,t=__HIVE_DEFAULT_PARTITION__).si SIMPLE [(over1k_orc)over1k_orc.FieldSchema(name:si, type:smallint, comment:null), ]
504 PREHOOK: query: insert overwrite table over1k_part_limit_orc partition(ds="foo", t) select si,i,b,f,t from over1k_orc where t is null or t=27 limit 10
505 PREHOOK: type: QUERY
506 PREHOOK: Input: default@over1k_orc
507 PREHOOK: Output: default@over1k_part_limit_orc@ds=foo
508 POSTHOOK: query: insert overwrite table over1k_part_limit_orc partition(ds="foo", t) select si,i,b,f,t from over1k_orc where t is null or t=27 limit 10
509 POSTHOOK: type: QUERY
510 POSTHOOK: Input: default@over1k_orc
511 POSTHOOK: Output: default@over1k_part_limit_orc@ds=foo/t=27
512 POSTHOOK: Output: default@over1k_part_limit_orc@ds=foo/t=__HIVE_DEFAULT_PARTITION__
513 POSTHOOK: Lineage: over1k_part_limit_orc PARTITION(ds=foo,t=27).b SIMPLE [(over1k_orc)over1k_orc.FieldSchema(name:b, type:bigint, comment:null), ]
514 POSTHOOK: Lineage: over1k_part_limit_orc PARTITION(ds=foo,t=27).f SIMPLE [(over1k_orc)over1k_orc.FieldSchema(name:f, type:float, comment:null), ]
515 POSTHOOK: Lineage: over1k_part_limit_orc PARTITION(ds=foo,t=27).i SIMPLE [(over1k_orc)over1k_orc.FieldSchema(name:i, type:int, comment:null), ]
516 POSTHOOK: Lineage: over1k_part_limit_orc PARTITION(ds=foo,t=27).si SIMPLE [(over1k_orc)over1k_orc.FieldSchema(name:si, type:smallint, comment:null), ]
517 POSTHOOK: Lineage: over1k_part_limit_orc PARTITION(ds=foo,t=__HIVE_DEFAULT_PARTITION__).b SIMPLE [(over1k_orc)over1k_orc.FieldSchema(name:b, type:bigint, comment:null), ]
518 POSTHOOK: Lineage: over1k_part_limit_orc PARTITION(ds=foo,t=__HIVE_DEFAULT_PARTITION__).f SIMPLE [(over1k_orc)over1k_orc.FieldSchema(name:f, type:float, comment:null), ]
519 POSTHOOK: Lineage: over1k_part_limit_orc PARTITION(ds=foo,t=__HIVE_DEFAULT_PARTITION__).i SIMPLE [(over1k_orc)over1k_orc.FieldSchema(name:i, type:int, comment:null), ]
520 POSTHOOK: Lineage: over1k_part_limit_orc PARTITION(ds=foo,t=__HIVE_DEFAULT_PARTITION__).si SIMPLE [(over1k_orc)over1k_orc.FieldSchema(name:si, type:smallint, comment:null), ]
521 PREHOOK: query: insert overwrite table over1k_part_buck_orc partition(t) select si,i,b,f,t from over1k_orc where t is null or t=27
522 PREHOOK: type: QUERY
523 PREHOOK: Input: default@over1k_orc
524 PREHOOK: Output: default@over1k_part_buck_orc
525 POSTHOOK: query: insert overwrite table over1k_part_buck_orc partition(t) select si,i,b,f,t from over1k_orc where t is null or t=27
526 POSTHOOK: type: QUERY
527 POSTHOOK: Input: default@over1k_orc
528 POSTHOOK: Output: default@over1k_part_buck_orc@t=27
529 POSTHOOK: Output: default@over1k_part_buck_orc@t=__HIVE_DEFAULT_PARTITION__
530 POSTHOOK: Lineage: over1k_part_buck_orc PARTITION(t=27).b SIMPLE [(over1k_orc)over1k_orc.FieldSchema(name:b, type:bigint, comment:null), ]
531 POSTHOOK: Lineage: over1k_part_buck_orc PARTITION(t=27).f SIMPLE [(over1k_orc)over1k_orc.FieldSchema(name:f, type:float, comment:null), ]
532 POSTHOOK: Lineage: over1k_part_buck_orc PARTITION(t=27).i SIMPLE [(over1k_orc)over1k_orc.FieldSchema(name:i, type:int, comment:null), ]
533 POSTHOOK: Lineage: over1k_part_buck_orc PARTITION(t=27).si SIMPLE [(over1k_orc)over1k_orc.FieldSchema(name:si, type:smallint, comment:null), ]
534 POSTHOOK: Lineage: over1k_part_buck_orc PARTITION(t=__HIVE_DEFAULT_PARTITION__).b SIMPLE [(over1k_orc)over1k_orc.FieldSchema(name:b, type:bigint, comment:null), ]
535 POSTHOOK: Lineage: over1k_part_buck_orc PARTITION(t=__HIVE_DEFAULT_PARTITION__).f SIMPLE [(over1k_orc)over1k_orc.FieldSchema(name:f, type:float, comment:null), ]
536 POSTHOOK: Lineage: over1k_part_buck_orc PARTITION(t=__HIVE_DEFAULT_PARTITION__).i SIMPLE [(over1k_orc)over1k_orc.FieldSchema(name:i, type:int, comment:null), ]
537 POSTHOOK: Lineage: over1k_part_buck_orc PARTITION(t=__HIVE_DEFAULT_PARTITION__).si SIMPLE [(over1k_orc)over1k_orc.FieldSchema(name:si, type:smallint, comment:null), ]
538 PREHOOK: query: insert overwrite table over1k_part_buck_sort_orc partition(t) select si,i,b,f,t from over1k_orc where t is null or t=27
539 PREHOOK: type: QUERY
540 PREHOOK: Input: default@over1k_orc
541 PREHOOK: Output: default@over1k_part_buck_sort_orc
542 POSTHOOK: query: insert overwrite table over1k_part_buck_sort_orc partition(t) select si,i,b,f,t from over1k_orc where t is null or t=27
543 POSTHOOK: type: QUERY
544 POSTHOOK: Input: default@over1k_orc
545 POSTHOOK: Output: default@over1k_part_buck_sort_orc@t=27
546 POSTHOOK: Output: default@over1k_part_buck_sort_orc@t=__HIVE_DEFAULT_PARTITION__
547 POSTHOOK: Lineage: over1k_part_buck_sort_orc PARTITION(t=27).b SIMPLE [(over1k_orc)over1k_orc.FieldSchema(name:b, type:bigint, comment:null), ]
548 POSTHOOK: Lineage: over1k_part_buck_sort_orc PARTITION(t=27).f SIMPLE [(over1k_orc)over1k_orc.FieldSchema(name:f, type:float, comment:null), ]
549 POSTHOOK: Lineage: over1k_part_buck_sort_orc PARTITION(t=27).i SIMPLE [(over1k_orc)over1k_orc.FieldSchema(name:i, type:int, comment:null), ]
550 POSTHOOK: Lineage: over1k_part_buck_sort_orc PARTITION(t=27).si SIMPLE [(over1k_orc)over1k_orc.FieldSchema(name:si, type:smallint, comment:null), ]
551 POSTHOOK: Lineage: over1k_part_buck_sort_orc PARTITION(t=__HIVE_DEFAULT_PARTITION__).b SIMPLE [(over1k_orc)over1k_orc.FieldSchema(name:b, type:bigint, comment:null), ]
552 POSTHOOK: Lineage: over1k_part_buck_sort_orc PARTITION(t=__HIVE_DEFAULT_PARTITION__).f SIMPLE [(over1k_orc)over1k_orc.FieldSchema(name:f, type:float, comment:null), ]
553 POSTHOOK: Lineage: over1k_part_buck_sort_orc PARTITION(t=__HIVE_DEFAULT_PARTITION__).i SIMPLE [(over1k_orc)over1k_orc.FieldSchema(name:i, type:int, comment:null), ]
554 POSTHOOK: Lineage: over1k_part_buck_sort_orc PARTITION(t=__HIVE_DEFAULT_PARTITION__).si SIMPLE [(over1k_orc)over1k_orc.FieldSchema(name:si, type:smallint, comment:null), ]
555 PREHOOK: query: explain insert into table over1k_part_orc partition(ds="foo", t) select si,i,b,f,t from over1k_orc where t is null or t=27 order by si
556 PREHOOK: type: QUERY
557 POSTHOOK: query: explain insert into table over1k_part_orc partition(ds="foo", t) select si,i,b,f,t from over1k_orc where t is null or t=27 order by si
558 POSTHOOK: type: QUERY
559 STAGE DEPENDENCIES:
560   Stage-1 is a root stage
561   Stage-2 depends on stages: Stage-1
562   Stage-0 depends on stages: Stage-2
563   Stage-3 depends on stages: Stage-0
564
565 STAGE PLANS:
566   Stage: Stage-1
567     Tez
568 #### A masked pattern was here ####
569       Edges:
570         Reducer 2 <- Map 1 (SIMPLE_EDGE)
571 #### A masked pattern was here ####
572       Vertices:
573         Map 1 
574             Map Operator Tree:
575                 TableScan
576                   alias: over1k_orc
577                   Statistics: Num rows: 1049 Data size: 25160 Basic stats: COMPLETE Column stats: COMPLETE
578                   Filter Operator
579                     predicate: ((t = 27Y) or t is null) (type: boolean)
580                     Statistics: Num rows: 11 Data size: 264 Basic stats: COMPLETE Column stats: COMPLETE
581                     Select Operator
582                       expressions: si (type: smallint), i (type: int), b (type: bigint), f (type: float), t (type: tinyint)
583                       outputColumnNames: _col0, _col1, _col2, _col3, _col4
584                       Statistics: Num rows: 11 Data size: 264 Basic stats: COMPLETE Column stats: COMPLETE
585                       Reduce Output Operator
586                         key expressions: _col4 (type: tinyint), _col0 (type: smallint)
587                         sort order: ++
588                         Map-reduce partition columns: _col4 (type: tinyint)
589                         Statistics: Num rows: 11 Data size: 264 Basic stats: COMPLETE Column stats: COMPLETE
590                         value expressions: _col1 (type: int), _col2 (type: bigint), _col3 (type: float)
591             Execution mode: vectorized, llap
592             LLAP IO: all inputs
593         Reducer 2 
594             Execution mode: vectorized, llap
595             Reduce Operator Tree:
596               Select Operator
597                 expressions: KEY._col0 (type: smallint), VALUE._col1 (type: int), VALUE._col2 (type: bigint), VALUE._col3 (type: float), KEY._col4 (type: tinyint)
598                 outputColumnNames: _col0, _col1, _col2, _col3, _col4
599                 Statistics: Num rows: 11 Data size: 264 Basic stats: COMPLETE Column stats: COMPLETE
600                 File Output Operator
601                   compressed: false
602                   Dp Sort State: PARTITION_SORTED
603                   Statistics: Num rows: 11 Data size: 264 Basic stats: COMPLETE Column stats: COMPLETE
604                   table:
605                       input format: org.apache.hadoop.hive.ql.io.orc.OrcInputFormat
606                       output format: org.apache.hadoop.hive.ql.io.orc.OrcOutputFormat
607                       serde: org.apache.hadoop.hive.ql.io.orc.OrcSerde
608                       name: default.over1k_part_orc
609
610   Stage: Stage-2
611     Dependency Collection
612
613   Stage: Stage-0
614     Move Operator
615       tables:
616           partition:
617             ds foo
618             t 
619           replace: false
620           table:
621               input format: org.apache.hadoop.hive.ql.io.orc.OrcInputFormat
622               output format: org.apache.hadoop.hive.ql.io.orc.OrcOutputFormat
623               serde: org.apache.hadoop.hive.ql.io.orc.OrcSerde
624               name: default.over1k_part_orc
625
626   Stage: Stage-3
627     Stats Work
628       Basic Stats Work:
629       Column Stats Desc:
630           Columns: si, i, b, f
631           Column Types: smallint, int, bigint, float
632           Table: default.over1k_part_orc
633
634 PREHOOK: query: explain insert into table over1k_part_limit_orc partition(ds="foo", t) select si,i,b,f,t from over1k_orc where t is null or t=27 limit 10
635 PREHOOK: type: QUERY
636 POSTHOOK: query: explain insert into table over1k_part_limit_orc partition(ds="foo", t) select si,i,b,f,t from over1k_orc where t is null or t=27 limit 10
637 POSTHOOK: type: QUERY
638 STAGE DEPENDENCIES:
639   Stage-1 is a root stage
640   Stage-2 depends on stages: Stage-1
641   Stage-0 depends on stages: Stage-2
642   Stage-3 depends on stages: Stage-0
643
644 STAGE PLANS:
645   Stage: Stage-1
646     Tez
647 #### A masked pattern was here ####
648       Edges:
649         Reducer 2 <- Map 1 (CUSTOM_SIMPLE_EDGE)
650         Reducer 3 <- Reducer 2 (SIMPLE_EDGE)
651 #### A masked pattern was here ####
652       Vertices:
653         Map 1 
654             Map Operator Tree:
655                 TableScan
656                   alias: over1k_orc
657                   Statistics: Num rows: 1049 Data size: 25160 Basic stats: COMPLETE Column stats: COMPLETE
658                   Filter Operator
659                     predicate: ((t = 27Y) or t is null) (type: boolean)
660                     Statistics: Num rows: 11 Data size: 264 Basic stats: COMPLETE Column stats: COMPLETE
661                     Select Operator
662                       expressions: si (type: smallint), i (type: int), b (type: bigint), f (type: float), t (type: tinyint)
663                       outputColumnNames: _col0, _col1, _col2, _col3, _col4
664                       Statistics: Num rows: 11 Data size: 264 Basic stats: COMPLETE Column stats: COMPLETE
665                       Limit
666                         Number of rows: 10
667                         Statistics: Num rows: 10 Data size: 240 Basic stats: COMPLETE Column stats: COMPLETE
668                         Reduce Output Operator
669                           sort order: 
670                           Statistics: Num rows: 10 Data size: 240 Basic stats: COMPLETE Column stats: COMPLETE
671                           TopN Hash Memory Usage: 0.1
672                           value expressions: _col0 (type: smallint), _col1 (type: int), _col2 (type: bigint), _col3 (type: float), _col4 (type: tinyint)
673             Execution mode: vectorized, llap
674             LLAP IO: all inputs
675         Reducer 2 
676             Execution mode: vectorized, llap
677             Reduce Operator Tree:
678               Select Operator
679                 expressions: VALUE._col0 (type: smallint), VALUE._col1 (type: int), VALUE._col2 (type: bigint), VALUE._col3 (type: float), VALUE._col4 (type: tinyint)
680                 outputColumnNames: _col0, _col1, _col2, _col3, _col4
681                 Statistics: Num rows: 10 Data size: 240 Basic stats: COMPLETE Column stats: COMPLETE
682                 Limit
683                   Number of rows: 10
684                   Statistics: Num rows: 10 Data size: 240 Basic stats: COMPLETE Column stats: COMPLETE
685                   Reduce Output Operator
686                     key expressions: _col4 (type: tinyint)
687                     sort order: +
688                     Map-reduce partition columns: _col4 (type: tinyint)
689                     Statistics: Num rows: 10 Data size: 240 Basic stats: COMPLETE Column stats: COMPLETE
690                     value expressions: _col0 (type: smallint), _col1 (type: int), _col2 (type: bigint), _col3 (type: float)
691         Reducer 3 
692             Execution mode: vectorized, llap
693             Reduce Operator Tree:
694               Select Operator
695                 expressions: VALUE._col0 (type: smallint), VALUE._col1 (type: int), VALUE._col2 (type: bigint), VALUE._col3 (type: float), KEY._col4 (type: tinyint)
696                 outputColumnNames: _col0, _col1, _col2, _col3, _col4
697                 Statistics: Num rows: 10 Data size: 240 Basic stats: COMPLETE Column stats: COMPLETE
698                 File Output Operator
699                   compressed: false
700                   Dp Sort State: PARTITION_SORTED
701                   Statistics: Num rows: 10 Data size: 240 Basic stats: COMPLETE Column stats: COMPLETE
702                   table:
703                       input format: org.apache.hadoop.hive.ql.io.orc.OrcInputFormat
704                       output format: org.apache.hadoop.hive.ql.io.orc.OrcOutputFormat
705                       serde: org.apache.hadoop.hive.ql.io.orc.OrcSerde
706                       name: default.over1k_part_limit_orc
707
708   Stage: Stage-2
709     Dependency Collection
710
711   Stage: Stage-0
712     Move Operator
713       tables:
714           partition:
715             ds foo
716             t 
717           replace: false
718           table:
719               input format: org.apache.hadoop.hive.ql.io.orc.OrcInputFormat
720               output format: org.apache.hadoop.hive.ql.io.orc.OrcOutputFormat
721               serde: org.apache.hadoop.hive.ql.io.orc.OrcSerde
722               name: default.over1k_part_limit_orc
723
724   Stage: Stage-3
725     Stats Work
726       Basic Stats Work:
727       Column Stats Desc:
728           Columns: si, i, b, f
729           Column Types: smallint, int, bigint, float
730           Table: default.over1k_part_limit_orc
731
732 PREHOOK: query: explain insert into table over1k_part_buck_orc partition(t) select si,i,b,f,t from over1k_orc where t is null or t=27
733 PREHOOK: type: QUERY
734 POSTHOOK: query: explain insert into table over1k_part_buck_orc partition(t) select si,i,b,f,t from over1k_orc where t is null or t=27
735 POSTHOOK: type: QUERY
736 STAGE DEPENDENCIES:
737   Stage-1 is a root stage
738   Stage-2 depends on stages: Stage-1
739   Stage-0 depends on stages: Stage-2
740   Stage-3 depends on stages: Stage-0
741
742 STAGE PLANS:
743   Stage: Stage-1
744     Tez
745 #### A masked pattern was here ####
746       Edges:
747         Reducer 2 <- Map 1 (SIMPLE_EDGE)
748 #### A masked pattern was here ####
749       Vertices:
750         Map 1 
751             Map Operator Tree:
752                 TableScan
753                   alias: over1k_orc
754                   Statistics: Num rows: 1049 Data size: 25160 Basic stats: COMPLETE Column stats: COMPLETE
755                   Filter Operator
756                     predicate: ((t = 27Y) or t is null) (type: boolean)
757                     Statistics: Num rows: 11 Data size: 264 Basic stats: COMPLETE Column stats: COMPLETE
758                     Select Operator
759                       expressions: si (type: smallint), i (type: int), b (type: bigint), f (type: float), t (type: tinyint)
760                       outputColumnNames: _col0, _col1, _col2, _col3, _col4
761                       Statistics: Num rows: 11 Data size: 264 Basic stats: COMPLETE Column stats: COMPLETE
762                       Reduce Output Operator
763                         key expressions: _col4 (type: tinyint), '_bucket_number' (type: string)
764                         sort order: ++
765                         Map-reduce partition columns: _col4 (type: tinyint)
766                         Statistics: Num rows: 11 Data size: 264 Basic stats: COMPLETE Column stats: COMPLETE
767                         value expressions: _col0 (type: smallint), _col1 (type: int), _col2 (type: bigint), _col3 (type: float)
768             Execution mode: vectorized, llap
769             LLAP IO: all inputs
770         Reducer 2 
771             Execution mode: vectorized, llap
772             Reduce Operator Tree:
773               Select Operator
774                 expressions: VALUE._col0 (type: smallint), VALUE._col1 (type: int), VALUE._col2 (type: bigint), VALUE._col3 (type: float), KEY._col4 (type: tinyint), KEY.'_bucket_number' (type: string)
775                 outputColumnNames: _col0, _col1, _col2, _col3, _col4, '_bucket_number'
776                 Statistics: Num rows: 11 Data size: 1342 Basic stats: COMPLETE Column stats: COMPLETE
777                 File Output Operator
778                   compressed: false
779                   Dp Sort State: PARTITION_BUCKET_SORTED
780                   Statistics: Num rows: 11 Data size: 1342 Basic stats: COMPLETE Column stats: COMPLETE
781                   table:
782                       input format: org.apache.hadoop.hive.ql.io.orc.OrcInputFormat
783                       output format: org.apache.hadoop.hive.ql.io.orc.OrcOutputFormat
784                       serde: org.apache.hadoop.hive.ql.io.orc.OrcSerde
785                       name: default.over1k_part_buck_orc
786
787   Stage: Stage-2
788     Dependency Collection
789
790   Stage: Stage-0
791     Move Operator
792       tables:
793           partition:
794             t 
795           replace: false
796           table:
797               input format: org.apache.hadoop.hive.ql.io.orc.OrcInputFormat
798               output format: org.apache.hadoop.hive.ql.io.orc.OrcOutputFormat
799               serde: org.apache.hadoop.hive.ql.io.orc.OrcSerde
800               name: default.over1k_part_buck_orc
801
802   Stage: Stage-3
803     Stats Work
804       Basic Stats Work:
805       Column Stats Desc:
806           Columns: si, i, b, f
807           Column Types: smallint, int, bigint, float
808           Table: default.over1k_part_buck_orc
809
810 PREHOOK: query: explain insert into table over1k_part_buck_sort_orc partition(t) select si,i,b,f,t from over1k_orc where t is null or t=27
811 PREHOOK: type: QUERY
812 POSTHOOK: query: explain insert into table over1k_part_buck_sort_orc partition(t) select si,i,b,f,t from over1k_orc where t is null or t=27
813 POSTHOOK: type: QUERY
814 STAGE DEPENDENCIES:
815   Stage-1 is a root stage
816   Stage-2 depends on stages: Stage-1
817   Stage-0 depends on stages: Stage-2
818   Stage-3 depends on stages: Stage-0
819
820 STAGE PLANS:
821   Stage: Stage-1
822     Tez
823 #### A masked pattern was here ####
824       Edges:
825         Reducer 2 <- Map 1 (SIMPLE_EDGE)
826 #### A masked pattern was here ####
827       Vertices:
828         Map 1 
829             Map Operator Tree:
830                 TableScan
831                   alias: over1k_orc
832                   Statistics: Num rows: 1049 Data size: 25160 Basic stats: COMPLETE Column stats: COMPLETE
833                   Filter Operator
834                     predicate: ((t = 27Y) or t is null) (type: boolean)
835                     Statistics: Num rows: 11 Data size: 264 Basic stats: COMPLETE Column stats: COMPLETE
836                     Select Operator
837                       expressions: si (type: smallint), i (type: int), b (type: bigint), f (type: float), t (type: tinyint)
838                       outputColumnNames: _col0, _col1, _col2, _col3, _col4
839                       Statistics: Num rows: 11 Data size: 264 Basic stats: COMPLETE Column stats: COMPLETE
840                       Reduce Output Operator
841                         key expressions: _col4 (type: tinyint), '_bucket_number' (type: string), _col3 (type: float)
842                         sort order: +++
843                         Map-reduce partition columns: _col4 (type: tinyint)
844                         Statistics: Num rows: 11 Data size: 264 Basic stats: COMPLETE Column stats: COMPLETE
845                         value expressions: _col0 (type: smallint), _col1 (type: int), _col2 (type: bigint)
846             Execution mode: vectorized, llap
847             LLAP IO: all inputs
848         Reducer 2 
849             Execution mode: vectorized, llap
850             Reduce Operator Tree:
851               Select Operator
852                 expressions: VALUE._col0 (type: smallint), VALUE._col1 (type: int), VALUE._col2 (type: bigint), KEY._col3 (type: float), KEY._col4 (type: tinyint), KEY.'_bucket_number' (type: string)
853                 outputColumnNames: _col0, _col1, _col2, _col3, _col4, '_bucket_number'
854                 Statistics: Num rows: 11 Data size: 1342 Basic stats: COMPLETE Column stats: COMPLETE
855                 File Output Operator
856                   compressed: false
857                   Dp Sort State: PARTITION_BUCKET_SORTED
858                   Statistics: Num rows: 11 Data size: 1342 Basic stats: COMPLETE Column stats: COMPLETE
859                   table:
860                       input format: org.apache.hadoop.hive.ql.io.orc.OrcInputFormat
861                       output format: org.apache.hadoop.hive.ql.io.orc.OrcOutputFormat
862                       serde: org.apache.hadoop.hive.ql.io.orc.OrcSerde
863                       name: default.over1k_part_buck_sort_orc
864
865   Stage: Stage-2
866     Dependency Collection
867
868   Stage: Stage-0
869     Move Operator
870       tables:
871           partition:
872             t 
873           replace: false
874           table:
875               input format: org.apache.hadoop.hive.ql.io.orc.OrcInputFormat
876               output format: org.apache.hadoop.hive.ql.io.orc.OrcOutputFormat
877               serde: org.apache.hadoop.hive.ql.io.orc.OrcSerde
878               name: default.over1k_part_buck_sort_orc
879
880   Stage: Stage-3
881     Stats Work
882       Basic Stats Work:
883       Column Stats Desc:
884           Columns: si, i, b, f
885           Column Types: smallint, int, bigint, float
886           Table: default.over1k_part_buck_sort_orc
887
888 PREHOOK: query: insert into table over1k_part_orc partition(ds="foo", t) select si,i,b,f,t from over1k_orc where t is null or t=27 order by si
889 PREHOOK: type: QUERY
890 PREHOOK: Input: default@over1k_orc
891 PREHOOK: Output: default@over1k_part_orc@ds=foo
892 POSTHOOK: query: insert into table over1k_part_orc partition(ds="foo", t) select si,i,b,f,t from over1k_orc where t is null or t=27 order by si
893 POSTHOOK: type: QUERY
894 POSTHOOK: Input: default@over1k_orc
895 POSTHOOK: Output: default@over1k_part_orc@ds=foo/t=27
896 POSTHOOK: Output: default@over1k_part_orc@ds=foo/t=__HIVE_DEFAULT_PARTITION__
897 POSTHOOK: Lineage: over1k_part_orc PARTITION(ds=foo,t=27).b SIMPLE [(over1k_orc)over1k_orc.FieldSchema(name:b, type:bigint, comment:null), ]
898 POSTHOOK: Lineage: over1k_part_orc PARTITION(ds=foo,t=27).f SIMPLE [(over1k_orc)over1k_orc.FieldSchema(name:f, type:float, comment:null), ]
899 POSTHOOK: Lineage: over1k_part_orc PARTITION(ds=foo,t=27).i SIMPLE [(over1k_orc)over1k_orc.FieldSchema(name:i, type:int, comment:null), ]
900 POSTHOOK: Lineage: over1k_part_orc PARTITION(ds=foo,t=27).si SIMPLE [(over1k_orc)over1k_orc.FieldSchema(name:si, type:smallint, comment:null), ]
901 POSTHOOK: Lineage: over1k_part_orc PARTITION(ds=foo,t=__HIVE_DEFAULT_PARTITION__).b SIMPLE [(over1k_orc)over1k_orc.FieldSchema(name:b, type:bigint, comment:null), ]
902 POSTHOOK: Lineage: over1k_part_orc PARTITION(ds=foo,t=__HIVE_DEFAULT_PARTITION__).f SIMPLE [(over1k_orc)over1k_orc.FieldSchema(name:f, type:float, comment:null), ]
903 POSTHOOK: Lineage: over1k_part_orc PARTITION(ds=foo,t=__HIVE_DEFAULT_PARTITION__).i SIMPLE [(over1k_orc)over1k_orc.FieldSchema(name:i, type:int, comment:null), ]
904 POSTHOOK: Lineage: over1k_part_orc PARTITION(ds=foo,t=__HIVE_DEFAULT_PARTITION__).si SIMPLE [(over1k_orc)over1k_orc.FieldSchema(name:si, type:smallint, comment:null), ]
905 PREHOOK: query: insert into table over1k_part_limit_orc partition(ds="foo", t) select si,i,b,f,t from over1k_orc where t is null or t=27 limit 10
906 PREHOOK: type: QUERY
907 PREHOOK: Input: default@over1k_orc
908 PREHOOK: Output: default@over1k_part_limit_orc@ds=foo
909 POSTHOOK: query: insert into table over1k_part_limit_orc partition(ds="foo", t) select si,i,b,f,t from over1k_orc where t is null or t=27 limit 10
910 POSTHOOK: type: QUERY
911 POSTHOOK: Input: default@over1k_orc
912 POSTHOOK: Output: default@over1k_part_limit_orc@ds=foo/t=27
913 POSTHOOK: Output: default@over1k_part_limit_orc@ds=foo/t=__HIVE_DEFAULT_PARTITION__
914 POSTHOOK: Lineage: over1k_part_limit_orc PARTITION(ds=foo,t=27).b SIMPLE [(over1k_orc)over1k_orc.FieldSchema(name:b, type:bigint, comment:null), ]
915 POSTHOOK: Lineage: over1k_part_limit_orc PARTITION(ds=foo,t=27).f SIMPLE [(over1k_orc)over1k_orc.FieldSchema(name:f, type:float, comment:null), ]
916 POSTHOOK: Lineage: over1k_part_limit_orc PARTITION(ds=foo,t=27).i SIMPLE [(over1k_orc)over1k_orc.FieldSchema(name:i, type:int, comment:null), ]
917 POSTHOOK: Lineage: over1k_part_limit_orc PARTITION(ds=foo,t=27).si SIMPLE [(over1k_orc)over1k_orc.FieldSchema(name:si, type:smallint, comment:null), ]
918 POSTHOOK: Lineage: over1k_part_limit_orc PARTITION(ds=foo,t=__HIVE_DEFAULT_PARTITION__).b SIMPLE [(over1k_orc)over1k_orc.FieldSchema(name:b, type:bigint, comment:null), ]
919 POSTHOOK: Lineage: over1k_part_limit_orc PARTITION(ds=foo,t=__HIVE_DEFAULT_PARTITION__).f SIMPLE [(over1k_orc)over1k_orc.FieldSchema(name:f, type:float, comment:null), ]
920 POSTHOOK: Lineage: over1k_part_limit_orc PARTITION(ds=foo,t=__HIVE_DEFAULT_PARTITION__).i SIMPLE [(over1k_orc)over1k_orc.FieldSchema(name:i, type:int, comment:null), ]
921 POSTHOOK: Lineage: over1k_part_limit_orc PARTITION(ds=foo,t=__HIVE_DEFAULT_PARTITION__).si SIMPLE [(over1k_orc)over1k_orc.FieldSchema(name:si, type:smallint, comment:null), ]
922 PREHOOK: query: insert into table over1k_part_buck_orc partition(t) select si,i,b,f,t from over1k_orc where t is null or t=27
923 PREHOOK: type: QUERY
924 PREHOOK: Input: default@over1k_orc
925 PREHOOK: Output: default@over1k_part_buck_orc
926 POSTHOOK: query: insert into table over1k_part_buck_orc partition(t) select si,i,b,f,t from over1k_orc where t is null or t=27
927 POSTHOOK: type: QUERY
928 POSTHOOK: Input: default@over1k_orc
929 POSTHOOK: Output: default@over1k_part_buck_orc@t=27
930 POSTHOOK: Output: default@over1k_part_buck_orc@t=__HIVE_DEFAULT_PARTITION__
931 POSTHOOK: Lineage: over1k_part_buck_orc PARTITION(t=27).b SIMPLE [(over1k_orc)over1k_orc.FieldSchema(name:b, type:bigint, comment:null), ]
932 POSTHOOK: Lineage: over1k_part_buck_orc PARTITION(t=27).f SIMPLE [(over1k_orc)over1k_orc.FieldSchema(name:f, type:float, comment:null), ]
933 POSTHOOK: Lineage: over1k_part_buck_orc PARTITION(t=27).i SIMPLE [(over1k_orc)over1k_orc.FieldSchema(name:i, type:int, comment:null), ]
934 POSTHOOK: Lineage: over1k_part_buck_orc PARTITION(t=27).si SIMPLE [(over1k_orc)over1k_orc.FieldSchema(name:si, type:smallint, comment:null), ]
935 POSTHOOK: Lineage: over1k_part_buck_orc PARTITION(t=__HIVE_DEFAULT_PARTITION__).b SIMPLE [(over1k_orc)over1k_orc.FieldSchema(name:b, type:bigint, comment:null), ]
936 POSTHOOK: Lineage: over1k_part_buck_orc PARTITION(t=__HIVE_DEFAULT_PARTITION__).f SIMPLE [(over1k_orc)over1k_orc.FieldSchema(name:f, type:float, comment:null), ]
937 POSTHOOK: Lineage: over1k_part_buck_orc PARTITION(t=__HIVE_DEFAULT_PARTITION__).i SIMPLE [(over1k_orc)over1k_orc.FieldSchema(name:i, type:int, comment:null), ]
938 POSTHOOK: Lineage: over1k_part_buck_orc PARTITION(t=__HIVE_DEFAULT_PARTITION__).si SIMPLE [(over1k_orc)over1k_orc.FieldSchema(name:si, type:smallint, comment:null), ]
939 PREHOOK: query: insert into table over1k_part_buck_sort_orc partition(t) select si,i,b,f,t from over1k_orc where t is null or t=27
940 PREHOOK: type: QUERY
941 PREHOOK: Input: default@over1k_orc
942 PREHOOK: Output: default@over1k_part_buck_sort_orc
943 POSTHOOK: query: insert into table over1k_part_buck_sort_orc partition(t) select si,i,b,f,t from over1k_orc where t is null or t=27
944 POSTHOOK: type: QUERY
945 POSTHOOK: Input: default@over1k_orc
946 POSTHOOK: Output: default@over1k_part_buck_sort_orc@t=27
947 POSTHOOK: Output: default@over1k_part_buck_sort_orc@t=__HIVE_DEFAULT_PARTITION__
948 POSTHOOK: Lineage: over1k_part_buck_sort_orc PARTITION(t=27).b SIMPLE [(over1k_orc)over1k_orc.FieldSchema(name:b, type:bigint, comment:null), ]
949 POSTHOOK: Lineage: over1k_part_buck_sort_orc PARTITION(t=27).f SIMPLE [(over1k_orc)over1k_orc.FieldSchema(name:f, type:float, comment:null), ]
950 POSTHOOK: Lineage: over1k_part_buck_sort_orc PARTITION(t=27).i SIMPLE [(over1k_orc)over1k_orc.FieldSchema(name:i, type:int, comment:null), ]
951 POSTHOOK: Lineage: over1k_part_buck_sort_orc PARTITION(t=27).si SIMPLE [(over1k_orc)over1k_orc.FieldSchema(name:si, type:smallint, comment:null), ]
952 POSTHOOK: Lineage: over1k_part_buck_sort_orc PARTITION(t=__HIVE_DEFAULT_PARTITION__).b SIMPLE [(over1k_orc)over1k_orc.FieldSchema(name:b, type:bigint, comment:null), ]
953 POSTHOOK: Lineage: over1k_part_buck_sort_orc PARTITION(t=__HIVE_DEFAULT_PARTITION__).f SIMPLE [(over1k_orc)over1k_orc.FieldSchema(name:f, type:float, comment:null), ]
954 POSTHOOK: Lineage: over1k_part_buck_sort_orc PARTITION(t=__HIVE_DEFAULT_PARTITION__).i SIMPLE [(over1k_orc)over1k_orc.FieldSchema(name:i, type:int, comment:null), ]
955 POSTHOOK: Lineage: over1k_part_buck_sort_orc PARTITION(t=__HIVE_DEFAULT_PARTITION__).si SIMPLE [(over1k_orc)over1k_orc.FieldSchema(name:si, type:smallint, comment:null), ]
956 PREHOOK: query: desc formatted over1k_part_orc partition(ds="foo",t=27)
957 PREHOOK: type: DESCTABLE
958 PREHOOK: Input: default@over1k_part_orc
959 POSTHOOK: query: desc formatted over1k_part_orc partition(ds="foo",t=27)
960 POSTHOOK: type: DESCTABLE
961 POSTHOOK: Input: default@over1k_part_orc
962 # col_name              data_type               comment             
963 si                      smallint                                    
964 i                       int                                         
965 b                       bigint                                      
966 f                       float                                       
967                  
968 # Partition Information          
969 # col_name              data_type               comment             
970 ds                      string                                      
971 t                       tinyint                                     
972                  
973 # Detailed Partition Information                 
974 Partition Value:        [foo, 27]                
975 Database:               default                  
976 Table:                  over1k_part_orc          
977 #### A masked pattern was here ####
978 Partition Parameters:            
979         COLUMN_STATS_ACCURATE   {\"BASIC_STATS\":\"true\",\"COLUMN_STATS\":{\"b\":\"true\",\"f\":\"true\",\"i\":\"true\",\"si\":\"true\"}}
980         numFiles                2                   
981         numRows                 32                  
982         rawDataSize             640                 
983         totalSize               1392                
984 #### A masked pattern was here ####
985                  
986 # Storage Information            
987 SerDe Library:          org.apache.hadoop.hive.ql.io.orc.OrcSerde        
988 InputFormat:            org.apache.hadoop.hive.ql.io.orc.OrcInputFormat  
989 OutputFormat:           org.apache.hadoop.hive.ql.io.orc.OrcOutputFormat         
990 Compressed:             No                       
991 Num Buckets:            -1                       
992 Bucket Columns:         []                       
993 Sort Columns:           []                       
994 Storage Desc Params:             
995         serialization.format    1                   
996 PREHOOK: query: desc formatted over1k_part_orc partition(ds="foo",t="__HIVE_DEFAULT_PARTITION__")
997 PREHOOK: type: DESCTABLE
998 PREHOOK: Input: default@over1k_part_orc
999 POSTHOOK: query: desc formatted over1k_part_orc partition(ds="foo",t="__HIVE_DEFAULT_PARTITION__")
1000 POSTHOOK: type: DESCTABLE
1001 POSTHOOK: Input: default@over1k_part_orc
1002 # col_name              data_type               comment             
1003 si                      smallint                                    
1004 i                       int                                         
1005 b                       bigint                                      
1006 f                       float                                       
1007                  
1008 # Partition Information          
1009 # col_name              data_type               comment             
1010 ds                      string                                      
1011 t                       tinyint                                     
1012                  
1013 # Detailed Partition Information                 
1014 Partition Value:        [foo, __HIVE_DEFAULT_PARTITION__]        
1015 Database:               default                  
1016 Table:                  over1k_part_orc          
1017 #### A masked pattern was here ####
1018 Partition Parameters:            
1019         COLUMN_STATS_ACCURATE   {\"BASIC_STATS\":\"true\",\"COLUMN_STATS\":{\"b\":\"true\",\"f\":\"true\",\"i\":\"true\",\"si\":\"true\"}}
1020         numFiles                2                   
1021         numRows                 6                   
1022         rawDataSize             120                 
1023         totalSize               1096                
1024 #### A masked pattern was here ####
1025                  
1026 # Storage Information            
1027 SerDe Library:          org.apache.hadoop.hive.ql.io.orc.OrcSerde        
1028 InputFormat:            org.apache.hadoop.hive.ql.io.orc.OrcInputFormat  
1029 OutputFormat:           org.apache.hadoop.hive.ql.io.orc.OrcOutputFormat         
1030 Compressed:             No                       
1031 Num Buckets:            -1                       
1032 Bucket Columns:         []                       
1033 Sort Columns:           []                       
1034 Storage Desc Params:             
1035         serialization.format    1                   
1036 PREHOOK: query: desc formatted over1k_part_limit_orc partition(ds="foo",t=27)
1037 PREHOOK: type: DESCTABLE
1038 PREHOOK: Input: default@over1k_part_limit_orc
1039 POSTHOOK: query: desc formatted over1k_part_limit_orc partition(ds="foo",t=27)
1040 POSTHOOK: type: DESCTABLE
1041 POSTHOOK: Input: default@over1k_part_limit_orc
1042 # col_name              data_type               comment             
1043 si                      smallint                                    
1044 i                       int                                         
1045 b                       bigint                                      
1046 f                       float                                       
1047                  
1048 # Partition Information          
1049 # col_name              data_type               comment             
1050 ds                      string                                      
1051 t                       tinyint                                     
1052                  
1053 # Detailed Partition Information                 
1054 Partition Value:        [foo, 27]                
1055 Database:               default                  
1056 Table:                  over1k_part_limit_orc    
1057 #### A masked pattern was here ####
1058 Partition Parameters:            
1059         COLUMN_STATS_ACCURATE   {\"BASIC_STATS\":\"true\",\"COLUMN_STATS\":{\"b\":\"true\",\"f\":\"true\",\"i\":\"true\",\"si\":\"true\"}}
1060         numFiles                2                   
1061         numRows                 14                  
1062         rawDataSize             280                 
1063         totalSize               1210                
1064 #### A masked pattern was here ####
1065                  
1066 # Storage Information            
1067 SerDe Library:          org.apache.hadoop.hive.ql.io.orc.OrcSerde        
1068 InputFormat:            org.apache.hadoop.hive.ql.io.orc.OrcInputFormat  
1069 OutputFormat:           org.apache.hadoop.hive.ql.io.orc.OrcOutputFormat         
1070 Compressed:             No                       
1071 Num Buckets:            -1                       
1072 Bucket Columns:         []                       
1073 Sort Columns:           []                       
1074 Storage Desc Params:             
1075         serialization.format    1                   
1076 PREHOOK: query: desc formatted over1k_part_limit_orc partition(ds="foo",t="__HIVE_DEFAULT_PARTITION__")
1077 PREHOOK: type: DESCTABLE
1078 PREHOOK: Input: default@over1k_part_limit_orc
1079 POSTHOOK: query: desc formatted over1k_part_limit_orc partition(ds="foo",t="__HIVE_DEFAULT_PARTITION__")
1080 POSTHOOK: type: DESCTABLE
1081 POSTHOOK: Input: default@over1k_part_limit_orc
1082 # col_name              data_type               comment             
1083 si                      smallint                                    
1084 i                       int                                         
1085 b                       bigint                                      
1086 f                       float                                       
1087                  
1088 # Partition Information          
1089 # col_name              data_type               comment             
1090 ds                      string                                      
1091 t                       tinyint                                     
1092                  
1093 # Detailed Partition Information                 
1094 Partition Value:        [foo, __HIVE_DEFAULT_PARTITION__]        
1095 Database:               default                  
1096 Table:                  over1k_part_limit_orc    
1097 #### A masked pattern was here ####
1098 Partition Parameters:            
1099         COLUMN_STATS_ACCURATE   {\"BASIC_STATS\":\"true\",\"COLUMN_STATS\":{\"b\":\"true\",\"f\":\"true\",\"i\":\"true\",\"si\":\"true\"}}
1100         numFiles                2                   
1101         numRows                 6                   
1102         rawDataSize             120                 
1103         totalSize               1096                
1104 #### A masked pattern was here ####
1105                  
1106 # Storage Information            
1107 SerDe Library:          org.apache.hadoop.hive.ql.io.orc.OrcSerde        
1108 InputFormat:            org.apache.hadoop.hive.ql.io.orc.OrcInputFormat  
1109 OutputFormat:           org.apache.hadoop.hive.ql.io.orc.OrcOutputFormat         
1110 Compressed:             No                       
1111 Num Buckets:            -1                       
1112 Bucket Columns:         []                       
1113 Sort Columns:           []                       
1114 Storage Desc Params:             
1115         serialization.format    1                   
1116 PREHOOK: query: desc formatted over1k_part_buck_orc partition(t=27)
1117 PREHOOK: type: DESCTABLE
1118 PREHOOK: Input: default@over1k_part_buck_orc
1119 POSTHOOK: query: desc formatted over1k_part_buck_orc partition(t=27)
1120 POSTHOOK: type: DESCTABLE
1121 POSTHOOK: Input: default@over1k_part_buck_orc
1122 # col_name              data_type               comment             
1123 si                      smallint                                    
1124 i                       int                                         
1125 b                       bigint                                      
1126 f                       float                                       
1127                  
1128 # Partition Information          
1129 # col_name              data_type               comment             
1130 t                       tinyint                                     
1131                  
1132 # Detailed Partition Information                 
1133 Partition Value:        [27]                     
1134 Database:               default                  
1135 Table:                  over1k_part_buck_orc     
1136 #### A masked pattern was here ####
1137 Partition Parameters:            
1138         COLUMN_STATS_ACCURATE   {\"BASIC_STATS\":\"true\",\"COLUMN_STATS\":{\"b\":\"true\",\"f\":\"true\",\"i\":\"true\",\"si\":\"true\"}}
1139         numFiles                2                   
1140         numRows                 32                  
1141         rawDataSize             640                 
1142         totalSize               1424                
1143 #### A masked pattern was here ####
1144                  
1145 # Storage Information            
1146 SerDe Library:          org.apache.hadoop.hive.ql.io.orc.OrcSerde        
1147 InputFormat:            org.apache.hadoop.hive.ql.io.orc.OrcInputFormat  
1148 OutputFormat:           org.apache.hadoop.hive.ql.io.orc.OrcOutputFormat         
1149 Compressed:             No                       
1150 Num Buckets:            4                        
1151 Bucket Columns:         [si]                     
1152 Sort Columns:           []                       
1153 Storage Desc Params:             
1154         serialization.format    1                   
1155 PREHOOK: query: desc formatted over1k_part_buck_orc partition(t="__HIVE_DEFAULT_PARTITION__")
1156 PREHOOK: type: DESCTABLE
1157 PREHOOK: Input: default@over1k_part_buck_orc
1158 POSTHOOK: query: desc formatted over1k_part_buck_orc partition(t="__HIVE_DEFAULT_PARTITION__")
1159 POSTHOOK: type: DESCTABLE
1160 POSTHOOK: Input: default@over1k_part_buck_orc
1161 # col_name              data_type               comment             
1162 si                      smallint                                    
1163 i                       int                                         
1164 b                       bigint                                      
1165 f                       float                                       
1166                  
1167 # Partition Information          
1168 # col_name              data_type               comment             
1169 t                       tinyint                                     
1170                  
1171 # Detailed Partition Information                 
1172 Partition Value:        [__HIVE_DEFAULT_PARTITION__]     
1173 Database:               default                  
1174 Table:                  over1k_part_buck_orc     
1175 #### A masked pattern was here ####
1176 Partition Parameters:            
1177         COLUMN_STATS_ACCURATE   {\"BASIC_STATS\":\"true\",\"COLUMN_STATS\":{\"b\":\"true\",\"f\":\"true\",\"i\":\"true\",\"si\":\"true\"}}
1178         numFiles                2                   
1179         numRows                 4                   
1180         rawDataSize             80                  
1181         totalSize               936                 
1182 #### A masked pattern was here ####
1183                  
1184 # Storage Information            
1185 SerDe Library:          org.apache.hadoop.hive.ql.io.orc.OrcSerde        
1186 InputFormat:            org.apache.hadoop.hive.ql.io.orc.OrcInputFormat  
1187 OutputFormat:           org.apache.hadoop.hive.ql.io.orc.OrcOutputFormat         
1188 Compressed:             No                       
1189 Num Buckets:            4                        
1190 Bucket Columns:         [si]                     
1191 Sort Columns:           []                       
1192 Storage Desc Params:             
1193         serialization.format    1                   
1194 PREHOOK: query: desc formatted over1k_part_buck_sort_orc partition(t=27)
1195 PREHOOK: type: DESCTABLE
1196 PREHOOK: Input: default@over1k_part_buck_sort_orc
1197 POSTHOOK: query: desc formatted over1k_part_buck_sort_orc partition(t=27)
1198 POSTHOOK: type: DESCTABLE
1199 POSTHOOK: Input: default@over1k_part_buck_sort_orc
1200 # col_name              data_type               comment             
1201 si                      smallint                                    
1202 i                       int                                         
1203 b                       bigint                                      
1204 f                       float                                       
1205                  
1206 # Partition Information          
1207 # col_name              data_type               comment             
1208 t                       tinyint                                     
1209                  
1210 # Detailed Partition Information                 
1211 Partition Value:        [27]                     
1212 Database:               default                  
1213 Table:                  over1k_part_buck_sort_orc        
1214 #### A masked pattern was here ####
1215 Partition Parameters:            
1216         COLUMN_STATS_ACCURATE   {\"BASIC_STATS\":\"true\",\"COLUMN_STATS\":{\"b\":\"true\",\"f\":\"true\",\"i\":\"true\",\"si\":\"true\"}}
1217         numFiles                2                   
1218         numRows                 32                  
1219         rawDataSize             640                 
1220         totalSize               1416                
1221 #### A masked pattern was here ####
1222                  
1223 # Storage Information            
1224 SerDe Library:          org.apache.hadoop.hive.ql.io.orc.OrcSerde        
1225 InputFormat:            org.apache.hadoop.hive.ql.io.orc.OrcInputFormat  
1226 OutputFormat:           org.apache.hadoop.hive.ql.io.orc.OrcOutputFormat         
1227 Compressed:             No                       
1228 Num Buckets:            4                        
1229 Bucket Columns:         [si]                     
1230 Sort Columns:           [Order(col:f, order:1)]  
1231 Storage Desc Params:             
1232         serialization.format    1                   
1233 PREHOOK: query: desc formatted over1k_part_buck_sort_orc partition(t="__HIVE_DEFAULT_PARTITION__")
1234 PREHOOK: type: DESCTABLE
1235 PREHOOK: Input: default@over1k_part_buck_sort_orc
1236 POSTHOOK: query: desc formatted over1k_part_buck_sort_orc partition(t="__HIVE_DEFAULT_PARTITION__")
1237 POSTHOOK: type: DESCTABLE
1238 POSTHOOK: Input: default@over1k_part_buck_sort_orc
1239 # col_name              data_type               comment             
1240 si                      smallint                                    
1241 i                       int                                         
1242 b                       bigint                                      
1243 f                       float                                       
1244                  
1245 # Partition Information          
1246 # col_name              data_type               comment             
1247 t                       tinyint                                     
1248                  
1249 # Detailed Partition Information                 
1250 Partition Value:        [__HIVE_DEFAULT_PARTITION__]     
1251 Database:               default                  
1252 Table:                  over1k_part_buck_sort_orc        
1253 #### A masked pattern was here ####
1254 Partition Parameters:            
1255         COLUMN_STATS_ACCURATE   {\"BASIC_STATS\":\"true\",\"COLUMN_STATS\":{\"b\":\"true\",\"f\":\"true\",\"i\":\"true\",\"si\":\"true\"}}
1256         numFiles                2                   
1257         numRows                 4                   
1258         rawDataSize             80                  
1259         totalSize               944                 
1260 #### A masked pattern was here ####
1261                  
1262 # Storage Information            
1263 SerDe Library:          org.apache.hadoop.hive.ql.io.orc.OrcSerde        
1264 InputFormat:            org.apache.hadoop.hive.ql.io.orc.OrcInputFormat  
1265 OutputFormat:           org.apache.hadoop.hive.ql.io.orc.OrcOutputFormat         
1266 Compressed:             No                       
1267 Num Buckets:            4                        
1268 Bucket Columns:         [si]                     
1269 Sort Columns:           [Order(col:f, order:1)]  
1270 Storage Desc Params:             
1271         serialization.format    1                   
1272 PREHOOK: query: select count(*) from over1k_part_orc
1273 PREHOOK: type: QUERY
1274 PREHOOK: Input: default@over1k_part_orc
1275 PREHOOK: Input: default@over1k_part_orc@ds=foo/t=27
1276 PREHOOK: Input: default@over1k_part_orc@ds=foo/t=__HIVE_DEFAULT_PARTITION__
1277 #### A masked pattern was here ####
1278 POSTHOOK: query: select count(*) from over1k_part_orc
1279 POSTHOOK: type: QUERY
1280 POSTHOOK: Input: default@over1k_part_orc
1281 POSTHOOK: Input: default@over1k_part_orc@ds=foo/t=27
1282 POSTHOOK: Input: default@over1k_part_orc@ds=foo/t=__HIVE_DEFAULT_PARTITION__
1283 #### A masked pattern was here ####
1284 38
1285 PREHOOK: query: select count(*) from over1k_part_limit_orc
1286 PREHOOK: type: QUERY
1287 PREHOOK: Input: default@over1k_part_limit_orc
1288 PREHOOK: Input: default@over1k_part_limit_orc@ds=foo/t=27
1289 PREHOOK: Input: default@over1k_part_limit_orc@ds=foo/t=__HIVE_DEFAULT_PARTITION__
1290 #### A masked pattern was here ####
1291 POSTHOOK: query: select count(*) from over1k_part_limit_orc
1292 POSTHOOK: type: QUERY
1293 POSTHOOK: Input: default@over1k_part_limit_orc
1294 POSTHOOK: Input: default@over1k_part_limit_orc@ds=foo/t=27
1295 POSTHOOK: Input: default@over1k_part_limit_orc@ds=foo/t=__HIVE_DEFAULT_PARTITION__
1296 #### A masked pattern was here ####
1297 20
1298 PREHOOK: query: select count(*) from over1k_part_buck_orc
1299 PREHOOK: type: QUERY
1300 PREHOOK: Input: default@over1k_part_buck_orc
1301 PREHOOK: Input: default@over1k_part_buck_orc@t=27
1302 PREHOOK: Input: default@over1k_part_buck_orc@t=__HIVE_DEFAULT_PARTITION__
1303 #### A masked pattern was here ####
1304 POSTHOOK: query: select count(*) from over1k_part_buck_orc
1305 POSTHOOK: type: QUERY
1306 POSTHOOK: Input: default@over1k_part_buck_orc
1307 POSTHOOK: Input: default@over1k_part_buck_orc@t=27
1308 POSTHOOK: Input: default@over1k_part_buck_orc@t=__HIVE_DEFAULT_PARTITION__
1309 #### A masked pattern was here ####
1310 34
1311 PREHOOK: query: select count(*) from over1k_part_buck_sort_orc
1312 PREHOOK: type: QUERY
1313 PREHOOK: Input: default@over1k_part_buck_sort_orc
1314 PREHOOK: Input: default@over1k_part_buck_sort_orc@t=27
1315 PREHOOK: Input: default@over1k_part_buck_sort_orc@t=__HIVE_DEFAULT_PARTITION__
1316 #### A masked pattern was here ####
1317 POSTHOOK: query: select count(*) from over1k_part_buck_sort_orc
1318 POSTHOOK: type: QUERY
1319 POSTHOOK: Input: default@over1k_part_buck_sort_orc
1320 POSTHOOK: Input: default@over1k_part_buck_sort_orc@t=27
1321 POSTHOOK: Input: default@over1k_part_buck_sort_orc@t=__HIVE_DEFAULT_PARTITION__
1322 #### A masked pattern was here ####
1323 34
1324 PREHOOK: query: create table over1k_part2_orc(
1325            si smallint,
1326            i int,
1327            b bigint,
1328            f float)
1329        partitioned by (ds string, t tinyint)
1330 PREHOOK: type: CREATETABLE
1331 PREHOOK: Output: database:default
1332 PREHOOK: Output: default@over1k_part2_orc
1333 POSTHOOK: query: create table over1k_part2_orc(
1334            si smallint,
1335            i int,
1336            b bigint,
1337            f float)
1338        partitioned by (ds string, t tinyint)
1339 POSTHOOK: type: CREATETABLE
1340 POSTHOOK: Output: database:default
1341 POSTHOOK: Output: default@over1k_part2_orc
1342 PREHOOK: query: explain insert overwrite table over1k_part2_orc partition(ds="foo",t) select si,i,b,f,t from over1k_orc where t is null or t=27 order by i
1343 PREHOOK: type: QUERY
1344 POSTHOOK: query: explain insert overwrite table over1k_part2_orc partition(ds="foo",t) select si,i,b,f,t from over1k_orc where t is null or t=27 order by i
1345 POSTHOOK: type: QUERY
1346 STAGE DEPENDENCIES:
1347   Stage-1 is a root stage
1348   Stage-2 depends on stages: Stage-1
1349   Stage-0 depends on stages: Stage-2
1350   Stage-3 depends on stages: Stage-0
1351
1352 STAGE PLANS:
1353   Stage: Stage-1
1354     Tez
1355 #### A masked pattern was here ####
1356       Edges:
1357         Reducer 2 <- Map 1 (SIMPLE_EDGE)
1358         Reducer 3 <- Reducer 2 (SIMPLE_EDGE)
1359 #### A masked pattern was here ####
1360       Vertices:
1361         Map 1 
1362             Map Operator Tree:
1363                 TableScan
1364                   alias: over1k_orc
1365                   Statistics: Num rows: 1049 Data size: 25160 Basic stats: COMPLETE Column stats: COMPLETE
1366                   Filter Operator
1367                     predicate: ((t = 27Y) or t is null) (type: boolean)
1368                     Statistics: Num rows: 11 Data size: 264 Basic stats: COMPLETE Column stats: COMPLETE
1369                     Select Operator
1370                       expressions: si (type: smallint), i (type: int), b (type: bigint), f (type: float), t (type: tinyint)
1371                       outputColumnNames: _col0, _col1, _col2, _col3, _col4
1372                       Statistics: Num rows: 11 Data size: 264 Basic stats: COMPLETE Column stats: COMPLETE
1373                       Reduce Output Operator
1374                         key expressions: _col1 (type: int)
1375                         sort order: +
1376                         Statistics: Num rows: 11 Data size: 264 Basic stats: COMPLETE Column stats: COMPLETE
1377                         value expressions: _col0 (type: smallint), _col2 (type: bigint), _col3 (type: float), _col4 (type: tinyint)
1378             Execution mode: vectorized, llap
1379             LLAP IO: all inputs
1380         Reducer 2 
1381             Execution mode: llap
1382             Reduce Operator Tree:
1383               Select Operator
1384                 expressions: VALUE._col0 (type: smallint), KEY.reducesinkkey0 (type: int), VALUE._col1 (type: bigint), VALUE._col2 (type: float), VALUE._col3 (type: tinyint)
1385                 outputColumnNames: _col0, _col1, _col2, _col3, _col4
1386                 Statistics: Num rows: 11 Data size: 264 Basic stats: COMPLETE Column stats: COMPLETE
1387                 File Output Operator
1388                   compressed: false
1389                   Statistics: Num rows: 11 Data size: 264 Basic stats: COMPLETE Column stats: COMPLETE
1390                   table:
1391                       input format: org.apache.hadoop.mapred.TextInputFormat
1392                       output format: org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat
1393                       serde: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
1394                       name: default.over1k_part2_orc
1395                 Select Operator
1396                   expressions: _col0 (type: smallint), _col1 (type: int), _col2 (type: bigint), _col3 (type: float), 'foo' (type: string), _col4 (type: tinyint)
1397                   outputColumnNames: si, i, b, f, ds, t
1398                   Statistics: Num rows: 11 Data size: 1221 Basic stats: COMPLETE Column stats: COMPLETE
1399                   Group By Operator
1400                     aggregations: compute_stats(si, 'hll'), compute_stats(i, 'hll'), compute_stats(b, 'hll'), compute_stats(f, 'hll')
1401                     keys: ds (type: string), t (type: tinyint)
1402                     mode: hash
1403                     outputColumnNames: _col0, _col1, _col2, _col3, _col4, _col5
1404                     Statistics: Num rows: 2 Data size: 3574 Basic stats: COMPLETE Column stats: COMPLETE
1405                     Reduce Output Operator
1406                       key expressions: _col0 (type: string), _col1 (type: tinyint)
1407                       sort order: ++
1408                       Map-reduce partition columns: _col0 (type: string), _col1 (type: tinyint)
1409                       Statistics: Num rows: 2 Data size: 3574 Basic stats: COMPLETE Column stats: COMPLETE
1410                       value expressions: _col2 (type: struct<columntype:string,min:bigint,max:bigint,countnulls:bigint,bitvector:binary>), _col3 (type: struct<columntype:string,min:bigint,max:bigint,countnulls:bigint,bitvector:binary>), _col4 (type: struct<columntype:string,min:bigint,max:bigint,countnulls:bigint,bitvector:binary>), _col5 (type: struct<columntype:string,min:double,max:double,countnulls:bigint,bitvector:binary>)
1411         Reducer 3 
1412             Execution mode: llap
1413             Reduce Operator Tree:
1414               Group By Operator
1415                 aggregations: compute_stats(VALUE._col0), compute_stats(VALUE._col1), compute_stats(VALUE._col2), compute_stats(VALUE._col3)
1416                 keys: KEY._col0 (type: string), KEY._col1 (type: tinyint)
1417                 mode: mergepartial
1418                 outputColumnNames: _col0, _col1, _col2, _col3, _col4, _col5
1419                 Statistics: Num rows: 2 Data size: 3702 Basic stats: COMPLETE Column stats: COMPLETE
1420                 Select Operator
1421                   expressions: _col2 (type: struct<columntype:string,min:bigint,max:bigint,countnulls:bigint,numdistinctvalues:bigint,ndvbitvector:binary>), _col3 (type: struct<columntype:string,min:bigint,max:bigint,countnulls:bigint,numdistinctvalues:bigint,ndvbitvector:binary>), _col4 (type: struct<columntype:string,min:bigint,max:bigint,countnulls:bigint,numdistinctvalues:bigint,ndvbitvector:binary>), _col5 (type: struct<columntype:string,min:double,max:double,countnulls:bigint,numdistinctvalues:bigint,ndvbitvector:binary>), _col0 (type: string), _col1 (type: tinyint)
1422                   outputColumnNames: _col0, _col1, _col2, _col3, _col4, _col5
1423                   Statistics: Num rows: 2 Data size: 3702 Basic stats: COMPLETE Column stats: COMPLETE
1424                   File Output Operator
1425                     compressed: false
1426                     Statistics: Num rows: 2 Data size: 3702 Basic stats: COMPLETE Column stats: COMPLETE
1427                     table:
1428                         input format: org.apache.hadoop.mapred.SequenceFileInputFormat
1429                         output format: org.apache.hadoop.hive.ql.io.HiveSequenceFileOutputFormat
1430                         serde: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
1431
1432   Stage: Stage-2
1433     Dependency Collection
1434
1435   Stage: Stage-0
1436     Move Operator
1437       tables:
1438           partition:
1439             ds foo
1440             t 
1441           replace: true
1442           table:
1443               input format: org.apache.hadoop.mapred.TextInputFormat
1444               output format: org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat
1445               serde: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
1446               name: default.over1k_part2_orc
1447
1448   Stage: Stage-3
1449     Stats Work
1450       Basic Stats Work:
1451       Column Stats Desc:
1452           Columns: si, i, b, f
1453           Column Types: smallint, int, bigint, float
1454           Table: default.over1k_part2_orc
1455
1456 PREHOOK: query: explain insert overwrite table over1k_part2_orc partition(ds="foo",t) select si,i,b,f,t from over1k_orc where t is null or t=27 order by i
1457 PREHOOK: type: QUERY
1458 POSTHOOK: query: explain insert overwrite table over1k_part2_orc partition(ds="foo",t) select si,i,b,f,t from over1k_orc where t is null or t=27 order by i
1459 POSTHOOK: type: QUERY
1460 STAGE DEPENDENCIES:
1461   Stage-1 is a root stage
1462   Stage-2 depends on stages: Stage-1
1463   Stage-0 depends on stages: Stage-2
1464   Stage-3 depends on stages: Stage-0
1465
1466 STAGE PLANS:
1467   Stage: Stage-1
1468     Tez
1469 #### A masked pattern was here ####
1470       Edges:
1471         Reducer 2 <- Map 1 (SIMPLE_EDGE)
1472 #### A masked pattern was here ####
1473       Vertices:
1474         Map 1 
1475             Map Operator Tree:
1476                 TableScan
1477                   alias: over1k_orc
1478                   Statistics: Num rows: 1049 Data size: 25160 Basic stats: COMPLETE Column stats: COMPLETE
1479                   Filter Operator
1480                     predicate: ((t = 27Y) or t is null) (type: boolean)
1481                     Statistics: Num rows: 11 Data size: 264 Basic stats: COMPLETE Column stats: COMPLETE
1482                     Select Operator
1483                       expressions: si (type: smallint), i (type: int), b (type: bigint), f (type: float), t (type: tinyint)
1484                       outputColumnNames: _col0, _col1, _col2, _col3, _col4
1485                       Statistics: Num rows: 11 Data size: 264 Basic stats: COMPLETE Column stats: COMPLETE
1486                       Reduce Output Operator
1487                         key expressions: _col4 (type: tinyint), _col1 (type: int)
1488                         sort order: ++
1489                         Map-reduce partition columns: _col4 (type: tinyint)
1490                         Statistics: Num rows: 11 Data size: 264 Basic stats: COMPLETE Column stats: COMPLETE
1491                         value expressions: _col0 (type: smallint), _col2 (type: bigint), _col3 (type: float)
1492             Execution mode: vectorized, llap
1493             LLAP IO: all inputs
1494         Reducer 2 
1495             Execution mode: vectorized, llap
1496             Reduce Operator Tree:
1497               Select Operator
1498                 expressions: VALUE._col0 (type: smallint), KEY._col1 (type: int), VALUE._col2 (type: bigint), VALUE._col3 (type: float), KEY._col4 (type: tinyint)
1499                 outputColumnNames: _col0, _col1, _col2, _col3, _col4
1500                 Statistics: Num rows: 11 Data size: 264 Basic stats: COMPLETE Column stats: COMPLETE
1501                 File Output Operator
1502                   compressed: false
1503                   Dp Sort State: PARTITION_SORTED
1504                   Statistics: Num rows: 11 Data size: 264 Basic stats: COMPLETE Column stats: COMPLETE
1505                   table:
1506                       input format: org.apache.hadoop.mapred.TextInputFormat
1507                       output format: org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat
1508                       serde: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
1509                       name: default.over1k_part2_orc
1510
1511   Stage: Stage-2
1512     Dependency Collection
1513
1514   Stage: Stage-0
1515     Move Operator
1516       tables:
1517           partition:
1518             ds foo
1519             t 
1520           replace: true
1521           table:
1522               input format: org.apache.hadoop.mapred.TextInputFormat
1523               output format: org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat
1524               serde: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
1525               name: default.over1k_part2_orc
1526
1527   Stage: Stage-3
1528     Stats Work
1529       Basic Stats Work:
1530       Column Stats Desc:
1531           Columns: si, i, b, f
1532           Column Types: smallint, int, bigint, float
1533           Table: default.over1k_part2_orc
1534
1535 PREHOOK: query: explain insert overwrite table over1k_part2_orc partition(ds="foo",t) select si,i,b,f,t from (select * from over1k_orc order by i limit 10) tmp where t is null or t=27
1536 PREHOOK: type: QUERY
1537 POSTHOOK: query: explain insert overwrite table over1k_part2_orc partition(ds="foo",t) select si,i,b,f,t from (select * from over1k_orc order by i limit 10) tmp where t is null or t=27
1538 POSTHOOK: type: QUERY
1539 STAGE DEPENDENCIES:
1540   Stage-1 is a root stage
1541   Stage-2 depends on stages: Stage-1
1542   Stage-0 depends on stages: Stage-2
1543   Stage-3 depends on stages: Stage-0
1544
1545 STAGE PLANS:
1546   Stage: Stage-1
1547     Tez
1548 #### A masked pattern was here ####
1549       Edges:
1550         Reducer 2 <- Map 1 (SIMPLE_EDGE)
1551         Reducer 3 <- Reducer 2 (SIMPLE_EDGE)
1552 #### A masked pattern was here ####
1553       Vertices:
1554         Map 1 
1555             Map Operator Tree:
1556                 TableScan
1557                   alias: over1k_orc
1558                   Statistics: Num rows: 1049 Data size: 25160 Basic stats: COMPLETE Column stats: COMPLETE
1559                   Select Operator
1560                     expressions: t (type: tinyint), si (type: smallint), i (type: int), b (type: bigint), f (type: float)
1561                     outputColumnNames: _col0, _col1, _col2, _col3, _col4
1562                     Statistics: Num rows: 1049 Data size: 25160 Basic stats: COMPLETE Column stats: COMPLETE
1563                     Reduce Output Operator
1564                       key expressions: _col2 (type: int)
1565                       sort order: +
1566                       Statistics: Num rows: 1049 Data size: 25160 Basic stats: COMPLETE Column stats: COMPLETE
1567                       TopN Hash Memory Usage: 0.1
1568                       value expressions: _col0 (type: tinyint), _col1 (type: smallint), _col3 (type: bigint), _col4 (type: float)
1569             Execution mode: vectorized, llap
1570             LLAP IO: all inputs
1571         Reducer 2 
1572             Execution mode: vectorized, llap
1573             Reduce Operator Tree:
1574               Select Operator
1575                 expressions: VALUE._col0 (type: tinyint), VALUE._col1 (type: smallint), KEY.reducesinkkey0 (type: int), VALUE._col2 (type: bigint), VALUE._col3 (type: float)
1576                 outputColumnNames: _col0, _col1, _col2, _col3, _col4
1577                 Statistics: Num rows: 1049 Data size: 25160 Basic stats: COMPLETE Column stats: COMPLETE
1578                 Limit
1579                   Number of rows: 10
1580                   Statistics: Num rows: 10 Data size: 240 Basic stats: COMPLETE Column stats: COMPLETE
1581                   Filter Operator
1582                     predicate: ((_col0 = 27Y) or _col0 is null) (type: boolean)
1583                     Statistics: Num rows: 5 Data size: 120 Basic stats: COMPLETE Column stats: COMPLETE
1584                     Select Operator
1585                       expressions: _col1 (type: smallint), _col2 (type: int), _col3 (type: bigint), _col4 (type: float), _col0 (type: tinyint)
1586                       outputColumnNames: _col0, _col1, _col2, _col3, _col4
1587                       Statistics: Num rows: 5 Data size: 120 Basic stats: COMPLETE Column stats: COMPLETE
1588                       Reduce Output Operator
1589                         key expressions: _col4 (type: tinyint)
1590                         sort order: +
1591                         Map-reduce partition columns: _col4 (type: tinyint)
1592                         Statistics: Num rows: 5 Data size: 120 Basic stats: COMPLETE Column stats: COMPLETE
1593                         value expressions: _col0 (type: smallint), _col1 (type: int), _col2 (type: bigint), _col3 (type: float)
1594         Reducer 3 
1595             Execution mode: vectorized, llap
1596             Reduce Operator Tree:
1597               Select Operator
1598                 expressions: VALUE._col0 (type: smallint), VALUE._col1 (type: int), VALUE._col2 (type: bigint), VALUE._col3 (type: float), KEY._col4 (type: tinyint)
1599                 outputColumnNames: _col0, _col1, _col2, _col3, _col4
1600                 Statistics: Num rows: 5 Data size: 120 Basic stats: COMPLETE Column stats: COMPLETE
1601                 File Output Operator
1602                   compressed: false
1603                   Dp Sort State: PARTITION_SORTED
1604                   Statistics: Num rows: 5 Data size: 120 Basic stats: COMPLETE Column stats: COMPLETE
1605                   table:
1606                       input format: org.apache.hadoop.mapred.TextInputFormat
1607                       output format: org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat
1608                       serde: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
1609                       name: default.over1k_part2_orc
1610
1611   Stage: Stage-2
1612     Dependency Collection
1613
1614   Stage: Stage-0
1615     Move Operator
1616       tables:
1617           partition:
1618             ds foo
1619             t 
1620           replace: true
1621           table:
1622               input format: org.apache.hadoop.mapred.TextInputFormat
1623               output format: org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat
1624               serde: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
1625               name: default.over1k_part2_orc
1626
1627   Stage: Stage-3
1628     Stats Work
1629       Basic Stats Work:
1630       Column Stats Desc:
1631           Columns: si, i, b, f
1632           Column Types: smallint, int, bigint, float
1633           Table: default.over1k_part2_orc
1634
1635 PREHOOK: query: explain insert overwrite table over1k_part2_orc partition(ds="foo",t) select si,i,b,f,t from over1k_orc where t is null or t=27 group by si,i,b,f,t
1636 PREHOOK: type: QUERY
1637 POSTHOOK: query: explain insert overwrite table over1k_part2_orc partition(ds="foo",t) select si,i,b,f,t from over1k_orc where t is null or t=27 group by si,i,b,f,t
1638 POSTHOOK: type: QUERY
1639 STAGE DEPENDENCIES:
1640   Stage-1 is a root stage
1641   Stage-2 depends on stages: Stage-1
1642   Stage-0 depends on stages: Stage-2
1643   Stage-3 depends on stages: Stage-0
1644
1645 STAGE PLANS:
1646   Stage: Stage-1
1647     Tez
1648 #### A masked pattern was here ####
1649       Edges:
1650         Reducer 2 <- Map 1 (SIMPLE_EDGE)
1651         Reducer 3 <- Reducer 2 (SIMPLE_EDGE)
1652 #### A masked pattern was here ####
1653       Vertices:
1654         Map 1 
1655             Map Operator Tree:
1656                 TableScan
1657                   alias: over1k_orc
1658                   Statistics: Num rows: 1049 Data size: 25160 Basic stats: COMPLETE Column stats: COMPLETE
1659                   Filter Operator
1660                     predicate: ((t = 27Y) or t is null) (type: boolean)
1661                     Statistics: Num rows: 11 Data size: 264 Basic stats: COMPLETE Column stats: COMPLETE
1662                     Group By Operator
1663                       keys: t (type: tinyint), si (type: smallint), i (type: int), b (type: bigint), f (type: float)
1664                       mode: hash
1665                       outputColumnNames: _col0, _col1, _col2, _col3, _col4
1666                       Statistics: Num rows: 5 Data size: 120 Basic stats: COMPLETE Column stats: COMPLETE
1667                       Reduce Output Operator
1668                         key expressions: _col0 (type: tinyint), _col1 (type: smallint), _col2 (type: int), _col3 (type: bigint), _col4 (type: float)
1669                         sort order: +++++
1670                         Map-reduce partition columns: _col0 (type: tinyint), _col1 (type: smallint), _col2 (type: int), _col3 (type: bigint), _col4 (type: float)
1671                         Statistics: Num rows: 5 Data size: 120 Basic stats: COMPLETE Column stats: COMPLETE
1672             Execution mode: vectorized, llap
1673             LLAP IO: all inputs
1674         Reducer 2 
1675             Execution mode: llap
1676             Reduce Operator Tree:
1677               Group By Operator
1678                 keys: KEY._col0 (type: tinyint), KEY._col1 (type: smallint), KEY._col2 (type: int), KEY._col3 (type: bigint), KEY._col4 (type: float)
1679                 mode: mergepartial
1680                 outputColumnNames: _col0, _col1, _col2, _col3, _col4
1681                 Statistics: Num rows: 5 Data size: 120 Basic stats: COMPLETE Column stats: COMPLETE
1682                 Select Operator
1683                   expressions: _col1 (type: smallint), _col2 (type: int), _col3 (type: bigint), _col4 (type: float), _col0 (type: tinyint)
1684                   outputColumnNames: _col0, _col1, _col2, _col3, _col4
1685                   Statistics: Num rows: 5 Data size: 120 Basic stats: COMPLETE Column stats: COMPLETE
1686                   File Output Operator
1687                     compressed: false
1688                     Statistics: Num rows: 5 Data size: 120 Basic stats: COMPLETE Column stats: COMPLETE
1689                     table:
1690                         input format: org.apache.hadoop.mapred.TextInputFormat
1691                         output format: org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat
1692                         serde: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
1693                         name: default.over1k_part2_orc
1694                   Select Operator
1695                     expressions: _col0 (type: smallint), _col1 (type: int), _col2 (type: bigint), _col3 (type: float), 'foo' (type: string), _col4 (type: tinyint)
1696                     outputColumnNames: si, i, b, f, ds, t
1697                     Statistics: Num rows: 5 Data size: 555 Basic stats: COMPLETE Column stats: COMPLETE
1698                     Group By Operator
1699                       aggregations: compute_stats(si, 'hll'), compute_stats(i, 'hll'), compute_stats(b, 'hll'), compute_stats(f, 'hll')
1700                       keys: ds (type: string), t (type: tinyint)
1701                       mode: hash
1702                       outputColumnNames: _col0, _col1, _col2, _col3, _col4, _col5
1703                       Statistics: Num rows: 2 Data size: 3574 Basic stats: COMPLETE Column stats: COMPLETE
1704                       Reduce Output Operator
1705                         key expressions: _col0 (type: string), _col1 (type: tinyint)
1706                         sort order: ++
1707                         Map-reduce partition columns: _col0 (type: string), _col1 (type: tinyint)
1708                         Statistics: Num rows: 2 Data size: 3574 Basic stats: COMPLETE Column stats: COMPLETE
1709                         value expressions: _col2 (type: struct<columntype:string,min:bigint,max:bigint,countnulls:bigint,bitvector:binary>), _col3 (type: struct<columntype:string,min:bigint,max:bigint,countnulls:bigint,bitvector:binary>), _col4 (type: struct<columntype:string,min:bigint,max:bigint,countnulls:bigint,bitvector:binary>), _col5 (type: struct<columntype:string,min:double,max:double,countnulls:bigint,bitvector:binary>)
1710         Reducer 3 
1711             Execution mode: llap
1712             Reduce Operator Tree:
1713               Group By Operator
1714                 aggregations: compute_stats(VALUE._col0), compute_stats(VALUE._col1), compute_stats(VALUE._col2), compute_stats(VALUE._col3)
1715                 keys: KEY._col0 (type: string), KEY._col1 (type: tinyint)
1716                 mode: mergepartial
1717                 outputColumnNames: _col0, _col1, _col2, _col3, _col4, _col5
1718                 Statistics: Num rows: 2 Data size: 3702 Basic stats: COMPLETE Column stats: COMPLETE
1719                 Select Operator
1720                   expressions: _col2 (type: struct<columntype:string,min:bigint,max:bigint,countnulls:bigint,numdistinctvalues:bigint,ndvbitvector:binary>), _col3 (type: struct<columntype:string,min:bigint,max:bigint,countnulls:bigint,numdistinctvalues:bigint,ndvbitvector:binary>), _col4 (type: struct<columntype:string,min:bigint,max:bigint,countnulls:bigint,numdistinctvalues:bigint,ndvbitvector:binary>), _col5 (type: struct<columntype:string,min:double,max:double,countnulls:bigint,numdistinctvalues:bigint,ndvbitvector:binary>), _col0 (type: string), _col1 (type: tinyint)
1721                   outputColumnNames: _col0, _col1, _col2, _col3, _col4, _col5
1722                   Statistics: Num rows: 2 Data size: 3702 Basic stats: COMPLETE Column stats: COMPLETE
1723                   File Output Operator
1724                     compressed: false
1725                     Statistics: Num rows: 2 Data size: 3702 Basic stats: COMPLETE Column stats: COMPLETE
1726                     table:
1727                         input format: org.apache.hadoop.mapred.SequenceFileInputFormat
1728                         output format: org.apache.hadoop.hive.ql.io.HiveSequenceFileOutputFormat
1729                         serde: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
1730
1731   Stage: Stage-2
1732     Dependency Collection
1733
1734   Stage: Stage-0
1735     Move Operator
1736       tables:
1737           partition:
1738             ds foo
1739             t 
1740           replace: true
1741           table:
1742               input format: org.apache.hadoop.mapred.TextInputFormat
1743               output format: org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat
1744               serde: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
1745               name: default.over1k_part2_orc
1746
1747   Stage: Stage-3
1748     Stats Work
1749       Basic Stats Work:
1750       Column Stats Desc:
1751           Columns: si, i, b, f
1752           Column Types: smallint, int, bigint, float
1753           Table: default.over1k_part2_orc
1754
1755 PREHOOK: query: explain insert overwrite table over1k_part2_orc partition(ds="foo",t) select si,i,b,f,t from over1k_orc where t is null or t=27 group by si,i,b,f,t
1756 PREHOOK: type: QUERY
1757 POSTHOOK: query: explain insert overwrite table over1k_part2_orc partition(ds="foo",t) select si,i,b,f,t from over1k_orc where t is null or t=27 group by si,i,b,f,t
1758 POSTHOOK: type: QUERY
1759 STAGE DEPENDENCIES:
1760   Stage-1 is a root stage
1761   Stage-2 depends on stages: Stage-1
1762   Stage-0 depends on stages: Stage-2
1763   Stage-3 depends on stages: Stage-0
1764
1765 STAGE PLANS:
1766   Stage: Stage-1
1767     Tez
1768 #### A masked pattern was here ####
1769       Edges:
1770         Reducer 2 <- Map 1 (SIMPLE_EDGE)
1771 #### A masked pattern was here ####
1772       Vertices:
1773         Map 1 
1774             Map Operator Tree:
1775                 TableScan
1776                   alias: over1k_orc
1777                   Statistics: Num rows: 1049 Data size: 25160 Basic stats: COMPLETE Column stats: COMPLETE
1778                   Filter Operator
1779                     predicate: ((t = 27Y) or t is null) (type: boolean)
1780                     Statistics: Num rows: 11 Data size: 264 Basic stats: COMPLETE Column stats: COMPLETE
1781                     Group By Operator
1782                       keys: t (type: tinyint), si (type: smallint), i (type: int), b (type: bigint), f (type: float)
1783                       mode: hash
1784                       outputColumnNames: _col0, _col1, _col2, _col3, _col4
1785                       Statistics: Num rows: 5 Data size: 120 Basic stats: COMPLETE Column stats: COMPLETE
1786                       Reduce Output Operator
1787                         key expressions: _col0 (type: tinyint), _col1 (type: smallint), _col2 (type: int), _col3 (type: bigint), _col4 (type: float)
1788                         sort order: +++++
1789                         Map-reduce partition columns: _col0 (type: tinyint)
1790                         Statistics: Num rows: 5 Data size: 120 Basic stats: COMPLETE Column stats: COMPLETE
1791             Execution mode: vectorized, llap
1792             LLAP IO: all inputs
1793         Reducer 2 
1794             Execution mode: vectorized, llap
1795             Reduce Operator Tree:
1796               Group By Operator
1797                 keys: KEY._col0 (type: tinyint), KEY._col1 (type: smallint), KEY._col2 (type: int), KEY._col3 (type: bigint), KEY._col4 (type: float)
1798                 mode: mergepartial
1799                 outputColumnNames: _col0, _col1, _col2, _col3, _col4
1800                 Statistics: Num rows: 5 Data size: 120 Basic stats: COMPLETE Column stats: COMPLETE
1801                 Select Operator
1802                   expressions: _col1 (type: smallint), _col2 (type: int), _col3 (type: bigint), _col4 (type: float), _col0 (type: tinyint)
1803                   outputColumnNames: _col0, _col1, _col2, _col3, _col4
1804                   Statistics: Num rows: 5 Data size: 120 Basic stats: COMPLETE Column stats: COMPLETE
1805                   File Output Operator
1806                     compressed: false
1807                     Dp Sort State: PARTITION_SORTED
1808                     Statistics: Num rows: 5 Data size: 120 Basic stats: COMPLETE Column stats: COMPLETE
1809                     table:
1810                         input format: org.apache.hadoop.mapred.TextInputFormat
1811                         output format: org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat
1812                         serde: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
1813                         name: default.over1k_part2_orc
1814
1815   Stage: Stage-2
1816     Dependency Collection
1817
1818   Stage: Stage-0
1819     Move Operator
1820       tables:
1821           partition:
1822             ds foo
1823             t 
1824           replace: true
1825           table:
1826               input format: org.apache.hadoop.mapred.TextInputFormat
1827               output format: org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat
1828               serde: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
1829               name: default.over1k_part2_orc
1830
1831   Stage: Stage-3
1832     Stats Work
1833       Basic Stats Work:
1834       Column Stats Desc:
1835           Columns: si, i, b, f
1836           Column Types: smallint, int, bigint, float
1837           Table: default.over1k_part2_orc
1838
1839 PREHOOK: query: insert overwrite table over1k_part2_orc partition(ds="foo",t) select si,i,b,f,t from over1k_orc where t is null or t=27 order by i
1840 PREHOOK: type: QUERY
1841 PREHOOK: Input: default@over1k_orc
1842 PREHOOK: Output: default@over1k_part2_orc@ds=foo
1843 POSTHOOK: query: insert overwrite table over1k_part2_orc partition(ds="foo",t) select si,i,b,f,t from over1k_orc where t is null or t=27 order by i
1844 POSTHOOK: type: QUERY
1845 POSTHOOK: Input: default@over1k_orc
1846 POSTHOOK: Output: default@over1k_part2_orc@ds=foo/t=27
1847 POSTHOOK: Output: default@over1k_part2_orc@ds=foo/t=__HIVE_DEFAULT_PARTITION__
1848 POSTHOOK: Lineage: over1k_part2_orc PARTITION(ds=foo,t=27).b SIMPLE [(over1k_orc)over1k_orc.FieldSchema(name:b, type:bigint, comment:null), ]
1849 POSTHOOK: Lineage: over1k_part2_orc PARTITION(ds=foo,t=27).f SIMPLE [(over1k_orc)over1k_orc.FieldSchema(name:f, type:float, comment:null), ]
1850 POSTHOOK: Lineage: over1k_part2_orc PARTITION(ds=foo,t=27).i SIMPLE [(over1k_orc)over1k_orc.FieldSchema(name:i, type:int, comment:null), ]
1851 POSTHOOK: Lineage: over1k_part2_orc PARTITION(ds=foo,t=27).si SIMPLE [(over1k_orc)over1k_orc.FieldSchema(name:si, type:smallint, comment:null), ]
1852 POSTHOOK: Lineage: over1k_part2_orc PARTITION(ds=foo,t=__HIVE_DEFAULT_PARTITION__).b SIMPLE [(over1k_orc)over1k_orc.FieldSchema(name:b, type:bigint, comment:null), ]
1853 POSTHOOK: Lineage: over1k_part2_orc PARTITION(ds=foo,t=__HIVE_DEFAULT_PARTITION__).f SIMPLE [(over1k_orc)over1k_orc.FieldSchema(name:f, type:float, comment:null), ]
1854 POSTHOOK: Lineage: over1k_part2_orc PARTITION(ds=foo,t=__HIVE_DEFAULT_PARTITION__).i SIMPLE [(over1k_orc)over1k_orc.FieldSchema(name:i, type:int, comment:null), ]
1855 POSTHOOK: Lineage: over1k_part2_orc PARTITION(ds=foo,t=__HIVE_DEFAULT_PARTITION__).si SIMPLE [(over1k_orc)over1k_orc.FieldSchema(name:si, type:smallint, comment:null), ]
1856 PREHOOK: query: desc formatted over1k_part2_orc partition(ds="foo",t=27)
1857 PREHOOK: type: DESCTABLE
1858 PREHOOK: Input: default@over1k_part2_orc
1859 POSTHOOK: query: desc formatted over1k_part2_orc partition(ds="foo",t=27)
1860 POSTHOOK: type: DESCTABLE
1861 POSTHOOK: Input: default@over1k_part2_orc
1862 # col_name              data_type               comment             
1863 si                      smallint                                    
1864 i                       int                                         
1865 b                       bigint                                      
1866 f                       float                                       
1867                  
1868 # Partition Information          
1869 # col_name              data_type               comment             
1870 ds                      string                                      
1871 t                       tinyint                                     
1872                  
1873 # Detailed Partition Information                 
1874 Partition Value:        [foo, 27]                
1875 Database:               default                  
1876 Table:                  over1k_part2_orc         
1877 #### A masked pattern was here ####
1878 Partition Parameters:            
1879         COLUMN_STATS_ACCURATE   {\"BASIC_STATS\":\"true\",\"COLUMN_STATS\":{\"b\":\"true\",\"f\":\"true\",\"i\":\"true\",\"si\":\"true\"}}
1880         numFiles                1                   
1881         numRows                 16                  
1882         rawDataSize             415                 
1883         totalSize               431                 
1884 #### A masked pattern was here ####
1885                  
1886 # Storage Information            
1887 SerDe Library:          org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe       
1888 InputFormat:            org.apache.hadoop.mapred.TextInputFormat         
1889 OutputFormat:           org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat       
1890 Compressed:             No                       
1891 Num Buckets:            -1                       
1892 Bucket Columns:         []                       
1893 Sort Columns:           []                       
1894 Storage Desc Params:             
1895         serialization.format    1                   
1896 PREHOOK: query: desc formatted over1k_part2_orc partition(ds="foo",t="__HIVE_DEFAULT_PARTITION__")
1897 PREHOOK: type: DESCTABLE
1898 PREHOOK: Input: default@over1k_part2_orc
1899 POSTHOOK: query: desc formatted over1k_part2_orc partition(ds="foo",t="__HIVE_DEFAULT_PARTITION__")
1900 POSTHOOK: type: DESCTABLE
1901 POSTHOOK: Input: default@over1k_part2_orc
1902 # col_name              data_type               comment             
1903 si                      smallint                                    
1904 i                       int                                         
1905 b                       bigint                                      
1906 f                       float                                       
1907                  
1908 # Partition Information          
1909 # col_name              data_type               comment             
1910 ds                      string                                      
1911 t                       tinyint                                     
1912                  
1913 # Detailed Partition Information                 
1914 Partition Value:        [foo, __HIVE_DEFAULT_PARTITION__]        
1915 Database:               default                  
1916 Table:                  over1k_part2_orc         
1917 #### A masked pattern was here ####
1918 Partition Parameters:            
1919         COLUMN_STATS_ACCURATE   {\"BASIC_STATS\":\"true\",\"COLUMN_STATS\":{\"b\":\"true\",\"f\":\"true\",\"i\":\"true\",\"si\":\"true\"}}
1920         numFiles                1                   
1921         numRows                 3                   
1922         rawDataSize             78                  
1923         totalSize               81                  
1924 #### A masked pattern was here ####
1925                  
1926 # Storage Information            
1927 SerDe Library:          org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe       
1928 InputFormat:            org.apache.hadoop.mapred.TextInputFormat         
1929 OutputFormat:           org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat       
1930 Compressed:             No                       
1931 Num Buckets:            -1                       
1932 Bucket Columns:         []                       
1933 Sort Columns:           []                       
1934 Storage Desc Params:             
1935         serialization.format    1                   
1936 PREHOOK: query: select * from over1k_part2_orc
1937 PREHOOK: type: QUERY
1938 PREHOOK: Input: default@over1k_part2_orc
1939 PREHOOK: Input: default@over1k_part2_orc@ds=foo/t=27
1940 PREHOOK: Input: default@over1k_part2_orc@ds=foo/t=__HIVE_DEFAULT_PARTITION__
1941 #### A masked pattern was here ####
1942 POSTHOOK: query: select * from over1k_part2_orc
1943 POSTHOOK: type: QUERY
1944 POSTHOOK: Input: default@over1k_part2_orc
1945 POSTHOOK: Input: default@over1k_part2_orc@ds=foo/t=27
1946 POSTHOOK: Input: default@over1k_part2_orc@ds=foo/t=__HIVE_DEFAULT_PARTITION__
1947 #### A masked pattern was here ####
1948 405     65536   4294967508      82.24   foo     27
1949 457     65570   4294967464      81.58   foo     27
1950 256     65599   4294967383      89.55   foo     27
1951 335     65617   4294967381      64.87   foo     27
1952 261     65619   4294967401      88.78   foo     27
1953 278     65622   4294967516      25.67   foo     27
1954 482     65624   4294967313      78.98   foo     27
1955 503     65628   4294967371      95.07   foo     27
1956 335     65636   4294967505      37.14   foo     27
1957 367     65675   4294967518      12.32   foo     27
1958 340     65677   4294967461      98.96   foo     27
1959 490     65680   4294967347      57.46   foo     27
1960 287     65708   4294967542      83.33   foo     27
1961 329     65778   4294967451      6.63    foo     27
1962 401     65779   4294967402      97.39   foo     27
1963 262     65787   4294967371      57.35   foo     27
1964 409     65536   4294967490      46.97   foo     NULL
1965 374     65560   4294967516      65.43   foo     NULL
1966 473     65720   4294967324      80.74   foo     NULL
1967 PREHOOK: query: select count(*) from over1k_part2_orc
1968 PREHOOK: type: QUERY
1969 PREHOOK: Input: default@over1k_part2_orc
1970 PREHOOK: Input: default@over1k_part2_orc@ds=foo/t=27
1971 PREHOOK: Input: default@over1k_part2_orc@ds=foo/t=__HIVE_DEFAULT_PARTITION__
1972 #### A masked pattern was here ####
1973 POSTHOOK: query: select count(*) from over1k_part2_orc
1974 POSTHOOK: type: QUERY
1975 POSTHOOK: Input: default@over1k_part2_orc
1976 POSTHOOK: Input: default@over1k_part2_orc@ds=foo/t=27
1977 POSTHOOK: Input: default@over1k_part2_orc@ds=foo/t=__HIVE_DEFAULT_PARTITION__
1978 #### A masked pattern was here ####
1979 19
1980 PREHOOK: query: insert overwrite table over1k_part2_orc partition(ds="foo",t) select si,i,b,f,t from over1k_orc where t is null or t=27 order by i
1981 PREHOOK: type: QUERY
1982 PREHOOK: Input: default@over1k_orc
1983 PREHOOK: Output: default@over1k_part2_orc@ds=foo
1984 POSTHOOK: query: insert overwrite table over1k_part2_orc partition(ds="foo",t) select si,i,b,f,t from over1k_orc where t is null or t=27 order by i
1985 POSTHOOK: type: QUERY
1986 POSTHOOK: Input: default@over1k_orc
1987 POSTHOOK: Output: default@over1k_part2_orc@ds=foo/t=27
1988 POSTHOOK: Output: default@over1k_part2_orc@ds=foo/t=__HIVE_DEFAULT_PARTITION__
1989 POSTHOOK: Lineage: over1k_part2_orc PARTITION(ds=foo,t=27).b SIMPLE [(over1k_orc)over1k_orc.FieldSchema(name:b, type:bigint, comment:null), ]
1990 POSTHOOK: Lineage: over1k_part2_orc PARTITION(ds=foo,t=27).f SIMPLE [(over1k_orc)over1k_orc.FieldSchema(name:f, type:float, comment:null), ]
1991 POSTHOOK: Lineage: over1k_part2_orc PARTITION(ds=foo,t=27).i SIMPLE [(over1k_orc)over1k_orc.FieldSchema(name:i, type:int, comment:null), ]
1992 POSTHOOK: Lineage: over1k_part2_orc PARTITION(ds=foo,t=27).si SIMPLE [(over1k_orc)over1k_orc.FieldSchema(name:si, type:smallint, comment:null), ]
1993 POSTHOOK: Lineage: over1k_part2_orc PARTITION(ds=foo,t=__HIVE_DEFAULT_PARTITION__).b SIMPLE [(over1k_orc)over1k_orc.FieldSchema(name:b, type:bigint, comment:null), ]
1994 POSTHOOK: Lineage: over1k_part2_orc PARTITION(ds=foo,t=__HIVE_DEFAULT_PARTITION__).f SIMPLE [(over1k_orc)over1k_orc.FieldSchema(name:f, type:float, comment:null), ]
1995 POSTHOOK: Lineage: over1k_part2_orc PARTITION(ds=foo,t=__HIVE_DEFAULT_PARTITION__).i SIMPLE [(over1k_orc)over1k_orc.FieldSchema(name:i, type:int, comment:null), ]
1996 POSTHOOK: Lineage: over1k_part2_orc PARTITION(ds=foo,t=__HIVE_DEFAULT_PARTITION__).si SIMPLE [(over1k_orc)over1k_orc.FieldSchema(name:si, type:smallint, comment:null), ]
1997 PREHOOK: query: desc formatted over1k_part2_orc partition(ds="foo",t=27)
1998 PREHOOK: type: DESCTABLE
1999 PREHOOK: Input: default@over1k_part2_orc
2000 POSTHOOK: query: desc formatted over1k_part2_orc partition(ds="foo",t=27)
2001 POSTHOOK: type: DESCTABLE
2002 POSTHOOK: Input: default@over1k_part2_orc
2003 # col_name              data_type               comment             
2004 si                      smallint                                    
2005 i                       int                                         
2006 b                       bigint                                      
2007 f                       float                                       
2008                  
2009 # Partition Information          
2010 # col_name              data_type               comment             
2011 ds                      string                                      
2012 t                       tinyint                                     
2013                  
2014 # Detailed Partition Information                 
2015 Partition Value:        [foo, 27]                
2016 Database:               default                  
2017 Table:                  over1k_part2_orc         
2018 #### A masked pattern was here ####
2019 Partition Parameters:            
2020         COLUMN_STATS_ACCURATE   {\"BASIC_STATS\":\"true\",\"COLUMN_STATS\":{\"b\":\"true\",\"f\":\"true\",\"i\":\"true\",\"si\":\"true\"}}
2021         numFiles                1                   
2022         numRows                 16                  
2023         rawDataSize             415                 
2024         totalSize               431                 
2025 #### A masked pattern was here ####
2026                  
2027 # Storage Information            
2028 SerDe Library:          org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe       
2029 InputFormat:            org.apache.hadoop.mapred.TextInputFormat         
2030 OutputFormat:           org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat       
2031 Compressed:             No                       
2032 Num Buckets:            -1                       
2033 Bucket Columns:         []                       
2034 Sort Columns:           []                       
2035 Storage Desc Params:             
2036         serialization.format    1                   
2037 PREHOOK: query: desc formatted over1k_part2_orc partition(ds="foo",t="__HIVE_DEFAULT_PARTITION__")
2038 PREHOOK: type: DESCTABLE
2039 PREHOOK: Input: default@over1k_part2_orc
2040 POSTHOOK: query: desc formatted over1k_part2_orc partition(ds="foo",t="__HIVE_DEFAULT_PARTITION__")
2041 POSTHOOK: type: DESCTABLE
2042 POSTHOOK: Input: default@over1k_part2_orc
2043 # col_name              data_type               comment             
2044 si                      smallint                                    
2045 i                       int                                         
2046 b                       bigint                                      
2047 f                       float                                       
2048                  
2049 # Partition Information          
2050 # col_name              data_type               comment             
2051 ds                      string                                      
2052 t                       tinyint                                     
2053                  
2054 # Detailed Partition Information                 
2055 Partition Value:        [foo, __HIVE_DEFAULT_PARTITION__]        
2056 Database:               default                  
2057 Table:                  over1k_part2_orc         
2058 #### A masked pattern was here ####
2059 Partition Parameters:            
2060         COLUMN_STATS_ACCURATE   {\"BASIC_STATS\":\"true\",\"COLUMN_STATS\":{\"b\":\"true\",\"f\":\"true\",\"i\":\"true\",\"si\":\"true\"}}
2061         numFiles                1                   
2062         numRows                 3                   
2063         rawDataSize             78                  
2064         totalSize               81                  
2065 #### A masked pattern was here ####
2066                  
2067 # Storage Information            
2068 SerDe Library:          org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe       
2069 InputFormat:            org.apache.hadoop.mapred.TextInputFormat         
2070 OutputFormat:           org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat       
2071 Compressed:             No                       
2072 Num Buckets:            -1                       
2073 Bucket Columns:         []                       
2074 Sort Columns:           []                       
2075 Storage Desc Params:             
2076         serialization.format    1                   
2077 PREHOOK: query: select * from over1k_part2_orc
2078 PREHOOK: type: QUERY
2079 PREHOOK: Input: default@over1k_part2_orc
2080 PREHOOK: Input: default@over1k_part2_orc@ds=foo/t=27
2081 PREHOOK: Input: default@over1k_part2_orc@ds=foo/t=__HIVE_DEFAULT_PARTITION__
2082 #### A masked pattern was here ####
2083 POSTHOOK: query: select * from over1k_part2_orc
2084 POSTHOOK: type: QUERY
2085 POSTHOOK: Input: default@over1k_part2_orc
2086 POSTHOOK: Input: default@over1k_part2_orc@ds=foo/t=27
2087 POSTHOOK: Input: default@over1k_part2_orc@ds=foo/t=__HIVE_DEFAULT_PARTITION__
2088 #### A masked pattern was here ####
2089 405     65536   4294967508      82.24   foo     27
2090 457     65570   4294967464      81.58   foo     27
2091 256     65599   4294967383      89.55   foo     27
2092 335     65617   4294967381      64.87   foo     27
2093 261     65619   4294967401      88.78   foo     27
2094 278     65622   4294967516      25.67   foo     27
2095 482     65624   4294967313      78.98   foo     27
2096 503     65628   4294967371      95.07   foo     27
2097 335     65636   4294967505      37.14   foo     27
2098 367     65675   4294967518      12.32   foo     27
2099 340     65677   4294967461      98.96   foo     27
2100 490     65680   4294967347      57.46   foo     27
2101 287     65708   4294967542      83.33   foo     27
2102 329     65778   4294967451      6.63    foo     27
2103 401     65779   4294967402      97.39   foo     27
2104 262     65787   4294967371      57.35   foo     27
2105 409     65536   4294967490      46.97   foo     NULL
2106 374     65560   4294967516      65.43   foo     NULL
2107 473     65720   4294967324      80.74   foo     NULL
2108 PREHOOK: query: select count(*) from over1k_part2_orc
2109 PREHOOK: type: QUERY
2110 PREHOOK: Input: default@over1k_part2_orc
2111 PREHOOK: Input: default@over1k_part2_orc@ds=foo/t=27
2112 PREHOOK: Input: default@over1k_part2_orc@ds=foo/t=__HIVE_DEFAULT_PARTITION__
2113 #### A masked pattern was here ####
2114 POSTHOOK: query: select count(*) from over1k_part2_orc
2115 POSTHOOK: type: QUERY
2116 POSTHOOK: Input: default@over1k_part2_orc
2117 POSTHOOK: Input: default@over1k_part2_orc@ds=foo/t=27
2118 POSTHOOK: Input: default@over1k_part2_orc@ds=foo/t=__HIVE_DEFAULT_PARTITION__
2119 #### A masked pattern was here ####
2120 19
2121 PREHOOK: query: create table over1k_part_buck_sort2_orc(
2122            si smallint,
2123            i int,
2124            b bigint,
2125            f float)
2126        partitioned by (t tinyint)
2127        clustered by (si)
2128        sorted by (f) into 1 buckets
2129 PREHOOK: type: CREATETABLE
2130 PREHOOK: Output: database:default
2131 PREHOOK: Output: default@over1k_part_buck_sort2_orc
2132 POSTHOOK: query: create table over1k_part_buck_sort2_orc(
2133            si smallint,
2134            i int,
2135            b bigint,
2136            f float)
2137        partitioned by (t tinyint)
2138        clustered by (si)
2139        sorted by (f) into 1 buckets
2140 POSTHOOK: type: CREATETABLE
2141 POSTHOOK: Output: database:default
2142 POSTHOOK: Output: default@over1k_part_buck_sort2_orc
2143 PREHOOK: query: explain insert overwrite table over1k_part_buck_sort2_orc partition(t) select si,i,b,f,t from over1k_orc where t is null or t=27
2144 PREHOOK: type: QUERY
2145 POSTHOOK: query: explain insert overwrite table over1k_part_buck_sort2_orc partition(t) select si,i,b,f,t from over1k_orc where t is null or t=27
2146 POSTHOOK: type: QUERY
2147 STAGE DEPENDENCIES:
2148   Stage-1 is a root stage
2149   Stage-2 depends on stages: Stage-1
2150   Stage-0 depends on stages: Stage-2
2151   Stage-3 depends on stages: Stage-0
2152
2153 STAGE PLANS:
2154   Stage: Stage-1
2155     Tez
2156 #### A masked pattern was here ####
2157       Edges:
2158         Reducer 2 <- Map 1 (SIMPLE_EDGE)
2159         Reducer 3 <- Reducer 2 (SIMPLE_EDGE)
2160 #### A masked pattern was here ####
2161       Vertices:
2162         Map 1 
2163             Map Operator Tree:
2164                 TableScan
2165                   alias: over1k_orc
2166                   Statistics: Num rows: 1049 Data size: 25160 Basic stats: COMPLETE Column stats: COMPLETE
2167                   Filter Operator
2168                     predicate: ((t = 27Y) or t is null) (type: boolean)
2169                     Statistics: Num rows: 11 Data size: 264 Basic stats: COMPLETE Column stats: COMPLETE
2170                     Select Operator
2171                       expressions: si (type: smallint), i (type: int), b (type: bigint), f (type: float), t (type: tinyint)
2172                       outputColumnNames: _col0, _col1, _col2, _col3, _col4
2173                       Statistics: Num rows: 11 Data size: 264 Basic stats: COMPLETE Column stats: COMPLETE
2174                       Reduce Output Operator
2175                         key expressions: _col3 (type: float)
2176                         sort order: +
2177                         Map-reduce partition columns: _col0 (type: smallint)
2178                         Statistics: Num rows: 11 Data size: 264 Basic stats: COMPLETE Column stats: COMPLETE
2179                         value expressions: _col0 (type: smallint), _col1 (type: int), _col2 (type: bigint), _col4 (type: tinyint)
2180             Execution mode: vectorized, llap
2181             LLAP IO: all inputs
2182         Reducer 2 
2183             Execution mode: llap
2184             Reduce Operator Tree:
2185               Select Operator
2186                 expressions: VALUE._col0 (type: smallint), VALUE._col1 (type: int), VALUE._col2 (type: bigint), KEY.reducesinkkey0 (type: float), VALUE._col3 (type: tinyint)
2187                 outputColumnNames: _col0, _col1, _col2, _col3, _col4
2188                 Statistics: Num rows: 11 Data size: 264 Basic stats: COMPLETE Column stats: COMPLETE
2189                 File Output Operator
2190                   compressed: false
2191                   Statistics: Num rows: 11 Data size: 264 Basic stats: COMPLETE Column stats: COMPLETE
2192                   table:
2193                       input format: org.apache.hadoop.mapred.TextInputFormat
2194                       output format: org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat
2195                       serde: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
2196                       name: default.over1k_part_buck_sort2_orc
2197                 Select Operator
2198                   expressions: _col0 (type: smallint), _col1 (type: int), _col2 (type: bigint), _col3 (type: float), _col4 (type: tinyint)
2199                   outputColumnNames: si, i, b, f, t
2200                   Statistics: Num rows: 11 Data size: 264 Basic stats: COMPLETE Column stats: COMPLETE
2201                   Group By Operator
2202                     aggregations: compute_stats(si, 'hll'), compute_stats(i, 'hll'), compute_stats(b, 'hll'), compute_stats(f, 'hll')
2203                     keys: t (type: tinyint)
2204                     mode: hash
2205                     outputColumnNames: _col0, _col1, _col2, _col3, _col4
2206                     Statistics: Num rows: 2 Data size: 3400 Basic stats: COMPLETE Column stats: COMPLETE
2207                     Reduce Output Operator
2208                       key expressions: _col0 (type: tinyint)
2209                       sort order: +
2210                       Map-reduce partition columns: _col0 (type: tinyint)
2211                       Statistics: Num rows: 2 Data size: 3400 Basic stats: COMPLETE Column stats: COMPLETE
2212                       value expressions: _col1 (type: struct<columntype:string,min:bigint,max:bigint,countnulls:bigint,bitvector:binary>), _col2 (type: struct<columntype:string,min:bigint,max:bigint,countnulls:bigint,bitvector:binary>), _col3 (type: struct<columntype:string,min:bigint,max:bigint,countnulls:bigint,bitvector:binary>), _col4 (type: struct<columntype:string,min:double,max:double,countnulls:bigint,bitvector:binary>)
2213         Reducer 3 
2214             Execution mode: llap
2215             Reduce Operator Tree:
2216               Group By Operator
2217                 aggregations: compute_stats(VALUE._col0), compute_stats(VALUE._col1), compute_stats(VALUE._col2), compute_stats(VALUE._col3)
2218                 keys: KEY._col0 (type: tinyint)
2219                 mode: mergepartial
2220                 outputColumnNames: _col0, _col1, _col2, _col3, _col4
2221                 Statistics: Num rows: 2 Data size: 3528 Basic stats: COMPLETE Column stats: COMPLETE
2222                 Select Operator
2223                   expressions: _col1 (type: struct<columntype:string,min:bigint,max:bigint,countnulls:bigint,numdistinctvalues:bigint,ndvbitvector:binary>), _col2 (type: struct<columntype:string,min:bigint,max:bigint,countnulls:bigint,numdistinctvalues:bigint,ndvbitvector:binary>), _col3 (type: struct<columntype:string,min:bigint,max:bigint,countnulls:bigint,numdistinctvalues:bigint,ndvbitvector:binary>), _col4 (type: struct<columntype:string,min:double,max:double,countnulls:bigint,numdistinctvalues:bigint,ndvbitvector:binary>), _col0 (type: tinyint)
2224                   outputColumnNames: _col0, _col1, _col2, _col3, _col4
2225                   Statistics: Num rows: 2 Data size: 3528 Basic stats: COMPLETE Column stats: COMPLETE
2226                   File Output Operator
2227                     compressed: false
2228                     Statistics: Num rows: 2 Data size: 3528 Basic stats: COMPLETE Column stats: COMPLETE
2229                     table:
2230                         input format: org.apache.hadoop.mapred.SequenceFileInputFormat
2231                         output format: org.apache.hadoop.hive.ql.io.HiveSequenceFileOutputFormat
2232                         serde: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
2233
2234   Stage: Stage-2
2235     Dependency Collection
2236
2237   Stage: Stage-0
2238     Move Operator
2239       tables:
2240           partition:
2241             t 
2242           replace: true
2243           table:
2244               input format: org.apache.hadoop.mapred.TextInputFormat
2245               output format: org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat
2246               serde: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
2247               name: default.over1k_part_buck_sort2_orc
2248
2249   Stage: Stage-3
2250     Stats Work
2251       Basic Stats Work:
2252       Column Stats Desc:
2253           Columns: si, i, b, f
2254           Column Types: smallint, int, bigint, float
2255           Table: default.over1k_part_buck_sort2_orc
2256
2257 PREHOOK: query: explain insert overwrite table over1k_part_buck_sort2_orc partition(t) select si,i,b,f,t from over1k_orc where t is null or t=27
2258 PREHOOK: type: QUERY
2259 POSTHOOK: query: explain insert overwrite table over1k_part_buck_sort2_orc partition(t) select si,i,b,f,t from over1k_orc where t is null or t=27
2260 POSTHOOK: type: QUERY
2261 STAGE DEPENDENCIES:
2262   Stage-1 is a root stage
2263   Stage-2 depends on stages: Stage-1
2264   Stage-0 depends on stages: Stage-2
2265   Stage-3 depends on stages: Stage-0
2266
2267 STAGE PLANS:
2268   Stage: Stage-1
2269     Tez
2270 #### A masked pattern was here ####
2271       Edges:
2272         Reducer 2 <- Map 1 (SIMPLE_EDGE)
2273 #### A masked pattern was here ####
2274       Vertices:
2275         Map 1 
2276             Map Operator Tree:
2277                 TableScan
2278                   alias: over1k_orc
2279                   Statistics: Num rows: 1049 Data size: 25160 Basic stats: COMPLETE Column stats: COMPLETE
2280                   Filter Operator
2281                     predicate: ((t = 27Y) or t is null) (type: boolean)
2282                     Statistics: Num rows: 11 Data size: 264 Basic stats: COMPLETE Column stats: COMPLETE
2283                     Select Operator
2284                       expressions: si (type: smallint), i (type: int), b (type: bigint), f (type: float), t (type: tinyint)
2285                       outputColumnNames: _col0, _col1, _col2, _col3, _col4
2286                       Statistics: Num rows: 11 Data size: 264 Basic stats: COMPLETE Column stats: COMPLETE
2287                       Reduce Output Operator
2288                         key expressions: _col4 (type: tinyint), '_bucket_number' (type: string), _col3 (type: float)
2289                         sort order: +++
2290                         Map-reduce partition columns: _col4 (type: tinyint)
2291                         Statistics: Num rows: 11 Data size: 264 Basic stats: COMPLETE Column stats: COMPLETE
2292                         value expressions: _col0 (type: smallint), _col1 (type: int), _col2 (type: bigint)
2293             Execution mode: vectorized, llap
2294             LLAP IO: all inputs
2295         Reducer 2 
2296             Execution mode: vectorized, llap
2297             Reduce Operator Tree:
2298               Select Operator
2299                 expressions: VALUE._col0 (type: smallint), VALUE._col1 (type: int), VALUE._col2 (type: bigint), KEY._col3 (type: float), KEY._col4 (type: tinyint), KEY.'_bucket_number' (type: string)
2300                 outputColumnNames: _col0, _col1, _col2, _col3, _col4, '_bucket_number'
2301                 Statistics: Num rows: 11 Data size: 1342 Basic stats: COMPLETE Column stats: COMPLETE
2302                 File Output Operator
2303                   compressed: false
2304                   Dp Sort State: PARTITION_BUCKET_SORTED
2305                   Statistics: Num rows: 11 Data size: 1342 Basic stats: COMPLETE Column stats: COMPLETE
2306                   table:
2307                       input format: org.apache.hadoop.mapred.TextInputFormat
2308                       output format: org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat
2309                       serde: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
2310                       name: default.over1k_part_buck_sort2_orc
2311
2312   Stage: Stage-2
2313     Dependency Collection
2314
2315   Stage: Stage-0
2316     Move Operator
2317       tables:
2318           partition:
2319             t 
2320           replace: true
2321           table:
2322               input format: org.apache.hadoop.mapred.TextInputFormat
2323               output format: org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat
2324               serde: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
2325               name: default.over1k_part_buck_sort2_orc
2326
2327   Stage: Stage-3
2328     Stats Work
2329       Basic Stats Work:
2330       Column Stats Desc:
2331           Columns: si, i, b, f
2332           Column Types: smallint, int, bigint, float
2333           Table: default.over1k_part_buck_sort2_orc
2334
2335 PREHOOK: query: insert overwrite table over1k_part_buck_sort2_orc partition(t) select si,i,b,f,t from over1k_orc where t is null or t=27
2336 PREHOOK: type: QUERY
2337 PREHOOK: Input: default@over1k_orc
2338 PREHOOK: Output: default@over1k_part_buck_sort2_orc
2339 POSTHOOK: query: insert overwrite table over1k_part_buck_sort2_orc partition(t) select si,i,b,f,t from over1k_orc where t is null or t=27
2340 POSTHOOK: type: QUERY
2341 POSTHOOK: Input: default@over1k_orc
2342 POSTHOOK: Output: default@over1k_part_buck_sort2_orc@t=27
2343 POSTHOOK: Output: default@over1k_part_buck_sort2_orc@t=__HIVE_DEFAULT_PARTITION__
2344 POSTHOOK: Lineage: over1k_part_buck_sort2_orc PARTITION(t=27).b SIMPLE [(over1k_orc)over1k_orc.FieldSchema(name:b, type:bigint, comment:null), ]
2345 POSTHOOK: Lineage: over1k_part_buck_sort2_orc PARTITION(t=27).f SIMPLE [(over1k_orc)over1k_orc.FieldSchema(name:f, type:float, comment:null), ]
2346 POSTHOOK: Lineage: over1k_part_buck_sort2_orc PARTITION(t=27).i SIMPLE [(over1k_orc)over1k_orc.FieldSchema(name:i, type:int, comment:null), ]
2347 POSTHOOK: Lineage: over1k_part_buck_sort2_orc PARTITION(t=27).si SIMPLE [(over1k_orc)over1k_orc.FieldSchema(name:si, type:smallint, comment:null), ]
2348 POSTHOOK: Lineage: over1k_part_buck_sort2_orc PARTITION(t=__HIVE_DEFAULT_PARTITION__).b SIMPLE [(over1k_orc)over1k_orc.FieldSchema(name:b, type:bigint, comment:null), ]
2349 POSTHOOK: Lineage: over1k_part_buck_sort2_orc PARTITION(t=__HIVE_DEFAULT_PARTITION__).f SIMPLE [(over1k_orc)over1k_orc.FieldSchema(name:f, type:float, comment:null), ]
2350 POSTHOOK: Lineage: over1k_part_buck_sort2_orc PARTITION(t=__HIVE_DEFAULT_PARTITION__).i SIMPLE [(over1k_orc)over1k_orc.FieldSchema(name:i, type:int, comment:null), ]
2351 POSTHOOK: Lineage: over1k_part_buck_sort2_orc PARTITION(t=__HIVE_DEFAULT_PARTITION__).si SIMPLE [(over1k_orc)over1k_orc.FieldSchema(name:si, type:smallint, comment:null), ]
2352 PREHOOK: query: desc formatted over1k_part_buck_sort2_orc partition(t=27)
2353 PREHOOK: type: DESCTABLE
2354 PREHOOK: Input: default@over1k_part_buck_sort2_orc
2355 POSTHOOK: query: desc formatted over1k_part_buck_sort2_orc partition(t=27)
2356 POSTHOOK: type: DESCTABLE
2357 POSTHOOK: Input: default@over1k_part_buck_sort2_orc
2358 # col_name              data_type               comment             
2359 si                      smallint                                    
2360 i                       int                                         
2361 b                       bigint                                      
2362 f                       float                                       
2363                  
2364 # Partition Information          
2365 # col_name              data_type               comment             
2366 t                       tinyint                                     
2367                  
2368 # Detailed Partition Information                 
2369 Partition Value:        [27]                     
2370 Database:               default                  
2371 Table:                  over1k_part_buck_sort2_orc       
2372 #### A masked pattern was here ####
2373 Partition Parameters:            
2374         COLUMN_STATS_ACCURATE   {\"BASIC_STATS\":\"true\",\"COLUMN_STATS\":{\"b\":\"true\",\"f\":\"true\",\"i\":\"true\",\"si\":\"true\"}}
2375         numFiles                1                   
2376         numRows                 16                  
2377         rawDataSize             415                 
2378         totalSize               431                 
2379 #### A masked pattern was here ####
2380                  
2381 # Storage Information            
2382 SerDe Library:          org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe       
2383 InputFormat:            org.apache.hadoop.mapred.TextInputFormat         
2384 OutputFormat:           org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat       
2385 Compressed:             No                       
2386 Num Buckets:            1                        
2387 Bucket Columns:         [si]                     
2388 Sort Columns:           [Order(col:f, order:1)]  
2389 Storage Desc Params:             
2390         serialization.format    1                   
2391 PREHOOK: query: desc formatted over1k_part_buck_sort2_orc partition(t="__HIVE_DEFAULT_PARTITION__")
2392 PREHOOK: type: DESCTABLE
2393 PREHOOK: Input: default@over1k_part_buck_sort2_orc
2394 POSTHOOK: query: desc formatted over1k_part_buck_sort2_orc partition(t="__HIVE_DEFAULT_PARTITION__")
2395 POSTHOOK: type: DESCTABLE
2396 POSTHOOK: Input: default@over1k_part_buck_sort2_orc
2397 # col_name              data_type               comment             
2398 si                      smallint                                    
2399 i                       int                                         
2400 b                       bigint                                      
2401 f                       float                                       
2402                  
2403 # Partition Information          
2404 # col_name              data_type               comment             
2405 t                       tinyint                                     
2406                  
2407 # Detailed Partition Information                 
2408 Partition Value:        [__HIVE_DEFAULT_PARTITION__]     
2409 Database:               default                  
2410 Table:                  over1k_part_buck_sort2_orc       
2411 #### A masked pattern was here ####
2412 Partition Parameters:            
2413         COLUMN_STATS_ACCURATE   {\"BASIC_STATS\":\"true\",\"COLUMN_STATS\":{\"b\":\"true\",\"f\":\"true\",\"i\":\"true\",\"si\":\"true\"}}
2414         numFiles                1                   
2415         numRows                 3                   
2416         rawDataSize             78                  
2417         totalSize               81                  
2418 #### A masked pattern was here ####
2419                  
2420 # Storage Information            
2421 SerDe Library:          org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe       
2422 InputFormat:            org.apache.hadoop.mapred.TextInputFormat         
2423 OutputFormat:           org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat       
2424 Compressed:             No                       
2425 Num Buckets:            1                        
2426 Bucket Columns:         [si]                     
2427 Sort Columns:           [Order(col:f, order:1)]  
2428 Storage Desc Params:             
2429         serialization.format    1                   
2430 PREHOOK: query: explain select * from over1k_part_buck_sort2_orc
2431 PREHOOK: type: QUERY
2432 POSTHOOK: query: explain select * from over1k_part_buck_sort2_orc
2433 POSTHOOK: type: QUERY
2434 STAGE DEPENDENCIES:
2435   Stage-0 is a root stage
2436
2437 STAGE PLANS:
2438   Stage: Stage-0
2439     Fetch Operator
2440       limit: -1
2441       Processor Tree:
2442         TableScan
2443           alias: over1k_part_buck_sort2_orc
2444           Select Operator
2445             expressions: si (type: smallint), i (type: int), b (type: bigint), f (type: float), t (type: tinyint)
2446             outputColumnNames: _col0, _col1, _col2, _col3, _col4
2447             ListSink
2448
2449 PREHOOK: query: select * from over1k_part_buck_sort2_orc
2450 PREHOOK: type: QUERY
2451 PREHOOK: Input: default@over1k_part_buck_sort2_orc
2452 PREHOOK: Input: default@over1k_part_buck_sort2_orc@t=27
2453 PREHOOK: Input: default@over1k_part_buck_sort2_orc@t=__HIVE_DEFAULT_PARTITION__
2454 #### A masked pattern was here ####
2455 POSTHOOK: query: select * from over1k_part_buck_sort2_orc
2456 POSTHOOK: type: QUERY
2457 POSTHOOK: Input: default@over1k_part_buck_sort2_orc
2458 POSTHOOK: Input: default@over1k_part_buck_sort2_orc@t=27
2459 POSTHOOK: Input: default@over1k_part_buck_sort2_orc@t=__HIVE_DEFAULT_PARTITION__
2460 #### A masked pattern was here ####
2461 329     65778   4294967451      6.63    27
2462 367     65675   4294967518      12.32   27
2463 278     65622   4294967516      25.67   27
2464 335     65636   4294967505      37.14   27
2465 262     65787   4294967371      57.35   27
2466 490     65680   4294967347      57.46   27
2467 335     65617   4294967381      64.87   27
2468 482     65624   4294967313      78.98   27
2469 457     65570   4294967464      81.58   27
2470 405     65536   4294967508      82.24   27
2471 287     65708   4294967542      83.33   27
2472 261     65619   4294967401      88.78   27
2473 256     65599   4294967383      89.55   27
2474 503     65628   4294967371      95.07   27
2475 401     65779   4294967402      97.39   27
2476 340     65677   4294967461      98.96   27
2477 409     65536   4294967490      46.97   NULL
2478 374     65560   4294967516      65.43   NULL
2479 473     65720   4294967324      80.74   NULL
2480 PREHOOK: query: explain select count(*) from over1k_part_buck_sort2_orc
2481 PREHOOK: type: QUERY
2482 POSTHOOK: query: explain select count(*) from over1k_part_buck_sort2_orc
2483 POSTHOOK: type: QUERY
2484 STAGE DEPENDENCIES:
2485   Stage-1 is a root stage
2486   Stage-0 depends on stages: Stage-1
2487
2488 STAGE PLANS:
2489   Stage: Stage-1
2490     Tez
2491 #### A masked pattern was here ####
2492       Edges:
2493         Reducer 2 <- Map 1 (CUSTOM_SIMPLE_EDGE)
2494 #### A masked pattern was here ####
2495       Vertices:
2496         Map 1 
2497             Map Operator Tree:
2498                 TableScan
2499                   alias: over1k_part_buck_sort2_orc
2500                   Statistics: Num rows: 19 Data size: 645 Basic stats: COMPLETE Column stats: COMPLETE
2501                   Select Operator
2502                     Statistics: Num rows: 19 Data size: 645 Basic stats: COMPLETE Column stats: COMPLETE
2503                     Group By Operator
2504                       aggregations: count()
2505                       mode: hash
2506                       outputColumnNames: _col0
2507                       Statistics: Num rows: 1 Data size: 8 Basic stats: COMPLETE Column stats: COMPLETE
2508                       Reduce Output Operator
2509                         sort order: 
2510                         Statistics: Num rows: 1 Data size: 8 Basic stats: COMPLETE Column stats: COMPLETE
2511                         value expressions: _col0 (type: bigint)
2512             Execution mode: vectorized, llap
2513             LLAP IO: no inputs
2514         Reducer 2 
2515             Execution mode: vectorized, llap
2516             Reduce Operator Tree:
2517               Group By Operator
2518                 aggregations: count(VALUE._col0)
2519                 mode: mergepartial
2520                 outputColumnNames: _col0
2521                 Statistics: Num rows: 1 Data size: 8 Basic stats: COMPLETE Column stats: COMPLETE
2522                 File Output Operator
2523                   compressed: false
2524                   Statistics: Num rows: 1 Data size: 8 Basic stats: COMPLETE Column stats: COMPLETE
2525                   table:
2526                       input format: org.apache.hadoop.mapred.SequenceFileInputFormat
2527                       output format: org.apache.hadoop.hive.ql.io.HiveSequenceFileOutputFormat
2528                       serde: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
2529
2530   Stage: Stage-0
2531     Fetch Operator
2532       limit: -1
2533       Processor Tree:
2534         ListSink
2535
2536 PREHOOK: query: select count(*) from over1k_part_buck_sort2_orc
2537 PREHOOK: type: QUERY
2538 PREHOOK: Input: default@over1k_part_buck_sort2_orc
2539 PREHOOK: Input: default@over1k_part_buck_sort2_orc@t=27
2540 PREHOOK: Input: default@over1k_part_buck_sort2_orc@t=__HIVE_DEFAULT_PARTITION__
2541 #### A masked pattern was here ####
2542 POSTHOOK: query: select count(*) from over1k_part_buck_sort2_orc
2543 POSTHOOK: type: QUERY
2544 POSTHOOK: Input: default@over1k_part_buck_sort2_orc
2545 POSTHOOK: Input: default@over1k_part_buck_sort2_orc@t=27
2546 POSTHOOK: Input: default@over1k_part_buck_sort2_orc@t=__HIVE_DEFAULT_PARTITION__
2547 #### A masked pattern was here ####
2548 19
2549 PREHOOK: query: insert overwrite table over1k_part_buck_sort2_orc partition(t) select si,i,b,f,t from over1k_orc where t is null or t=27
2550 PREHOOK: type: QUERY
2551 PREHOOK: Input: default@over1k_orc
2552 PREHOOK: Output: default@over1k_part_buck_sort2_orc
2553 POSTHOOK: query: insert overwrite table over1k_part_buck_sort2_orc partition(t) select si,i,b,f,t from over1k_orc where t is null or t=27
2554 POSTHOOK: type: QUERY
2555 POSTHOOK: Input: default@over1k_orc
2556 POSTHOOK: Output: default@over1k_part_buck_sort2_orc@t=27
2557 POSTHOOK: Output: default@over1k_part_buck_sort2_orc@t=__HIVE_DEFAULT_PARTITION__
2558 POSTHOOK: Lineage: over1k_part_buck_sort2_orc PARTITION(t=27).b SIMPLE [(over1k_orc)over1k_orc.FieldSchema(name:b, type:bigint, comment:null), ]
2559 POSTHOOK: Lineage: over1k_part_buck_sort2_orc PARTITION(t=27).f SIMPLE [(over1k_orc)over1k_orc.FieldSchema(name:f, type:float, comment:null), ]
2560 POSTHOOK: Lineage: over1k_part_buck_sort2_orc PARTITION(t=27).i SIMPLE [(over1k_orc)over1k_orc.FieldSchema(name:i, type:int, comment:null), ]
2561 POSTHOOK: Lineage: over1k_part_buck_sort2_orc PARTITION(t=27).si SIMPLE [(over1k_orc)over1k_orc.FieldSchema(name:si, type:smallint, comment:null), ]
2562 POSTHOOK: Lineage: over1k_part_buck_sort2_orc PARTITION(t=__HIVE_DEFAULT_PARTITION__).b SIMPLE [(over1k_orc)over1k_orc.FieldSchema(name:b, type:bigint, comment:null), ]
2563 POSTHOOK: Lineage: over1k_part_buck_sort2_orc PARTITION(t=__HIVE_DEFAULT_PARTITION__).f SIMPLE [(over1k_orc)over1k_orc.FieldSchema(name:f, type:float, comment:null), ]
2564 POSTHOOK: Lineage: over1k_part_buck_sort2_orc PARTITION(t=__HIVE_DEFAULT_PARTITION__).i SIMPLE [(over1k_orc)over1k_orc.FieldSchema(name:i, type:int, comment:null), ]
2565 POSTHOOK: Lineage: over1k_part_buck_sort2_orc PARTITION(t=__HIVE_DEFAULT_PARTITION__).si SIMPLE [(over1k_orc)over1k_orc.FieldSchema(name:si, type:smallint, comment:null), ]
2566 PREHOOK: query: desc formatted over1k_part_buck_sort2_orc partition(t=27)
2567 PREHOOK: type: DESCTABLE
2568 PREHOOK: Input: default@over1k_part_buck_sort2_orc
2569 POSTHOOK: query: desc formatted over1k_part_buck_sort2_orc partition(t=27)
2570 POSTHOOK: type: DESCTABLE
2571 POSTHOOK: Input: default@over1k_part_buck_sort2_orc
2572 # col_name              data_type               comment             
2573 si                      smallint                                    
2574 i                       int                                         
2575 b                       bigint                                      
2576 f                       float                                       
2577                  
2578 # Partition Information          
2579 # col_name              data_type               comment             
2580 t                       tinyint                                     
2581                  
2582 # Detailed Partition Information                 
2583 Partition Value:        [27]                     
2584 Database:               default                  
2585 Table:                  over1k_part_buck_sort2_orc       
2586 #### A masked pattern was here ####
2587 Partition Parameters:            
2588         COLUMN_STATS_ACCURATE   {\"BASIC_STATS\":\"true\",\"COLUMN_STATS\":{\"b\":\"true\",\"f\":\"true\",\"i\":\"true\",\"si\":\"true\"}}
2589         numFiles                1                   
2590         numRows                 16                  
2591         rawDataSize             415                 
2592         totalSize               431                 
2593 #### A masked pattern was here ####
2594                  
2595 # Storage Information            
2596 SerDe Library:          org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe       
2597 InputFormat:            org.apache.hadoop.mapred.TextInputFormat         
2598 OutputFormat:           org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat       
2599 Compressed:             No                       
2600 Num Buckets:            1                        
2601 Bucket Columns:         [si]                     
2602 Sort Columns:           [Order(col:f, order:1)]  
2603 Storage Desc Params:             
2604         serialization.format    1                   
2605 PREHOOK: query: desc formatted over1k_part_buck_sort2_orc partition(t="__HIVE_DEFAULT_PARTITION__")
2606 PREHOOK: type: DESCTABLE
2607 PREHOOK: Input: default@over1k_part_buck_sort2_orc
2608 POSTHOOK: query: desc formatted over1k_part_buck_sort2_orc partition(t="__HIVE_DEFAULT_PARTITION__")
2609 POSTHOOK: type: DESCTABLE
2610 POSTHOOK: Input: default@over1k_part_buck_sort2_orc
2611 # col_name              data_type               comment             
2612 si                      smallint                                    
2613 i                       int                                         
2614 b                       bigint                                      
2615 f                       float                                       
2616                  
2617 # Partition Information          
2618 # col_name              data_type               comment             
2619 t                       tinyint                                     
2620                  
2621 # Detailed Partition Information                 
2622 Partition Value:        [__HIVE_DEFAULT_PARTITION__]     
2623 Database:               default                  
2624 Table:                  over1k_part_buck_sort2_orc       
2625 #### A masked pattern was here ####
2626 Partition Parameters:            
2627         COLUMN_STATS_ACCURATE   {\"BASIC_STATS\":\"true\",\"COLUMN_STATS\":{\"b\":\"true\",\"f\":\"true\",\"i\":\"true\",\"si\":\"true\"}}
2628         numFiles                1                   
2629         numRows                 2                   
2630         rawDataSize             52                  
2631         totalSize               27                  
2632 #### A masked pattern was here ####
2633                  
2634 # Storage Information            
2635 SerDe Library:          org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe       
2636 InputFormat:            org.apache.hadoop.mapred.TextInputFormat         
2637 OutputFormat:           org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat       
2638 Compressed:             No                       
2639 Num Buckets:            1                        
2640 Bucket Columns:         [si]                     
2641 Sort Columns:           [Order(col:f, order:1)]  
2642 Storage Desc Params:             
2643         serialization.format    1                   
2644 PREHOOK: query: explain select * from over1k_part_buck_sort2_orc
2645 PREHOOK: type: QUERY
2646 POSTHOOK: query: explain select * from over1k_part_buck_sort2_orc
2647 POSTHOOK: type: QUERY
2648 STAGE DEPENDENCIES:
2649   Stage-0 is a root stage
2650
2651 STAGE PLANS:
2652   Stage: Stage-0
2653     Fetch Operator
2654       limit: -1
2655       Processor Tree:
2656         TableScan
2657           alias: over1k_part_buck_sort2_orc
2658           Select Operator
2659             expressions: si (type: smallint), i (type: int), b (type: bigint), f (type: float), t (type: tinyint)
2660             outputColumnNames: _col0, _col1, _col2, _col3, _col4
2661             ListSink
2662
2663 PREHOOK: query: select * from over1k_part_buck_sort2_orc
2664 PREHOOK: type: QUERY
2665 PREHOOK: Input: default@over1k_part_buck_sort2_orc
2666 PREHOOK: Input: default@over1k_part_buck_sort2_orc@t=27
2667 PREHOOK: Input: default@over1k_part_buck_sort2_orc@t=__HIVE_DEFAULT_PARTITION__
2668 #### A masked pattern was here ####
2669 POSTHOOK: query: select * from over1k_part_buck_sort2_orc
2670 POSTHOOK: type: QUERY
2671 POSTHOOK: Input: default@over1k_part_buck_sort2_orc
2672 POSTHOOK: Input: default@over1k_part_buck_sort2_orc@t=27
2673 POSTHOOK: Input: default@over1k_part_buck_sort2_orc@t=__HIVE_DEFAULT_PARTITION__
2674 #### A masked pattern was here ####
2675 329     65778   4294967451      6.63    27
2676 367     65675   4294967518      12.32   27
2677 278     65622   4294967516      25.67   27
2678 335     65636   4294967505      37.14   27
2679 262     65787   4294967371      57.35   27
2680 490     65680   4294967347      57.46   27
2681 335     65617   4294967381      64.87   27
2682 482     65624   4294967313      78.98   27
2683 457     65570   4294967464      81.58   27
2684 405     65536   4294967508      82.24   27
2685 287     65708   4294967542      83.33   27
2686 261     65619   4294967401      88.78   27
2687 256     65599   4294967383      89.55   27
2688 503     65628   4294967371      95.07   27
2689 401     65779   4294967402      97.39   27
2690 340     65677   4294967461      98.96   27
2691 473     65720   4294967324      80.74   NULL
2692 PREHOOK: query: explain select count(*) from over1k_part_buck_sort2_orc
2693 PREHOOK: type: QUERY
2694 POSTHOOK: query: explain select count(*) from over1k_part_buck_sort2_orc
2695 POSTHOOK: type: QUERY
2696 STAGE DEPENDENCIES:
2697   Stage-1 is a root stage
2698   Stage-0 depends on stages: Stage-1
2699
2700 STAGE PLANS:
2701   Stage: Stage-1
2702     Tez
2703 #### A masked pattern was here ####
2704       Edges:
2705         Reducer 2 <- Map 1 (CUSTOM_SIMPLE_EDGE)
2706 #### A masked pattern was here ####
2707       Vertices:
2708         Map 1 
2709             Map Operator Tree:
2710                 TableScan
2711                   alias: over1k_part_buck_sort2_orc
2712                   Statistics: Num rows: 18 Data size: 611 Basic stats: COMPLETE Column stats: COMPLETE
2713                   Select Operator
2714                     Statistics: Num rows: 18 Data size: 611 Basic stats: COMPLETE Column stats: COMPLETE
2715                     Group By Operator
2716                       aggregations: count()
2717                       mode: hash
2718                       outputColumnNames: _col0
2719                       Statistics: Num rows: 1 Data size: 8 Basic stats: COMPLETE Column stats: COMPLETE
2720                       Reduce Output Operator
2721                         sort order: 
2722                         Statistics: Num rows: 1 Data size: 8 Basic stats: COMPLETE Column stats: COMPLETE
2723                         value expressions: _col0 (type: bigint)
2724             Execution mode: vectorized, llap
2725             LLAP IO: no inputs
2726         Reducer 2 
2727             Execution mode: vectorized, llap
2728             Reduce Operator Tree:
2729               Group By Operator
2730                 aggregations: count(VALUE._col0)
2731                 mode: mergepartial
2732                 outputColumnNames: _col0
2733                 Statistics: Num rows: 1 Data size: 8 Basic stats: COMPLETE Column stats: COMPLETE
2734                 File Output Operator
2735                   compressed: false
2736                   Statistics: Num rows: 1 Data size: 8 Basic stats: COMPLETE Column stats: COMPLETE
2737                   table:
2738                       input format: org.apache.hadoop.mapred.SequenceFileInputFormat
2739                       output format: org.apache.hadoop.hive.ql.io.HiveSequenceFileOutputFormat
2740                       serde: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
2741
2742   Stage: Stage-0
2743     Fetch Operator
2744       limit: -1
2745       Processor Tree:
2746         ListSink
2747
2748 PREHOOK: query: select count(*) from over1k_part_buck_sort2_orc
2749 PREHOOK: type: QUERY
2750 PREHOOK: Input: default@over1k_part_buck_sort2_orc
2751 PREHOOK: Input: default@over1k_part_buck_sort2_orc@t=27
2752 PREHOOK: Input: default@over1k_part_buck_sort2_orc@t=__HIVE_DEFAULT_PARTITION__
2753 #### A masked pattern was here ####
2754 POSTHOOK: query: select count(*) from over1k_part_buck_sort2_orc
2755 POSTHOOK: type: QUERY
2756 POSTHOOK: Input: default@over1k_part_buck_sort2_orc
2757 POSTHOOK: Input: default@over1k_part_buck_sort2_orc@t=27
2758 POSTHOOK: Input: default@over1k_part_buck_sort2_orc@t=__HIVE_DEFAULT_PARTITION__
2759 #### A masked pattern was here ####
2760 17