HIVE-18797 : ExprConstNodeDesc's getExprString should put appropriate qualifier with...
[hive.git] / ql / src / test / results / clientpositive / llap / dynpart_sort_optimization.q.out
1 PREHOOK: query: create table over1k(
2            t tinyint,
3            si smallint,
4            i int,
5            b bigint,
6            f float,
7            d double,
8            bo boolean,
9            s string,
10            ts timestamp,
11            `dec` decimal(4,2),
12            bin binary)
13        row format delimited
14        fields terminated by '|'
15 PREHOOK: type: CREATETABLE
16 PREHOOK: Output: database:default
17 PREHOOK: Output: default@over1k
18 POSTHOOK: query: create table over1k(
19            t tinyint,
20            si smallint,
21            i int,
22            b bigint,
23            f float,
24            d double,
25            bo boolean,
26            s string,
27            ts timestamp,
28            `dec` decimal(4,2),
29            bin binary)
30        row format delimited
31        fields terminated by '|'
32 POSTHOOK: type: CREATETABLE
33 POSTHOOK: Output: database:default
34 POSTHOOK: Output: default@over1k
35 PREHOOK: query: load data local inpath '../../data/files/over1k' into table over1k
36 PREHOOK: type: LOAD
37 #### A masked pattern was here ####
38 PREHOOK: Output: default@over1k
39 POSTHOOK: query: load data local inpath '../../data/files/over1k' into table over1k
40 POSTHOOK: type: LOAD
41 #### A masked pattern was here ####
42 POSTHOOK: Output: default@over1k
43 PREHOOK: query: create table over1k_part(
44            si smallint,
45            i int,
46            b bigint,
47            f float)
48        partitioned by (ds string, t tinyint)
49 PREHOOK: type: CREATETABLE
50 PREHOOK: Output: database:default
51 PREHOOK: Output: default@over1k_part
52 POSTHOOK: query: create table over1k_part(
53            si smallint,
54            i int,
55            b bigint,
56            f float)
57        partitioned by (ds string, t tinyint)
58 POSTHOOK: type: CREATETABLE
59 POSTHOOK: Output: database:default
60 POSTHOOK: Output: default@over1k_part
61 PREHOOK: query: create table over1k_part_limit like over1k_part
62 PREHOOK: type: CREATETABLE
63 PREHOOK: Output: database:default
64 PREHOOK: Output: default@over1k_part_limit
65 POSTHOOK: query: create table over1k_part_limit like over1k_part
66 POSTHOOK: type: CREATETABLE
67 POSTHOOK: Output: database:default
68 POSTHOOK: Output: default@over1k_part_limit
69 PREHOOK: query: create table over1k_part_buck(
70            si smallint,
71            i int,
72            b bigint,
73            f float)
74        partitioned by (t tinyint)
75        clustered by (si) into 4 buckets
76 PREHOOK: type: CREATETABLE
77 PREHOOK: Output: database:default
78 PREHOOK: Output: default@over1k_part_buck
79 POSTHOOK: query: create table over1k_part_buck(
80            si smallint,
81            i int,
82            b bigint,
83            f float)
84        partitioned by (t tinyint)
85        clustered by (si) into 4 buckets
86 POSTHOOK: type: CREATETABLE
87 POSTHOOK: Output: database:default
88 POSTHOOK: Output: default@over1k_part_buck
89 PREHOOK: query: create table over1k_part_buck_sort(
90            si smallint,
91            i int,
92            b bigint,
93            f float)
94        partitioned by (t tinyint)
95        clustered by (si) 
96        sorted by (f) into 4 buckets
97 PREHOOK: type: CREATETABLE
98 PREHOOK: Output: database:default
99 PREHOOK: Output: default@over1k_part_buck_sort
100 POSTHOOK: query: create table over1k_part_buck_sort(
101            si smallint,
102            i int,
103            b bigint,
104            f float)
105        partitioned by (t tinyint)
106        clustered by (si) 
107        sorted by (f) into 4 buckets
108 POSTHOOK: type: CREATETABLE
109 POSTHOOK: Output: database:default
110 POSTHOOK: Output: default@over1k_part_buck_sort
111 PREHOOK: query: explain insert overwrite table over1k_part partition(ds="foo", t) select si,i,b,f,t from over1k where t is null or t=27
112 PREHOOK: type: QUERY
113 POSTHOOK: query: explain insert overwrite table over1k_part partition(ds="foo", t) select si,i,b,f,t from over1k where t is null or t=27
114 POSTHOOK: type: QUERY
115 STAGE DEPENDENCIES:
116   Stage-1 is a root stage
117   Stage-2 depends on stages: Stage-1
118   Stage-0 depends on stages: Stage-2
119   Stage-3 depends on stages: Stage-0
120
121 STAGE PLANS:
122   Stage: Stage-1
123     Tez
124 #### A masked pattern was here ####
125       Edges:
126         Reducer 2 <- Map 1 (SIMPLE_EDGE)
127 #### A masked pattern was here ####
128       Vertices:
129         Map 1 
130             Map Operator Tree:
131                 TableScan
132                   alias: over1k
133                   Statistics: Num rows: 1 Data size: 24 Basic stats: COMPLETE Column stats: NONE
134                   Filter Operator
135                     predicate: ((t = 27Y) or t is null) (type: boolean)
136                     Statistics: Num rows: 1 Data size: 24 Basic stats: COMPLETE Column stats: NONE
137                     Select Operator
138                       expressions: si (type: smallint), i (type: int), b (type: bigint), f (type: float), t (type: tinyint)
139                       outputColumnNames: _col0, _col1, _col2, _col3, _col4
140                       Statistics: Num rows: 1 Data size: 24 Basic stats: COMPLETE Column stats: NONE
141                       Reduce Output Operator
142                         key expressions: _col4 (type: tinyint)
143                         sort order: +
144                         Map-reduce partition columns: _col4 (type: tinyint)
145                         Statistics: Num rows: 1 Data size: 24 Basic stats: COMPLETE Column stats: NONE
146                         value expressions: _col0 (type: smallint), _col1 (type: int), _col2 (type: bigint), _col3 (type: float)
147             Execution mode: llap
148             LLAP IO: no inputs
149         Reducer 2 
150             Execution mode: llap
151             Reduce Operator Tree:
152               Select Operator
153                 expressions: VALUE._col0 (type: smallint), VALUE._col1 (type: int), VALUE._col2 (type: bigint), VALUE._col3 (type: float), KEY._col4 (type: tinyint)
154                 outputColumnNames: _col0, _col1, _col2, _col3, _col4
155                 Statistics: Num rows: 1 Data size: 24 Basic stats: COMPLETE Column stats: NONE
156                 File Output Operator
157                   compressed: false
158                   Dp Sort State: PARTITION_SORTED
159                   Statistics: Num rows: 1 Data size: 24 Basic stats: COMPLETE Column stats: NONE
160                   table:
161                       input format: org.apache.hadoop.mapred.TextInputFormat
162                       output format: org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat
163                       serde: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
164                       name: default.over1k_part
165
166   Stage: Stage-2
167     Dependency Collection
168
169   Stage: Stage-0
170     Move Operator
171       tables:
172           partition:
173             ds foo
174             t 
175           replace: true
176           table:
177               input format: org.apache.hadoop.mapred.TextInputFormat
178               output format: org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat
179               serde: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
180               name: default.over1k_part
181
182   Stage: Stage-3
183     Stats Work
184       Basic Stats Work:
185       Column Stats Desc:
186           Columns: si, i, b, f
187           Column Types: smallint, int, bigint, float
188           Table: default.over1k_part
189
190 PREHOOK: query: explain insert overwrite table over1k_part_limit partition(ds="foo", t) select si,i,b,f,t from over1k where t is null or t=27 limit 10
191 PREHOOK: type: QUERY
192 POSTHOOK: query: explain insert overwrite table over1k_part_limit partition(ds="foo", t) select si,i,b,f,t from over1k where t is null or t=27 limit 10
193 POSTHOOK: type: QUERY
194 STAGE DEPENDENCIES:
195   Stage-1 is a root stage
196   Stage-2 depends on stages: Stage-1
197   Stage-0 depends on stages: Stage-2
198   Stage-3 depends on stages: Stage-0
199
200 STAGE PLANS:
201   Stage: Stage-1
202     Tez
203 #### A masked pattern was here ####
204       Edges:
205         Reducer 2 <- Map 1 (CUSTOM_SIMPLE_EDGE)
206         Reducer 3 <- Reducer 2 (SIMPLE_EDGE)
207 #### A masked pattern was here ####
208       Vertices:
209         Map 1 
210             Map Operator Tree:
211                 TableScan
212                   alias: over1k
213                   Statistics: Num rows: 1 Data size: 24 Basic stats: COMPLETE Column stats: NONE
214                   Filter Operator
215                     predicate: ((t = 27Y) or t is null) (type: boolean)
216                     Statistics: Num rows: 1 Data size: 24 Basic stats: COMPLETE Column stats: NONE
217                     Select Operator
218                       expressions: si (type: smallint), i (type: int), b (type: bigint), f (type: float), t (type: tinyint)
219                       outputColumnNames: _col0, _col1, _col2, _col3, _col4
220                       Statistics: Num rows: 1 Data size: 24 Basic stats: COMPLETE Column stats: NONE
221                       Limit
222                         Number of rows: 10
223                         Statistics: Num rows: 1 Data size: 24 Basic stats: COMPLETE Column stats: NONE
224                         Reduce Output Operator
225                           sort order: 
226                           Statistics: Num rows: 1 Data size: 24 Basic stats: COMPLETE Column stats: NONE
227                           TopN Hash Memory Usage: 0.1
228                           value expressions: _col0 (type: smallint), _col1 (type: int), _col2 (type: bigint), _col3 (type: float), _col4 (type: tinyint)
229             Execution mode: llap
230             LLAP IO: no inputs
231         Reducer 2 
232             Execution mode: llap
233             Reduce Operator Tree:
234               Select Operator
235                 expressions: VALUE._col0 (type: smallint), VALUE._col1 (type: int), VALUE._col2 (type: bigint), VALUE._col3 (type: float), VALUE._col4 (type: tinyint)
236                 outputColumnNames: _col0, _col1, _col2, _col3, _col4
237                 Statistics: Num rows: 1 Data size: 24 Basic stats: COMPLETE Column stats: NONE
238                 Limit
239                   Number of rows: 10
240                   Statistics: Num rows: 1 Data size: 24 Basic stats: COMPLETE Column stats: NONE
241                   Reduce Output Operator
242                     key expressions: _col4 (type: tinyint)
243                     sort order: +
244                     Map-reduce partition columns: _col4 (type: tinyint)
245                     Statistics: Num rows: 1 Data size: 24 Basic stats: COMPLETE Column stats: NONE
246                     value expressions: _col0 (type: smallint), _col1 (type: int), _col2 (type: bigint), _col3 (type: float)
247         Reducer 3 
248             Execution mode: llap
249             Reduce Operator Tree:
250               Select Operator
251                 expressions: VALUE._col0 (type: smallint), VALUE._col1 (type: int), VALUE._col2 (type: bigint), VALUE._col3 (type: float), KEY._col4 (type: tinyint)
252                 outputColumnNames: _col0, _col1, _col2, _col3, _col4
253                 Statistics: Num rows: 1 Data size: 24 Basic stats: COMPLETE Column stats: NONE
254                 File Output Operator
255                   compressed: false
256                   Dp Sort State: PARTITION_SORTED
257                   Statistics: Num rows: 1 Data size: 24 Basic stats: COMPLETE Column stats: NONE
258                   table:
259                       input format: org.apache.hadoop.mapred.TextInputFormat
260                       output format: org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat
261                       serde: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
262                       name: default.over1k_part_limit
263
264   Stage: Stage-2
265     Dependency Collection
266
267   Stage: Stage-0
268     Move Operator
269       tables:
270           partition:
271             ds foo
272             t 
273           replace: true
274           table:
275               input format: org.apache.hadoop.mapred.TextInputFormat
276               output format: org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat
277               serde: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
278               name: default.over1k_part_limit
279
280   Stage: Stage-3
281     Stats Work
282       Basic Stats Work:
283       Column Stats Desc:
284           Columns: si, i, b, f
285           Column Types: smallint, int, bigint, float
286           Table: default.over1k_part_limit
287
288 PREHOOK: query: explain insert overwrite table over1k_part_buck partition(t) select si,i,b,f,t from over1k where t is null or t=27
289 PREHOOK: type: QUERY
290 POSTHOOK: query: explain insert overwrite table over1k_part_buck partition(t) select si,i,b,f,t from over1k where t is null or t=27
291 POSTHOOK: type: QUERY
292 STAGE DEPENDENCIES:
293   Stage-1 is a root stage
294   Stage-2 depends on stages: Stage-1
295   Stage-0 depends on stages: Stage-2
296   Stage-3 depends on stages: Stage-0
297
298 STAGE PLANS:
299   Stage: Stage-1
300     Tez
301 #### A masked pattern was here ####
302       Edges:
303         Reducer 2 <- Map 1 (SIMPLE_EDGE)
304 #### A masked pattern was here ####
305       Vertices:
306         Map 1 
307             Map Operator Tree:
308                 TableScan
309                   alias: over1k
310                   Statistics: Num rows: 1 Data size: 24 Basic stats: COMPLETE Column stats: NONE
311                   Filter Operator
312                     predicate: ((t = 27Y) or t is null) (type: boolean)
313                     Statistics: Num rows: 1 Data size: 24 Basic stats: COMPLETE Column stats: NONE
314                     Select Operator
315                       expressions: si (type: smallint), i (type: int), b (type: bigint), f (type: float), t (type: tinyint)
316                       outputColumnNames: _col0, _col1, _col2, _col3, _col4
317                       Statistics: Num rows: 1 Data size: 24 Basic stats: COMPLETE Column stats: NONE
318                       Reduce Output Operator
319                         key expressions: _col4 (type: tinyint), '_bucket_number' (type: string)
320                         sort order: ++
321                         Map-reduce partition columns: _col4 (type: tinyint)
322                         Statistics: Num rows: 1 Data size: 24 Basic stats: COMPLETE Column stats: NONE
323                         value expressions: _col0 (type: smallint), _col1 (type: int), _col2 (type: bigint), _col3 (type: float)
324             Execution mode: llap
325             LLAP IO: no inputs
326         Reducer 2 
327             Execution mode: llap
328             Reduce Operator Tree:
329               Select Operator
330                 expressions: VALUE._col0 (type: smallint), VALUE._col1 (type: int), VALUE._col2 (type: bigint), VALUE._col3 (type: float), KEY._col4 (type: tinyint), KEY.'_bucket_number' (type: string)
331                 outputColumnNames: _col0, _col1, _col2, _col3, _col4, '_bucket_number'
332                 Statistics: Num rows: 1 Data size: 24 Basic stats: COMPLETE Column stats: NONE
333                 File Output Operator
334                   compressed: false
335                   Dp Sort State: PARTITION_BUCKET_SORTED
336                   Statistics: Num rows: 1 Data size: 24 Basic stats: COMPLETE Column stats: NONE
337                   table:
338                       input format: org.apache.hadoop.mapred.TextInputFormat
339                       output format: org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat
340                       serde: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
341                       name: default.over1k_part_buck
342
343   Stage: Stage-2
344     Dependency Collection
345
346   Stage: Stage-0
347     Move Operator
348       tables:
349           partition:
350             t 
351           replace: true
352           table:
353               input format: org.apache.hadoop.mapred.TextInputFormat
354               output format: org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat
355               serde: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
356               name: default.over1k_part_buck
357
358   Stage: Stage-3
359     Stats Work
360       Basic Stats Work:
361       Column Stats Desc:
362           Columns: si, i, b, f
363           Column Types: smallint, int, bigint, float
364           Table: default.over1k_part_buck
365
366 PREHOOK: query: explain insert overwrite table over1k_part_buck_sort partition(t) select si,i,b,f,t from over1k where t is null or t=27
367 PREHOOK: type: QUERY
368 POSTHOOK: query: explain insert overwrite table over1k_part_buck_sort partition(t) select si,i,b,f,t from over1k where t is null or t=27
369 POSTHOOK: type: QUERY
370 STAGE DEPENDENCIES:
371   Stage-1 is a root stage
372   Stage-2 depends on stages: Stage-1
373   Stage-0 depends on stages: Stage-2
374   Stage-3 depends on stages: Stage-0
375
376 STAGE PLANS:
377   Stage: Stage-1
378     Tez
379 #### A masked pattern was here ####
380       Edges:
381         Reducer 2 <- Map 1 (SIMPLE_EDGE)
382 #### A masked pattern was here ####
383       Vertices:
384         Map 1 
385             Map Operator Tree:
386                 TableScan
387                   alias: over1k
388                   Statistics: Num rows: 1 Data size: 24 Basic stats: COMPLETE Column stats: NONE
389                   Filter Operator
390                     predicate: ((t = 27Y) or t is null) (type: boolean)
391                     Statistics: Num rows: 1 Data size: 24 Basic stats: COMPLETE Column stats: NONE
392                     Select Operator
393                       expressions: si (type: smallint), i (type: int), b (type: bigint), f (type: float), t (type: tinyint)
394                       outputColumnNames: _col0, _col1, _col2, _col3, _col4
395                       Statistics: Num rows: 1 Data size: 24 Basic stats: COMPLETE Column stats: NONE
396                       Reduce Output Operator
397                         key expressions: _col4 (type: tinyint), '_bucket_number' (type: string), _col3 (type: float)
398                         sort order: +++
399                         Map-reduce partition columns: _col4 (type: tinyint)
400                         Statistics: Num rows: 1 Data size: 24 Basic stats: COMPLETE Column stats: NONE
401                         value expressions: _col0 (type: smallint), _col1 (type: int), _col2 (type: bigint)
402             Execution mode: llap
403             LLAP IO: no inputs
404         Reducer 2 
405             Execution mode: llap
406             Reduce Operator Tree:
407               Select Operator
408                 expressions: VALUE._col0 (type: smallint), VALUE._col1 (type: int), VALUE._col2 (type: bigint), KEY._col3 (type: float), KEY._col4 (type: tinyint), KEY.'_bucket_number' (type: string)
409                 outputColumnNames: _col0, _col1, _col2, _col3, _col4, '_bucket_number'
410                 Statistics: Num rows: 1 Data size: 24 Basic stats: COMPLETE Column stats: NONE
411                 File Output Operator
412                   compressed: false
413                   Dp Sort State: PARTITION_BUCKET_SORTED
414                   Statistics: Num rows: 1 Data size: 24 Basic stats: COMPLETE Column stats: NONE
415                   table:
416                       input format: org.apache.hadoop.mapred.TextInputFormat
417                       output format: org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat
418                       serde: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
419                       name: default.over1k_part_buck_sort
420
421   Stage: Stage-2
422     Dependency Collection
423
424   Stage: Stage-0
425     Move Operator
426       tables:
427           partition:
428             t 
429           replace: true
430           table:
431               input format: org.apache.hadoop.mapred.TextInputFormat
432               output format: org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat
433               serde: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
434               name: default.over1k_part_buck_sort
435
436   Stage: Stage-3
437     Stats Work
438       Basic Stats Work:
439       Column Stats Desc:
440           Columns: si, i, b, f
441           Column Types: smallint, int, bigint, float
442           Table: default.over1k_part_buck_sort
443
444 PREHOOK: query: insert overwrite table over1k_part partition(ds="foo", t) select si,i,b,f,t from over1k where t is null or t=27
445 PREHOOK: type: QUERY
446 PREHOOK: Input: default@over1k
447 PREHOOK: Output: default@over1k_part@ds=foo
448 POSTHOOK: query: insert overwrite table over1k_part partition(ds="foo", t) select si,i,b,f,t from over1k where t is null or t=27
449 POSTHOOK: type: QUERY
450 POSTHOOK: Input: default@over1k
451 POSTHOOK: Output: default@over1k_part@ds=foo/t=27
452 POSTHOOK: Output: default@over1k_part@ds=foo/t=__HIVE_DEFAULT_PARTITION__
453 POSTHOOK: Lineage: over1k_part PARTITION(ds=foo,t=27).b SIMPLE [(over1k)over1k.FieldSchema(name:b, type:bigint, comment:null), ]
454 POSTHOOK: Lineage: over1k_part PARTITION(ds=foo,t=27).f SIMPLE [(over1k)over1k.FieldSchema(name:f, type:float, comment:null), ]
455 POSTHOOK: Lineage: over1k_part PARTITION(ds=foo,t=27).i SIMPLE [(over1k)over1k.FieldSchema(name:i, type:int, comment:null), ]
456 POSTHOOK: Lineage: over1k_part PARTITION(ds=foo,t=27).si SIMPLE [(over1k)over1k.FieldSchema(name:si, type:smallint, comment:null), ]
457 POSTHOOK: Lineage: over1k_part PARTITION(ds=foo,t=__HIVE_DEFAULT_PARTITION__).b SIMPLE [(over1k)over1k.FieldSchema(name:b, type:bigint, comment:null), ]
458 POSTHOOK: Lineage: over1k_part PARTITION(ds=foo,t=__HIVE_DEFAULT_PARTITION__).f SIMPLE [(over1k)over1k.FieldSchema(name:f, type:float, comment:null), ]
459 POSTHOOK: Lineage: over1k_part PARTITION(ds=foo,t=__HIVE_DEFAULT_PARTITION__).i SIMPLE [(over1k)over1k.FieldSchema(name:i, type:int, comment:null), ]
460 POSTHOOK: Lineage: over1k_part PARTITION(ds=foo,t=__HIVE_DEFAULT_PARTITION__).si SIMPLE [(over1k)over1k.FieldSchema(name:si, type:smallint, comment:null), ]
461 PREHOOK: query: insert overwrite table over1k_part_limit partition(ds="foo", t) select si,i,b,f,t from over1k where t is null or t=27 limit 10
462 PREHOOK: type: QUERY
463 PREHOOK: Input: default@over1k
464 PREHOOK: Output: default@over1k_part_limit@ds=foo
465 POSTHOOK: query: insert overwrite table over1k_part_limit partition(ds="foo", t) select si,i,b,f,t from over1k where t is null or t=27 limit 10
466 POSTHOOK: type: QUERY
467 POSTHOOK: Input: default@over1k
468 POSTHOOK: Output: default@over1k_part_limit@ds=foo/t=27
469 POSTHOOK: Output: default@over1k_part_limit@ds=foo/t=__HIVE_DEFAULT_PARTITION__
470 POSTHOOK: Lineage: over1k_part_limit PARTITION(ds=foo,t=27).b SIMPLE [(over1k)over1k.FieldSchema(name:b, type:bigint, comment:null), ]
471 POSTHOOK: Lineage: over1k_part_limit PARTITION(ds=foo,t=27).f SIMPLE [(over1k)over1k.FieldSchema(name:f, type:float, comment:null), ]
472 POSTHOOK: Lineage: over1k_part_limit PARTITION(ds=foo,t=27).i SIMPLE [(over1k)over1k.FieldSchema(name:i, type:int, comment:null), ]
473 POSTHOOK: Lineage: over1k_part_limit PARTITION(ds=foo,t=27).si SIMPLE [(over1k)over1k.FieldSchema(name:si, type:smallint, comment:null), ]
474 POSTHOOK: Lineage: over1k_part_limit PARTITION(ds=foo,t=__HIVE_DEFAULT_PARTITION__).b SIMPLE [(over1k)over1k.FieldSchema(name:b, type:bigint, comment:null), ]
475 POSTHOOK: Lineage: over1k_part_limit PARTITION(ds=foo,t=__HIVE_DEFAULT_PARTITION__).f SIMPLE [(over1k)over1k.FieldSchema(name:f, type:float, comment:null), ]
476 POSTHOOK: Lineage: over1k_part_limit PARTITION(ds=foo,t=__HIVE_DEFAULT_PARTITION__).i SIMPLE [(over1k)over1k.FieldSchema(name:i, type:int, comment:null), ]
477 POSTHOOK: Lineage: over1k_part_limit PARTITION(ds=foo,t=__HIVE_DEFAULT_PARTITION__).si SIMPLE [(over1k)over1k.FieldSchema(name:si, type:smallint, comment:null), ]
478 PREHOOK: query: insert overwrite table over1k_part_buck partition(t) select si,i,b,f,t from over1k where t is null or t=27
479 PREHOOK: type: QUERY
480 PREHOOK: Input: default@over1k
481 PREHOOK: Output: default@over1k_part_buck
482 POSTHOOK: query: insert overwrite table over1k_part_buck partition(t) select si,i,b,f,t from over1k where t is null or t=27
483 POSTHOOK: type: QUERY
484 POSTHOOK: Input: default@over1k
485 POSTHOOK: Output: default@over1k_part_buck@t=27
486 POSTHOOK: Output: default@over1k_part_buck@t=__HIVE_DEFAULT_PARTITION__
487 POSTHOOK: Lineage: over1k_part_buck PARTITION(t=27).b SIMPLE [(over1k)over1k.FieldSchema(name:b, type:bigint, comment:null), ]
488 POSTHOOK: Lineage: over1k_part_buck PARTITION(t=27).f SIMPLE [(over1k)over1k.FieldSchema(name:f, type:float, comment:null), ]
489 POSTHOOK: Lineage: over1k_part_buck PARTITION(t=27).i SIMPLE [(over1k)over1k.FieldSchema(name:i, type:int, comment:null), ]
490 POSTHOOK: Lineage: over1k_part_buck PARTITION(t=27).si SIMPLE [(over1k)over1k.FieldSchema(name:si, type:smallint, comment:null), ]
491 POSTHOOK: Lineage: over1k_part_buck PARTITION(t=__HIVE_DEFAULT_PARTITION__).b SIMPLE [(over1k)over1k.FieldSchema(name:b, type:bigint, comment:null), ]
492 POSTHOOK: Lineage: over1k_part_buck PARTITION(t=__HIVE_DEFAULT_PARTITION__).f SIMPLE [(over1k)over1k.FieldSchema(name:f, type:float, comment:null), ]
493 POSTHOOK: Lineage: over1k_part_buck PARTITION(t=__HIVE_DEFAULT_PARTITION__).i SIMPLE [(over1k)over1k.FieldSchema(name:i, type:int, comment:null), ]
494 POSTHOOK: Lineage: over1k_part_buck PARTITION(t=__HIVE_DEFAULT_PARTITION__).si SIMPLE [(over1k)over1k.FieldSchema(name:si, type:smallint, comment:null), ]
495 PREHOOK: query: insert overwrite table over1k_part_buck_sort partition(t) select si,i,b,f,t from over1k where t is null or t=27
496 PREHOOK: type: QUERY
497 PREHOOK: Input: default@over1k
498 PREHOOK: Output: default@over1k_part_buck_sort
499 POSTHOOK: query: insert overwrite table over1k_part_buck_sort partition(t) select si,i,b,f,t from over1k where t is null or t=27
500 POSTHOOK: type: QUERY
501 POSTHOOK: Input: default@over1k
502 POSTHOOK: Output: default@over1k_part_buck_sort@t=27
503 POSTHOOK: Output: default@over1k_part_buck_sort@t=__HIVE_DEFAULT_PARTITION__
504 POSTHOOK: Lineage: over1k_part_buck_sort PARTITION(t=27).b SIMPLE [(over1k)over1k.FieldSchema(name:b, type:bigint, comment:null), ]
505 POSTHOOK: Lineage: over1k_part_buck_sort PARTITION(t=27).f SIMPLE [(over1k)over1k.FieldSchema(name:f, type:float, comment:null), ]
506 POSTHOOK: Lineage: over1k_part_buck_sort PARTITION(t=27).i SIMPLE [(over1k)over1k.FieldSchema(name:i, type:int, comment:null), ]
507 POSTHOOK: Lineage: over1k_part_buck_sort PARTITION(t=27).si SIMPLE [(over1k)over1k.FieldSchema(name:si, type:smallint, comment:null), ]
508 POSTHOOK: Lineage: over1k_part_buck_sort PARTITION(t=__HIVE_DEFAULT_PARTITION__).b SIMPLE [(over1k)over1k.FieldSchema(name:b, type:bigint, comment:null), ]
509 POSTHOOK: Lineage: over1k_part_buck_sort PARTITION(t=__HIVE_DEFAULT_PARTITION__).f SIMPLE [(over1k)over1k.FieldSchema(name:f, type:float, comment:null), ]
510 POSTHOOK: Lineage: over1k_part_buck_sort PARTITION(t=__HIVE_DEFAULT_PARTITION__).i SIMPLE [(over1k)over1k.FieldSchema(name:i, type:int, comment:null), ]
511 POSTHOOK: Lineage: over1k_part_buck_sort PARTITION(t=__HIVE_DEFAULT_PARTITION__).si SIMPLE [(over1k)over1k.FieldSchema(name:si, type:smallint, comment:null), ]
512 PREHOOK: query: explain insert into table over1k_part partition(ds="foo", t) select si,i,b,f,t from over1k where t is null or t=27
513 PREHOOK: type: QUERY
514 POSTHOOK: query: explain insert into table over1k_part partition(ds="foo", t) select si,i,b,f,t from over1k where t is null or t=27
515 POSTHOOK: type: QUERY
516 STAGE DEPENDENCIES:
517   Stage-1 is a root stage
518   Stage-2 depends on stages: Stage-1
519   Stage-0 depends on stages: Stage-2
520   Stage-3 depends on stages: Stage-0
521
522 STAGE PLANS:
523   Stage: Stage-1
524     Tez
525 #### A masked pattern was here ####
526       Edges:
527         Reducer 2 <- Map 1 (SIMPLE_EDGE)
528 #### A masked pattern was here ####
529       Vertices:
530         Map 1 
531             Map Operator Tree:
532                 TableScan
533                   alias: over1k
534                   Statistics: Num rows: 1 Data size: 24 Basic stats: COMPLETE Column stats: NONE
535                   Filter Operator
536                     predicate: ((t = 27Y) or t is null) (type: boolean)
537                     Statistics: Num rows: 1 Data size: 24 Basic stats: COMPLETE Column stats: NONE
538                     Select Operator
539                       expressions: si (type: smallint), i (type: int), b (type: bigint), f (type: float), t (type: tinyint)
540                       outputColumnNames: _col0, _col1, _col2, _col3, _col4
541                       Statistics: Num rows: 1 Data size: 24 Basic stats: COMPLETE Column stats: NONE
542                       Reduce Output Operator
543                         key expressions: _col4 (type: tinyint)
544                         sort order: +
545                         Map-reduce partition columns: _col4 (type: tinyint)
546                         Statistics: Num rows: 1 Data size: 24 Basic stats: COMPLETE Column stats: NONE
547                         value expressions: _col0 (type: smallint), _col1 (type: int), _col2 (type: bigint), _col3 (type: float)
548             Execution mode: llap
549             LLAP IO: no inputs
550         Reducer 2 
551             Execution mode: llap
552             Reduce Operator Tree:
553               Select Operator
554                 expressions: VALUE._col0 (type: smallint), VALUE._col1 (type: int), VALUE._col2 (type: bigint), VALUE._col3 (type: float), KEY._col4 (type: tinyint)
555                 outputColumnNames: _col0, _col1, _col2, _col3, _col4
556                 Statistics: Num rows: 1 Data size: 24 Basic stats: COMPLETE Column stats: NONE
557                 File Output Operator
558                   compressed: false
559                   Dp Sort State: PARTITION_SORTED
560                   Statistics: Num rows: 1 Data size: 24 Basic stats: COMPLETE Column stats: NONE
561                   table:
562                       input format: org.apache.hadoop.mapred.TextInputFormat
563                       output format: org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat
564                       serde: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
565                       name: default.over1k_part
566
567   Stage: Stage-2
568     Dependency Collection
569
570   Stage: Stage-0
571     Move Operator
572       tables:
573           partition:
574             ds foo
575             t 
576           replace: false
577           table:
578               input format: org.apache.hadoop.mapred.TextInputFormat
579               output format: org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat
580               serde: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
581               name: default.over1k_part
582
583   Stage: Stage-3
584     Stats Work
585       Basic Stats Work:
586       Column Stats Desc:
587           Columns: si, i, b, f
588           Column Types: smallint, int, bigint, float
589           Table: default.over1k_part
590
591 PREHOOK: query: explain insert into table over1k_part_limit partition(ds="foo", t) select si,i,b,f,t from over1k where t is null or t=27 limit 10
592 PREHOOK: type: QUERY
593 POSTHOOK: query: explain insert into table over1k_part_limit partition(ds="foo", t) select si,i,b,f,t from over1k where t is null or t=27 limit 10
594 POSTHOOK: type: QUERY
595 STAGE DEPENDENCIES:
596   Stage-1 is a root stage
597   Stage-2 depends on stages: Stage-1
598   Stage-0 depends on stages: Stage-2
599   Stage-3 depends on stages: Stage-0
600
601 STAGE PLANS:
602   Stage: Stage-1
603     Tez
604 #### A masked pattern was here ####
605       Edges:
606         Reducer 2 <- Map 1 (CUSTOM_SIMPLE_EDGE)
607         Reducer 3 <- Reducer 2 (SIMPLE_EDGE)
608 #### A masked pattern was here ####
609       Vertices:
610         Map 1 
611             Map Operator Tree:
612                 TableScan
613                   alias: over1k
614                   Statistics: Num rows: 1 Data size: 24 Basic stats: COMPLETE Column stats: NONE
615                   Filter Operator
616                     predicate: ((t = 27Y) or t is null) (type: boolean)
617                     Statistics: Num rows: 1 Data size: 24 Basic stats: COMPLETE Column stats: NONE
618                     Select Operator
619                       expressions: si (type: smallint), i (type: int), b (type: bigint), f (type: float), t (type: tinyint)
620                       outputColumnNames: _col0, _col1, _col2, _col3, _col4
621                       Statistics: Num rows: 1 Data size: 24 Basic stats: COMPLETE Column stats: NONE
622                       Limit
623                         Number of rows: 10
624                         Statistics: Num rows: 1 Data size: 24 Basic stats: COMPLETE Column stats: NONE
625                         Reduce Output Operator
626                           sort order: 
627                           Statistics: Num rows: 1 Data size: 24 Basic stats: COMPLETE Column stats: NONE
628                           TopN Hash Memory Usage: 0.1
629                           value expressions: _col0 (type: smallint), _col1 (type: int), _col2 (type: bigint), _col3 (type: float), _col4 (type: tinyint)
630             Execution mode: llap
631             LLAP IO: no inputs
632         Reducer 2 
633             Execution mode: llap
634             Reduce Operator Tree:
635               Select Operator
636                 expressions: VALUE._col0 (type: smallint), VALUE._col1 (type: int), VALUE._col2 (type: bigint), VALUE._col3 (type: float), VALUE._col4 (type: tinyint)
637                 outputColumnNames: _col0, _col1, _col2, _col3, _col4
638                 Statistics: Num rows: 1 Data size: 24 Basic stats: COMPLETE Column stats: NONE
639                 Limit
640                   Number of rows: 10
641                   Statistics: Num rows: 1 Data size: 24 Basic stats: COMPLETE Column stats: NONE
642                   Reduce Output Operator
643                     key expressions: _col4 (type: tinyint)
644                     sort order: +
645                     Map-reduce partition columns: _col4 (type: tinyint)
646                     Statistics: Num rows: 1 Data size: 24 Basic stats: COMPLETE Column stats: NONE
647                     value expressions: _col0 (type: smallint), _col1 (type: int), _col2 (type: bigint), _col3 (type: float)
648         Reducer 3 
649             Execution mode: llap
650             Reduce Operator Tree:
651               Select Operator
652                 expressions: VALUE._col0 (type: smallint), VALUE._col1 (type: int), VALUE._col2 (type: bigint), VALUE._col3 (type: float), KEY._col4 (type: tinyint)
653                 outputColumnNames: _col0, _col1, _col2, _col3, _col4
654                 Statistics: Num rows: 1 Data size: 24 Basic stats: COMPLETE Column stats: NONE
655                 File Output Operator
656                   compressed: false
657                   Dp Sort State: PARTITION_SORTED
658                   Statistics: Num rows: 1 Data size: 24 Basic stats: COMPLETE Column stats: NONE
659                   table:
660                       input format: org.apache.hadoop.mapred.TextInputFormat
661                       output format: org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat
662                       serde: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
663                       name: default.over1k_part_limit
664
665   Stage: Stage-2
666     Dependency Collection
667
668   Stage: Stage-0
669     Move Operator
670       tables:
671           partition:
672             ds foo
673             t 
674           replace: false
675           table:
676               input format: org.apache.hadoop.mapred.TextInputFormat
677               output format: org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat
678               serde: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
679               name: default.over1k_part_limit
680
681   Stage: Stage-3
682     Stats Work
683       Basic Stats Work:
684       Column Stats Desc:
685           Columns: si, i, b, f
686           Column Types: smallint, int, bigint, float
687           Table: default.over1k_part_limit
688
689 PREHOOK: query: explain insert into table over1k_part_buck partition(t) select si,i,b,f,t from over1k where t is null or t=27
690 PREHOOK: type: QUERY
691 POSTHOOK: query: explain insert into table over1k_part_buck partition(t) select si,i,b,f,t from over1k where t is null or t=27
692 POSTHOOK: type: QUERY
693 STAGE DEPENDENCIES:
694   Stage-1 is a root stage
695   Stage-2 depends on stages: Stage-1
696   Stage-0 depends on stages: Stage-2
697   Stage-3 depends on stages: Stage-0
698
699 STAGE PLANS:
700   Stage: Stage-1
701     Tez
702 #### A masked pattern was here ####
703       Edges:
704         Reducer 2 <- Map 1 (SIMPLE_EDGE)
705 #### A masked pattern was here ####
706       Vertices:
707         Map 1 
708             Map Operator Tree:
709                 TableScan
710                   alias: over1k
711                   Statistics: Num rows: 1 Data size: 24 Basic stats: COMPLETE Column stats: NONE
712                   Filter Operator
713                     predicate: ((t = 27Y) or t is null) (type: boolean)
714                     Statistics: Num rows: 1 Data size: 24 Basic stats: COMPLETE Column stats: NONE
715                     Select Operator
716                       expressions: si (type: smallint), i (type: int), b (type: bigint), f (type: float), t (type: tinyint)
717                       outputColumnNames: _col0, _col1, _col2, _col3, _col4
718                       Statistics: Num rows: 1 Data size: 24 Basic stats: COMPLETE Column stats: NONE
719                       Reduce Output Operator
720                         key expressions: _col4 (type: tinyint), '_bucket_number' (type: string)
721                         sort order: ++
722                         Map-reduce partition columns: _col4 (type: tinyint)
723                         Statistics: Num rows: 1 Data size: 24 Basic stats: COMPLETE Column stats: NONE
724                         value expressions: _col0 (type: smallint), _col1 (type: int), _col2 (type: bigint), _col3 (type: float)
725             Execution mode: llap
726             LLAP IO: no inputs
727         Reducer 2 
728             Execution mode: llap
729             Reduce Operator Tree:
730               Select Operator
731                 expressions: VALUE._col0 (type: smallint), VALUE._col1 (type: int), VALUE._col2 (type: bigint), VALUE._col3 (type: float), KEY._col4 (type: tinyint), KEY.'_bucket_number' (type: string)
732                 outputColumnNames: _col0, _col1, _col2, _col3, _col4, '_bucket_number'
733                 Statistics: Num rows: 1 Data size: 24 Basic stats: COMPLETE Column stats: NONE
734                 File Output Operator
735                   compressed: false
736                   Dp Sort State: PARTITION_BUCKET_SORTED
737                   Statistics: Num rows: 1 Data size: 24 Basic stats: COMPLETE Column stats: NONE
738                   table:
739                       input format: org.apache.hadoop.mapred.TextInputFormat
740                       output format: org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat
741                       serde: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
742                       name: default.over1k_part_buck
743
744   Stage: Stage-2
745     Dependency Collection
746
747   Stage: Stage-0
748     Move Operator
749       tables:
750           partition:
751             t 
752           replace: false
753           table:
754               input format: org.apache.hadoop.mapred.TextInputFormat
755               output format: org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat
756               serde: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
757               name: default.over1k_part_buck
758
759   Stage: Stage-3
760     Stats Work
761       Basic Stats Work:
762       Column Stats Desc:
763           Columns: si, i, b, f
764           Column Types: smallint, int, bigint, float
765           Table: default.over1k_part_buck
766
767 PREHOOK: query: explain insert into table over1k_part_buck_sort partition(t) select si,i,b,f,t from over1k where t is null or t=27
768 PREHOOK: type: QUERY
769 POSTHOOK: query: explain insert into table over1k_part_buck_sort partition(t) select si,i,b,f,t from over1k where t is null or t=27
770 POSTHOOK: type: QUERY
771 STAGE DEPENDENCIES:
772   Stage-1 is a root stage
773   Stage-2 depends on stages: Stage-1
774   Stage-0 depends on stages: Stage-2
775   Stage-3 depends on stages: Stage-0
776
777 STAGE PLANS:
778   Stage: Stage-1
779     Tez
780 #### A masked pattern was here ####
781       Edges:
782         Reducer 2 <- Map 1 (SIMPLE_EDGE)
783 #### A masked pattern was here ####
784       Vertices:
785         Map 1 
786             Map Operator Tree:
787                 TableScan
788                   alias: over1k
789                   Statistics: Num rows: 1 Data size: 24 Basic stats: COMPLETE Column stats: NONE
790                   Filter Operator
791                     predicate: ((t = 27Y) or t is null) (type: boolean)
792                     Statistics: Num rows: 1 Data size: 24 Basic stats: COMPLETE Column stats: NONE
793                     Select Operator
794                       expressions: si (type: smallint), i (type: int), b (type: bigint), f (type: float), t (type: tinyint)
795                       outputColumnNames: _col0, _col1, _col2, _col3, _col4
796                       Statistics: Num rows: 1 Data size: 24 Basic stats: COMPLETE Column stats: NONE
797                       Reduce Output Operator
798                         key expressions: _col4 (type: tinyint), '_bucket_number' (type: string), _col3 (type: float)
799                         sort order: +++
800                         Map-reduce partition columns: _col4 (type: tinyint)
801                         Statistics: Num rows: 1 Data size: 24 Basic stats: COMPLETE Column stats: NONE
802                         value expressions: _col0 (type: smallint), _col1 (type: int), _col2 (type: bigint)
803             Execution mode: llap
804             LLAP IO: no inputs
805         Reducer 2 
806             Execution mode: llap
807             Reduce Operator Tree:
808               Select Operator
809                 expressions: VALUE._col0 (type: smallint), VALUE._col1 (type: int), VALUE._col2 (type: bigint), KEY._col3 (type: float), KEY._col4 (type: tinyint), KEY.'_bucket_number' (type: string)
810                 outputColumnNames: _col0, _col1, _col2, _col3, _col4, '_bucket_number'
811                 Statistics: Num rows: 1 Data size: 24 Basic stats: COMPLETE Column stats: NONE
812                 File Output Operator
813                   compressed: false
814                   Dp Sort State: PARTITION_BUCKET_SORTED
815                   Statistics: Num rows: 1 Data size: 24 Basic stats: COMPLETE Column stats: NONE
816                   table:
817                       input format: org.apache.hadoop.mapred.TextInputFormat
818                       output format: org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat
819                       serde: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
820                       name: default.over1k_part_buck_sort
821
822   Stage: Stage-2
823     Dependency Collection
824
825   Stage: Stage-0
826     Move Operator
827       tables:
828           partition:
829             t 
830           replace: false
831           table:
832               input format: org.apache.hadoop.mapred.TextInputFormat
833               output format: org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat
834               serde: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
835               name: default.over1k_part_buck_sort
836
837   Stage: Stage-3
838     Stats Work
839       Basic Stats Work:
840       Column Stats Desc:
841           Columns: si, i, b, f
842           Column Types: smallint, int, bigint, float
843           Table: default.over1k_part_buck_sort
844
845 PREHOOK: query: insert into table over1k_part partition(ds="foo", t) select si,i,b,f,t from over1k where t is null or t=27
846 PREHOOK: type: QUERY
847 PREHOOK: Input: default@over1k
848 PREHOOK: Output: default@over1k_part@ds=foo
849 POSTHOOK: query: insert into table over1k_part partition(ds="foo", t) select si,i,b,f,t from over1k where t is null or t=27
850 POSTHOOK: type: QUERY
851 POSTHOOK: Input: default@over1k
852 POSTHOOK: Output: default@over1k_part@ds=foo/t=27
853 POSTHOOK: Output: default@over1k_part@ds=foo/t=__HIVE_DEFAULT_PARTITION__
854 POSTHOOK: Lineage: over1k_part PARTITION(ds=foo,t=27).b SIMPLE [(over1k)over1k.FieldSchema(name:b, type:bigint, comment:null), ]
855 POSTHOOK: Lineage: over1k_part PARTITION(ds=foo,t=27).f SIMPLE [(over1k)over1k.FieldSchema(name:f, type:float, comment:null), ]
856 POSTHOOK: Lineage: over1k_part PARTITION(ds=foo,t=27).i SIMPLE [(over1k)over1k.FieldSchema(name:i, type:int, comment:null), ]
857 POSTHOOK: Lineage: over1k_part PARTITION(ds=foo,t=27).si SIMPLE [(over1k)over1k.FieldSchema(name:si, type:smallint, comment:null), ]
858 POSTHOOK: Lineage: over1k_part PARTITION(ds=foo,t=__HIVE_DEFAULT_PARTITION__).b SIMPLE [(over1k)over1k.FieldSchema(name:b, type:bigint, comment:null), ]
859 POSTHOOK: Lineage: over1k_part PARTITION(ds=foo,t=__HIVE_DEFAULT_PARTITION__).f SIMPLE [(over1k)over1k.FieldSchema(name:f, type:float, comment:null), ]
860 POSTHOOK: Lineage: over1k_part PARTITION(ds=foo,t=__HIVE_DEFAULT_PARTITION__).i SIMPLE [(over1k)over1k.FieldSchema(name:i, type:int, comment:null), ]
861 POSTHOOK: Lineage: over1k_part PARTITION(ds=foo,t=__HIVE_DEFAULT_PARTITION__).si SIMPLE [(over1k)over1k.FieldSchema(name:si, type:smallint, comment:null), ]
862 PREHOOK: query: insert into table over1k_part_limit partition(ds="foo", t) select si,i,b,f,t from over1k where t is null or t=27 limit 10
863 PREHOOK: type: QUERY
864 PREHOOK: Input: default@over1k
865 PREHOOK: Output: default@over1k_part_limit@ds=foo
866 POSTHOOK: query: insert into table over1k_part_limit partition(ds="foo", t) select si,i,b,f,t from over1k where t is null or t=27 limit 10
867 POSTHOOK: type: QUERY
868 POSTHOOK: Input: default@over1k
869 POSTHOOK: Output: default@over1k_part_limit@ds=foo/t=27
870 POSTHOOK: Output: default@over1k_part_limit@ds=foo/t=__HIVE_DEFAULT_PARTITION__
871 POSTHOOK: Lineage: over1k_part_limit PARTITION(ds=foo,t=27).b SIMPLE [(over1k)over1k.FieldSchema(name:b, type:bigint, comment:null), ]
872 POSTHOOK: Lineage: over1k_part_limit PARTITION(ds=foo,t=27).f SIMPLE [(over1k)over1k.FieldSchema(name:f, type:float, comment:null), ]
873 POSTHOOK: Lineage: over1k_part_limit PARTITION(ds=foo,t=27).i SIMPLE [(over1k)over1k.FieldSchema(name:i, type:int, comment:null), ]
874 POSTHOOK: Lineage: over1k_part_limit PARTITION(ds=foo,t=27).si SIMPLE [(over1k)over1k.FieldSchema(name:si, type:smallint, comment:null), ]
875 POSTHOOK: Lineage: over1k_part_limit PARTITION(ds=foo,t=__HIVE_DEFAULT_PARTITION__).b SIMPLE [(over1k)over1k.FieldSchema(name:b, type:bigint, comment:null), ]
876 POSTHOOK: Lineage: over1k_part_limit PARTITION(ds=foo,t=__HIVE_DEFAULT_PARTITION__).f SIMPLE [(over1k)over1k.FieldSchema(name:f, type:float, comment:null), ]
877 POSTHOOK: Lineage: over1k_part_limit PARTITION(ds=foo,t=__HIVE_DEFAULT_PARTITION__).i SIMPLE [(over1k)over1k.FieldSchema(name:i, type:int, comment:null), ]
878 POSTHOOK: Lineage: over1k_part_limit PARTITION(ds=foo,t=__HIVE_DEFAULT_PARTITION__).si SIMPLE [(over1k)over1k.FieldSchema(name:si, type:smallint, comment:null), ]
879 PREHOOK: query: insert into table over1k_part_buck partition(t) select si,i,b,f,t from over1k where t is null or t=27
880 PREHOOK: type: QUERY
881 PREHOOK: Input: default@over1k
882 PREHOOK: Output: default@over1k_part_buck
883 POSTHOOK: query: insert into table over1k_part_buck partition(t) select si,i,b,f,t from over1k where t is null or t=27
884 POSTHOOK: type: QUERY
885 POSTHOOK: Input: default@over1k
886 POSTHOOK: Output: default@over1k_part_buck@t=27
887 POSTHOOK: Output: default@over1k_part_buck@t=__HIVE_DEFAULT_PARTITION__
888 POSTHOOK: Lineage: over1k_part_buck PARTITION(t=27).b SIMPLE [(over1k)over1k.FieldSchema(name:b, type:bigint, comment:null), ]
889 POSTHOOK: Lineage: over1k_part_buck PARTITION(t=27).f SIMPLE [(over1k)over1k.FieldSchema(name:f, type:float, comment:null), ]
890 POSTHOOK: Lineage: over1k_part_buck PARTITION(t=27).i SIMPLE [(over1k)over1k.FieldSchema(name:i, type:int, comment:null), ]
891 POSTHOOK: Lineage: over1k_part_buck PARTITION(t=27).si SIMPLE [(over1k)over1k.FieldSchema(name:si, type:smallint, comment:null), ]
892 POSTHOOK: Lineage: over1k_part_buck PARTITION(t=__HIVE_DEFAULT_PARTITION__).b SIMPLE [(over1k)over1k.FieldSchema(name:b, type:bigint, comment:null), ]
893 POSTHOOK: Lineage: over1k_part_buck PARTITION(t=__HIVE_DEFAULT_PARTITION__).f SIMPLE [(over1k)over1k.FieldSchema(name:f, type:float, comment:null), ]
894 POSTHOOK: Lineage: over1k_part_buck PARTITION(t=__HIVE_DEFAULT_PARTITION__).i SIMPLE [(over1k)over1k.FieldSchema(name:i, type:int, comment:null), ]
895 POSTHOOK: Lineage: over1k_part_buck PARTITION(t=__HIVE_DEFAULT_PARTITION__).si SIMPLE [(over1k)over1k.FieldSchema(name:si, type:smallint, comment:null), ]
896 PREHOOK: query: insert into table over1k_part_buck_sort partition(t) select si,i,b,f,t from over1k where t is null or t=27
897 PREHOOK: type: QUERY
898 PREHOOK: Input: default@over1k
899 PREHOOK: Output: default@over1k_part_buck_sort
900 POSTHOOK: query: insert into table over1k_part_buck_sort partition(t) select si,i,b,f,t from over1k where t is null or t=27
901 POSTHOOK: type: QUERY
902 POSTHOOK: Input: default@over1k
903 POSTHOOK: Output: default@over1k_part_buck_sort@t=27
904 POSTHOOK: Output: default@over1k_part_buck_sort@t=__HIVE_DEFAULT_PARTITION__
905 POSTHOOK: Lineage: over1k_part_buck_sort PARTITION(t=27).b SIMPLE [(over1k)over1k.FieldSchema(name:b, type:bigint, comment:null), ]
906 POSTHOOK: Lineage: over1k_part_buck_sort PARTITION(t=27).f SIMPLE [(over1k)over1k.FieldSchema(name:f, type:float, comment:null), ]
907 POSTHOOK: Lineage: over1k_part_buck_sort PARTITION(t=27).i SIMPLE [(over1k)over1k.FieldSchema(name:i, type:int, comment:null), ]
908 POSTHOOK: Lineage: over1k_part_buck_sort PARTITION(t=27).si SIMPLE [(over1k)over1k.FieldSchema(name:si, type:smallint, comment:null), ]
909 POSTHOOK: Lineage: over1k_part_buck_sort PARTITION(t=__HIVE_DEFAULT_PARTITION__).b SIMPLE [(over1k)over1k.FieldSchema(name:b, type:bigint, comment:null), ]
910 POSTHOOK: Lineage: over1k_part_buck_sort PARTITION(t=__HIVE_DEFAULT_PARTITION__).f SIMPLE [(over1k)over1k.FieldSchema(name:f, type:float, comment:null), ]
911 POSTHOOK: Lineage: over1k_part_buck_sort PARTITION(t=__HIVE_DEFAULT_PARTITION__).i SIMPLE [(over1k)over1k.FieldSchema(name:i, type:int, comment:null), ]
912 POSTHOOK: Lineage: over1k_part_buck_sort PARTITION(t=__HIVE_DEFAULT_PARTITION__).si SIMPLE [(over1k)over1k.FieldSchema(name:si, type:smallint, comment:null), ]
913 PREHOOK: query: desc formatted over1k_part partition(ds="foo",t=27)
914 PREHOOK: type: DESCTABLE
915 PREHOOK: Input: default@over1k_part
916 POSTHOOK: query: desc formatted over1k_part partition(ds="foo",t=27)
917 POSTHOOK: type: DESCTABLE
918 POSTHOOK: Input: default@over1k_part
919 # col_name              data_type               comment             
920 si                      smallint                                    
921 i                       int                                         
922 b                       bigint                                      
923 f                       float                                       
924                  
925 # Partition Information          
926 # col_name              data_type               comment             
927 ds                      string                                      
928 t                       tinyint                                     
929                  
930 # Detailed Partition Information                 
931 Partition Value:        [foo, 27]                
932 Database:               default                  
933 Table:                  over1k_part              
934 #### A masked pattern was here ####
935 Partition Parameters:            
936         COLUMN_STATS_ACCURATE   {\"BASIC_STATS\":\"true\",\"COLUMN_STATS\":{\"b\":\"true\",\"f\":\"true\",\"i\":\"true\",\"si\":\"true\"}}
937         numFiles                2                   
938         numRows                 32                  
939         rawDataSize             830                 
940         totalSize               862                 
941 #### A masked pattern was here ####
942                  
943 # Storage Information            
944 SerDe Library:          org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe       
945 InputFormat:            org.apache.hadoop.mapred.TextInputFormat         
946 OutputFormat:           org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat       
947 Compressed:             No                       
948 Num Buckets:            -1                       
949 Bucket Columns:         []                       
950 Sort Columns:           []                       
951 Storage Desc Params:             
952         serialization.format    1                   
953 PREHOOK: query: desc formatted over1k_part partition(ds="foo",t="__HIVE_DEFAULT_PARTITION__")
954 PREHOOK: type: DESCTABLE
955 PREHOOK: Input: default@over1k_part
956 POSTHOOK: query: desc formatted over1k_part partition(ds="foo",t="__HIVE_DEFAULT_PARTITION__")
957 POSTHOOK: type: DESCTABLE
958 POSTHOOK: Input: default@over1k_part
959 # col_name              data_type               comment             
960 si                      smallint                                    
961 i                       int                                         
962 b                       bigint                                      
963 f                       float                                       
964                  
965 # Partition Information          
966 # col_name              data_type               comment             
967 ds                      string                                      
968 t                       tinyint                                     
969                  
970 # Detailed Partition Information                 
971 Partition Value:        [foo, __HIVE_DEFAULT_PARTITION__]        
972 Database:               default                  
973 Table:                  over1k_part              
974 #### A masked pattern was here ####
975 Partition Parameters:            
976         COLUMN_STATS_ACCURATE   {\"BASIC_STATS\":\"true\",\"COLUMN_STATS\":{\"b\":\"true\",\"f\":\"true\",\"i\":\"true\",\"si\":\"true\"}}
977         numFiles                2                   
978         numRows                 6                   
979         rawDataSize             156                 
980         totalSize               162                 
981 #### A masked pattern was here ####
982                  
983 # Storage Information            
984 SerDe Library:          org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe       
985 InputFormat:            org.apache.hadoop.mapred.TextInputFormat         
986 OutputFormat:           org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat       
987 Compressed:             No                       
988 Num Buckets:            -1                       
989 Bucket Columns:         []                       
990 Sort Columns:           []                       
991 Storage Desc Params:             
992         serialization.format    1                   
993 PREHOOK: query: desc formatted over1k_part_limit partition(ds="foo",t=27)
994 PREHOOK: type: DESCTABLE
995 PREHOOK: Input: default@over1k_part_limit
996 POSTHOOK: query: desc formatted over1k_part_limit partition(ds="foo",t=27)
997 POSTHOOK: type: DESCTABLE
998 POSTHOOK: Input: default@over1k_part_limit
999 # col_name              data_type               comment             
1000 si                      smallint                                    
1001 i                       int                                         
1002 b                       bigint                                      
1003 f                       float                                       
1004                  
1005 # Partition Information          
1006 # col_name              data_type               comment             
1007 ds                      string                                      
1008 t                       tinyint                                     
1009                  
1010 # Detailed Partition Information                 
1011 Partition Value:        [foo, 27]                
1012 Database:               default                  
1013 Table:                  over1k_part_limit        
1014 #### A masked pattern was here ####
1015 Partition Parameters:            
1016         COLUMN_STATS_ACCURATE   {\"BASIC_STATS\":\"true\",\"COLUMN_STATS\":{\"b\":\"true\",\"f\":\"true\",\"i\":\"true\",\"si\":\"true\"}}
1017         numFiles                2                   
1018         numRows                 14                  
1019         rawDataSize             362                 
1020         totalSize               376                 
1021 #### A masked pattern was here ####
1022                  
1023 # Storage Information            
1024 SerDe Library:          org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe       
1025 InputFormat:            org.apache.hadoop.mapred.TextInputFormat         
1026 OutputFormat:           org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat       
1027 Compressed:             No                       
1028 Num Buckets:            -1                       
1029 Bucket Columns:         []                       
1030 Sort Columns:           []                       
1031 Storage Desc Params:             
1032         serialization.format    1                   
1033 PREHOOK: query: desc formatted over1k_part_limit partition(ds="foo",t="__HIVE_DEFAULT_PARTITION__")
1034 PREHOOK: type: DESCTABLE
1035 PREHOOK: Input: default@over1k_part_limit
1036 POSTHOOK: query: desc formatted over1k_part_limit partition(ds="foo",t="__HIVE_DEFAULT_PARTITION__")
1037 POSTHOOK: type: DESCTABLE
1038 POSTHOOK: Input: default@over1k_part_limit
1039 # col_name              data_type               comment             
1040 si                      smallint                                    
1041 i                       int                                         
1042 b                       bigint                                      
1043 f                       float                                       
1044                  
1045 # Partition Information          
1046 # col_name              data_type               comment             
1047 ds                      string                                      
1048 t                       tinyint                                     
1049                  
1050 # Detailed Partition Information                 
1051 Partition Value:        [foo, __HIVE_DEFAULT_PARTITION__]        
1052 Database:               default                  
1053 Table:                  over1k_part_limit        
1054 #### A masked pattern was here ####
1055 Partition Parameters:            
1056         COLUMN_STATS_ACCURATE   {\"BASIC_STATS\":\"true\",\"COLUMN_STATS\":{\"b\":\"true\",\"f\":\"true\",\"i\":\"true\",\"si\":\"true\"}}
1057         numFiles                2                   
1058         numRows                 6                   
1059         rawDataSize             156                 
1060         totalSize               162                 
1061 #### A masked pattern was here ####
1062                  
1063 # Storage Information            
1064 SerDe Library:          org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe       
1065 InputFormat:            org.apache.hadoop.mapred.TextInputFormat         
1066 OutputFormat:           org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat       
1067 Compressed:             No                       
1068 Num Buckets:            -1                       
1069 Bucket Columns:         []                       
1070 Sort Columns:           []                       
1071 Storage Desc Params:             
1072         serialization.format    1                   
1073 PREHOOK: query: desc formatted over1k_part_buck partition(t=27)
1074 PREHOOK: type: DESCTABLE
1075 PREHOOK: Input: default@over1k_part_buck
1076 POSTHOOK: query: desc formatted over1k_part_buck partition(t=27)
1077 POSTHOOK: type: DESCTABLE
1078 POSTHOOK: Input: default@over1k_part_buck
1079 # col_name              data_type               comment             
1080 si                      smallint                                    
1081 i                       int                                         
1082 b                       bigint                                      
1083 f                       float                                       
1084                  
1085 # Partition Information          
1086 # col_name              data_type               comment             
1087 t                       tinyint                                     
1088                  
1089 # Detailed Partition Information                 
1090 Partition Value:        [27]                     
1091 Database:               default                  
1092 Table:                  over1k_part_buck         
1093 #### A masked pattern was here ####
1094 Partition Parameters:            
1095         COLUMN_STATS_ACCURATE   {\"BASIC_STATS\":\"true\",\"COLUMN_STATS\":{\"b\":\"true\",\"f\":\"true\",\"i\":\"true\",\"si\":\"true\"}}
1096         numFiles                8                   
1097         numRows                 32                  
1098         rawDataSize             830                 
1099         totalSize               862                 
1100 #### A masked pattern was here ####
1101                  
1102 # Storage Information            
1103 SerDe Library:          org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe       
1104 InputFormat:            org.apache.hadoop.mapred.TextInputFormat         
1105 OutputFormat:           org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat       
1106 Compressed:             No                       
1107 Num Buckets:            4                        
1108 Bucket Columns:         [si]                     
1109 Sort Columns:           []                       
1110 Storage Desc Params:             
1111         serialization.format    1                   
1112 PREHOOK: query: desc formatted over1k_part_buck partition(t="__HIVE_DEFAULT_PARTITION__")
1113 PREHOOK: type: DESCTABLE
1114 PREHOOK: Input: default@over1k_part_buck
1115 POSTHOOK: query: desc formatted over1k_part_buck partition(t="__HIVE_DEFAULT_PARTITION__")
1116 POSTHOOK: type: DESCTABLE
1117 POSTHOOK: Input: default@over1k_part_buck
1118 # col_name              data_type               comment             
1119 si                      smallint                                    
1120 i                       int                                         
1121 b                       bigint                                      
1122 f                       float                                       
1123                  
1124 # Partition Information          
1125 # col_name              data_type               comment             
1126 t                       tinyint                                     
1127                  
1128 # Detailed Partition Information                 
1129 Partition Value:        [__HIVE_DEFAULT_PARTITION__]     
1130 Database:               default                  
1131 Table:                  over1k_part_buck         
1132 #### A masked pattern was here ####
1133 Partition Parameters:            
1134         COLUMN_STATS_ACCURATE   {\"BASIC_STATS\":\"true\",\"COLUMN_STATS\":{\"b\":\"true\",\"f\":\"true\",\"i\":\"true\",\"si\":\"true\"}}
1135         numFiles                4                   
1136         numRows                 6                   
1137         rawDataSize             156                 
1138         totalSize               162                 
1139 #### A masked pattern was here ####
1140                  
1141 # Storage Information            
1142 SerDe Library:          org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe       
1143 InputFormat:            org.apache.hadoop.mapred.TextInputFormat         
1144 OutputFormat:           org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat       
1145 Compressed:             No                       
1146 Num Buckets:            4                        
1147 Bucket Columns:         [si]                     
1148 Sort Columns:           []                       
1149 Storage Desc Params:             
1150         serialization.format    1                   
1151 PREHOOK: query: desc formatted over1k_part_buck_sort partition(t=27)
1152 PREHOOK: type: DESCTABLE
1153 PREHOOK: Input: default@over1k_part_buck_sort
1154 POSTHOOK: query: desc formatted over1k_part_buck_sort partition(t=27)
1155 POSTHOOK: type: DESCTABLE
1156 POSTHOOK: Input: default@over1k_part_buck_sort
1157 # col_name              data_type               comment             
1158 si                      smallint                                    
1159 i                       int                                         
1160 b                       bigint                                      
1161 f                       float                                       
1162                  
1163 # Partition Information          
1164 # col_name              data_type               comment             
1165 t                       tinyint                                     
1166                  
1167 # Detailed Partition Information                 
1168 Partition Value:        [27]                     
1169 Database:               default                  
1170 Table:                  over1k_part_buck_sort    
1171 #### A masked pattern was here ####
1172 Partition Parameters:            
1173         COLUMN_STATS_ACCURATE   {\"BASIC_STATS\":\"true\",\"COLUMN_STATS\":{\"b\":\"true\",\"f\":\"true\",\"i\":\"true\",\"si\":\"true\"}}
1174         numFiles                8                   
1175         numRows                 32                  
1176         rawDataSize             830                 
1177         totalSize               862                 
1178 #### A masked pattern was here ####
1179                  
1180 # Storage Information            
1181 SerDe Library:          org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe       
1182 InputFormat:            org.apache.hadoop.mapred.TextInputFormat         
1183 OutputFormat:           org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat       
1184 Compressed:             No                       
1185 Num Buckets:            4                        
1186 Bucket Columns:         [si]                     
1187 Sort Columns:           [Order(col:f, order:1)]  
1188 Storage Desc Params:             
1189         serialization.format    1                   
1190 PREHOOK: query: desc formatted over1k_part_buck_sort partition(t="__HIVE_DEFAULT_PARTITION__")
1191 PREHOOK: type: DESCTABLE
1192 PREHOOK: Input: default@over1k_part_buck_sort
1193 POSTHOOK: query: desc formatted over1k_part_buck_sort partition(t="__HIVE_DEFAULT_PARTITION__")
1194 POSTHOOK: type: DESCTABLE
1195 POSTHOOK: Input: default@over1k_part_buck_sort
1196 # col_name              data_type               comment             
1197 si                      smallint                                    
1198 i                       int                                         
1199 b                       bigint                                      
1200 f                       float                                       
1201                  
1202 # Partition Information          
1203 # col_name              data_type               comment             
1204 t                       tinyint                                     
1205                  
1206 # Detailed Partition Information                 
1207 Partition Value:        [__HIVE_DEFAULT_PARTITION__]     
1208 Database:               default                  
1209 Table:                  over1k_part_buck_sort    
1210 #### A masked pattern was here ####
1211 Partition Parameters:            
1212         COLUMN_STATS_ACCURATE   {\"BASIC_STATS\":\"true\",\"COLUMN_STATS\":{\"b\":\"true\",\"f\":\"true\",\"i\":\"true\",\"si\":\"true\"}}
1213         numFiles                4                   
1214         numRows                 6                   
1215         rawDataSize             156                 
1216         totalSize               162                 
1217 #### A masked pattern was here ####
1218                  
1219 # Storage Information            
1220 SerDe Library:          org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe       
1221 InputFormat:            org.apache.hadoop.mapred.TextInputFormat         
1222 OutputFormat:           org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat       
1223 Compressed:             No                       
1224 Num Buckets:            4                        
1225 Bucket Columns:         [si]                     
1226 Sort Columns:           [Order(col:f, order:1)]  
1227 Storage Desc Params:             
1228         serialization.format    1                   
1229 PREHOOK: query: select count(*) from over1k_part
1230 PREHOOK: type: QUERY
1231 PREHOOK: Input: default@over1k_part
1232 PREHOOK: Input: default@over1k_part@ds=foo/t=27
1233 PREHOOK: Input: default@over1k_part@ds=foo/t=__HIVE_DEFAULT_PARTITION__
1234 #### A masked pattern was here ####
1235 POSTHOOK: query: select count(*) from over1k_part
1236 POSTHOOK: type: QUERY
1237 POSTHOOK: Input: default@over1k_part
1238 POSTHOOK: Input: default@over1k_part@ds=foo/t=27
1239 POSTHOOK: Input: default@over1k_part@ds=foo/t=__HIVE_DEFAULT_PARTITION__
1240 #### A masked pattern was here ####
1241 38
1242 PREHOOK: query: select count(*) from over1k_part_limit
1243 PREHOOK: type: QUERY
1244 PREHOOK: Input: default@over1k_part_limit
1245 PREHOOK: Input: default@over1k_part_limit@ds=foo/t=27
1246 PREHOOK: Input: default@over1k_part_limit@ds=foo/t=__HIVE_DEFAULT_PARTITION__
1247 #### A masked pattern was here ####
1248 POSTHOOK: query: select count(*) from over1k_part_limit
1249 POSTHOOK: type: QUERY
1250 POSTHOOK: Input: default@over1k_part_limit
1251 POSTHOOK: Input: default@over1k_part_limit@ds=foo/t=27
1252 POSTHOOK: Input: default@over1k_part_limit@ds=foo/t=__HIVE_DEFAULT_PARTITION__
1253 #### A masked pattern was here ####
1254 20
1255 PREHOOK: query: select count(*) from over1k_part_buck
1256 PREHOOK: type: QUERY
1257 PREHOOK: Input: default@over1k_part_buck
1258 PREHOOK: Input: default@over1k_part_buck@t=27
1259 PREHOOK: Input: default@over1k_part_buck@t=__HIVE_DEFAULT_PARTITION__
1260 #### A masked pattern was here ####
1261 POSTHOOK: query: select count(*) from over1k_part_buck
1262 POSTHOOK: type: QUERY
1263 POSTHOOK: Input: default@over1k_part_buck
1264 POSTHOOK: Input: default@over1k_part_buck@t=27
1265 POSTHOOK: Input: default@over1k_part_buck@t=__HIVE_DEFAULT_PARTITION__
1266 #### A masked pattern was here ####
1267 38
1268 PREHOOK: query: select count(*) from over1k_part_buck_sort
1269 PREHOOK: type: QUERY
1270 PREHOOK: Input: default@over1k_part_buck_sort
1271 PREHOOK: Input: default@over1k_part_buck_sort@t=27
1272 PREHOOK: Input: default@over1k_part_buck_sort@t=__HIVE_DEFAULT_PARTITION__
1273 #### A masked pattern was here ####
1274 POSTHOOK: query: select count(*) from over1k_part_buck_sort
1275 POSTHOOK: type: QUERY
1276 POSTHOOK: Input: default@over1k_part_buck_sort
1277 POSTHOOK: Input: default@over1k_part_buck_sort@t=27
1278 POSTHOOK: Input: default@over1k_part_buck_sort@t=__HIVE_DEFAULT_PARTITION__
1279 #### A masked pattern was here ####
1280 38
1281 PREHOOK: query: create table over1k_part2(
1282            si smallint,
1283            i int,
1284            b bigint,
1285            f float)
1286        partitioned by (ds string, t tinyint)
1287 PREHOOK: type: CREATETABLE
1288 PREHOOK: Output: database:default
1289 PREHOOK: Output: default@over1k_part2
1290 POSTHOOK: query: create table over1k_part2(
1291            si smallint,
1292            i int,
1293            b bigint,
1294            f float)
1295        partitioned by (ds string, t tinyint)
1296 POSTHOOK: type: CREATETABLE
1297 POSTHOOK: Output: database:default
1298 POSTHOOK: Output: default@over1k_part2
1299 PREHOOK: query: explain insert overwrite table over1k_part2 partition(ds="foo",t) select si,i,b,f,t from over1k where t is null or t=27 order by i
1300 PREHOOK: type: QUERY
1301 POSTHOOK: query: explain insert overwrite table over1k_part2 partition(ds="foo",t) select si,i,b,f,t from over1k where t is null or t=27 order by i
1302 POSTHOOK: type: QUERY
1303 STAGE DEPENDENCIES:
1304   Stage-1 is a root stage
1305   Stage-2 depends on stages: Stage-1
1306   Stage-0 depends on stages: Stage-2
1307   Stage-3 depends on stages: Stage-0
1308
1309 STAGE PLANS:
1310   Stage: Stage-1
1311     Tez
1312 #### A masked pattern was here ####
1313       Edges:
1314         Reducer 2 <- Map 1 (SIMPLE_EDGE)
1315         Reducer 3 <- Reducer 2 (SIMPLE_EDGE)
1316 #### A masked pattern was here ####
1317       Vertices:
1318         Map 1 
1319             Map Operator Tree:
1320                 TableScan
1321                   alias: over1k
1322                   Statistics: Num rows: 1 Data size: 24 Basic stats: COMPLETE Column stats: NONE
1323                   Filter Operator
1324                     predicate: ((t = 27Y) or t is null) (type: boolean)
1325                     Statistics: Num rows: 1 Data size: 24 Basic stats: COMPLETE Column stats: NONE
1326                     Select Operator
1327                       expressions: si (type: smallint), i (type: int), b (type: bigint), f (type: float), t (type: tinyint)
1328                       outputColumnNames: _col0, _col1, _col2, _col3, _col4
1329                       Statistics: Num rows: 1 Data size: 24 Basic stats: COMPLETE Column stats: NONE
1330                       Reduce Output Operator
1331                         key expressions: _col1 (type: int)
1332                         sort order: +
1333                         Statistics: Num rows: 1 Data size: 24 Basic stats: COMPLETE Column stats: NONE
1334                         value expressions: _col0 (type: smallint), _col2 (type: bigint), _col3 (type: float), _col4 (type: tinyint)
1335             Execution mode: llap
1336             LLAP IO: no inputs
1337         Reducer 2 
1338             Execution mode: llap
1339             Reduce Operator Tree:
1340               Select Operator
1341                 expressions: VALUE._col0 (type: smallint), KEY.reducesinkkey0 (type: int), VALUE._col1 (type: bigint), VALUE._col2 (type: float), VALUE._col3 (type: tinyint)
1342                 outputColumnNames: _col0, _col1, _col2, _col3, _col4
1343                 Statistics: Num rows: 1 Data size: 24 Basic stats: COMPLETE Column stats: NONE
1344                 File Output Operator
1345                   compressed: false
1346                   Statistics: Num rows: 1 Data size: 24 Basic stats: COMPLETE Column stats: NONE
1347                   table:
1348                       input format: org.apache.hadoop.mapred.TextInputFormat
1349                       output format: org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat
1350                       serde: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
1351                       name: default.over1k_part2
1352                 Select Operator
1353                   expressions: _col0 (type: smallint), _col1 (type: int), _col2 (type: bigint), _col3 (type: float), 'foo' (type: string), _col4 (type: tinyint)
1354                   outputColumnNames: si, i, b, f, ds, t
1355                   Statistics: Num rows: 1 Data size: 24 Basic stats: COMPLETE Column stats: NONE
1356                   Group By Operator
1357                     aggregations: compute_stats(si, 'hll'), compute_stats(i, 'hll'), compute_stats(b, 'hll'), compute_stats(f, 'hll')
1358                     keys: ds (type: string), t (type: tinyint)
1359                     mode: hash
1360                     outputColumnNames: _col0, _col1, _col2, _col3, _col4, _col5
1361                     Statistics: Num rows: 1 Data size: 24 Basic stats: COMPLETE Column stats: NONE
1362                     Reduce Output Operator
1363                       key expressions: _col0 (type: string), _col1 (type: tinyint)
1364                       sort order: ++
1365                       Map-reduce partition columns: _col0 (type: string), _col1 (type: tinyint)
1366                       Statistics: Num rows: 1 Data size: 24 Basic stats: COMPLETE Column stats: NONE
1367                       value expressions: _col2 (type: struct<columntype:string,min:bigint,max:bigint,countnulls:bigint,bitvector:binary>), _col3 (type: struct<columntype:string,min:bigint,max:bigint,countnulls:bigint,bitvector:binary>), _col4 (type: struct<columntype:string,min:bigint,max:bigint,countnulls:bigint,bitvector:binary>), _col5 (type: struct<columntype:string,min:double,max:double,countnulls:bigint,bitvector:binary>)
1368         Reducer 3 
1369             Execution mode: llap
1370             Reduce Operator Tree:
1371               Group By Operator
1372                 aggregations: compute_stats(VALUE._col0), compute_stats(VALUE._col1), compute_stats(VALUE._col2), compute_stats(VALUE._col3)
1373                 keys: KEY._col0 (type: string), KEY._col1 (type: tinyint)
1374                 mode: mergepartial
1375                 outputColumnNames: _col0, _col1, _col2, _col3, _col4, _col5
1376                 Statistics: Num rows: 1 Data size: 24 Basic stats: COMPLETE Column stats: NONE
1377                 Select Operator
1378                   expressions: _col2 (type: struct<columntype:string,min:bigint,max:bigint,countnulls:bigint,numdistinctvalues:bigint,ndvbitvector:binary>), _col3 (type: struct<columntype:string,min:bigint,max:bigint,countnulls:bigint,numdistinctvalues:bigint,ndvbitvector:binary>), _col4 (type: struct<columntype:string,min:bigint,max:bigint,countnulls:bigint,numdistinctvalues:bigint,ndvbitvector:binary>), _col5 (type: struct<columntype:string,min:double,max:double,countnulls:bigint,numdistinctvalues:bigint,ndvbitvector:binary>), _col0 (type: string), _col1 (type: tinyint)
1379                   outputColumnNames: _col0, _col1, _col2, _col3, _col4, _col5
1380                   Statistics: Num rows: 1 Data size: 24 Basic stats: COMPLETE Column stats: NONE
1381                   File Output Operator
1382                     compressed: false
1383                     Statistics: Num rows: 1 Data size: 24 Basic stats: COMPLETE Column stats: NONE
1384                     table:
1385                         input format: org.apache.hadoop.mapred.SequenceFileInputFormat
1386                         output format: org.apache.hadoop.hive.ql.io.HiveSequenceFileOutputFormat
1387                         serde: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
1388
1389   Stage: Stage-2
1390     Dependency Collection
1391
1392   Stage: Stage-0
1393     Move Operator
1394       tables:
1395           partition:
1396             ds foo
1397             t 
1398           replace: true
1399           table:
1400               input format: org.apache.hadoop.mapred.TextInputFormat
1401               output format: org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat
1402               serde: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
1403               name: default.over1k_part2
1404
1405   Stage: Stage-3
1406     Stats Work
1407       Basic Stats Work:
1408       Column Stats Desc:
1409           Columns: si, i, b, f
1410           Column Types: smallint, int, bigint, float
1411           Table: default.over1k_part2
1412
1413 PREHOOK: query: explain insert overwrite table over1k_part2 partition(ds="foo",t) select si,i,b,f,t from over1k where t is null or t=27 order by i
1414 PREHOOK: type: QUERY
1415 POSTHOOK: query: explain insert overwrite table over1k_part2 partition(ds="foo",t) select si,i,b,f,t from over1k where t is null or t=27 order by i
1416 POSTHOOK: type: QUERY
1417 STAGE DEPENDENCIES:
1418   Stage-1 is a root stage
1419   Stage-2 depends on stages: Stage-1
1420   Stage-0 depends on stages: Stage-2
1421   Stage-3 depends on stages: Stage-0
1422
1423 STAGE PLANS:
1424   Stage: Stage-1
1425     Tez
1426 #### A masked pattern was here ####
1427       Edges:
1428         Reducer 2 <- Map 1 (SIMPLE_EDGE)
1429 #### A masked pattern was here ####
1430       Vertices:
1431         Map 1 
1432             Map Operator Tree:
1433                 TableScan
1434                   alias: over1k
1435                   Statistics: Num rows: 1 Data size: 24 Basic stats: COMPLETE Column stats: NONE
1436                   Filter Operator
1437                     predicate: ((t = 27Y) or t is null) (type: boolean)
1438                     Statistics: Num rows: 1 Data size: 24 Basic stats: COMPLETE Column stats: NONE
1439                     Select Operator
1440                       expressions: si (type: smallint), i (type: int), b (type: bigint), f (type: float), t (type: tinyint)
1441                       outputColumnNames: _col0, _col1, _col2, _col3, _col4
1442                       Statistics: Num rows: 1 Data size: 24 Basic stats: COMPLETE Column stats: NONE
1443                       Reduce Output Operator
1444                         key expressions: _col4 (type: tinyint), _col1 (type: int)
1445                         sort order: ++
1446                         Map-reduce partition columns: _col4 (type: tinyint)
1447                         Statistics: Num rows: 1 Data size: 24 Basic stats: COMPLETE Column stats: NONE
1448                         value expressions: _col0 (type: smallint), _col2 (type: bigint), _col3 (type: float)
1449             Execution mode: llap
1450             LLAP IO: no inputs
1451         Reducer 2 
1452             Execution mode: llap
1453             Reduce Operator Tree:
1454               Select Operator
1455                 expressions: VALUE._col0 (type: smallint), KEY._col1 (type: int), VALUE._col2 (type: bigint), VALUE._col3 (type: float), KEY._col4 (type: tinyint)
1456                 outputColumnNames: _col0, _col1, _col2, _col3, _col4
1457                 Statistics: Num rows: 1 Data size: 24 Basic stats: COMPLETE Column stats: NONE
1458                 File Output Operator
1459                   compressed: false
1460                   Dp Sort State: PARTITION_SORTED
1461                   Statistics: Num rows: 1 Data size: 24 Basic stats: COMPLETE Column stats: NONE
1462                   table:
1463                       input format: org.apache.hadoop.mapred.TextInputFormat
1464                       output format: org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat
1465                       serde: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
1466                       name: default.over1k_part2
1467
1468   Stage: Stage-2
1469     Dependency Collection
1470
1471   Stage: Stage-0
1472     Move Operator
1473       tables:
1474           partition:
1475             ds foo
1476             t 
1477           replace: true
1478           table:
1479               input format: org.apache.hadoop.mapred.TextInputFormat
1480               output format: org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat
1481               serde: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
1482               name: default.over1k_part2
1483
1484   Stage: Stage-3
1485     Stats Work
1486       Basic Stats Work:
1487       Column Stats Desc:
1488           Columns: si, i, b, f
1489           Column Types: smallint, int, bigint, float
1490           Table: default.over1k_part2
1491
1492 PREHOOK: query: explain insert overwrite table over1k_part2 partition(ds="foo",t) select si,i,b,f,t from (select * from over1k order by i limit 10) tmp where t is null or t=27
1493 PREHOOK: type: QUERY
1494 POSTHOOK: query: explain insert overwrite table over1k_part2 partition(ds="foo",t) select si,i,b,f,t from (select * from over1k order by i limit 10) tmp where t is null or t=27
1495 POSTHOOK: type: QUERY
1496 STAGE DEPENDENCIES:
1497   Stage-1 is a root stage
1498   Stage-2 depends on stages: Stage-1
1499   Stage-0 depends on stages: Stage-2
1500   Stage-3 depends on stages: Stage-0
1501
1502 STAGE PLANS:
1503   Stage: Stage-1
1504     Tez
1505 #### A masked pattern was here ####
1506       Edges:
1507         Reducer 2 <- Map 1 (SIMPLE_EDGE)
1508         Reducer 3 <- Reducer 2 (SIMPLE_EDGE)
1509 #### A masked pattern was here ####
1510       Vertices:
1511         Map 1 
1512             Map Operator Tree:
1513                 TableScan
1514                   alias: over1k
1515                   Statistics: Num rows: 1 Data size: 24 Basic stats: COMPLETE Column stats: NONE
1516                   Select Operator
1517                     expressions: t (type: tinyint), si (type: smallint), i (type: int), b (type: bigint), f (type: float)
1518                     outputColumnNames: _col0, _col1, _col2, _col3, _col4
1519                     Statistics: Num rows: 1 Data size: 24 Basic stats: COMPLETE Column stats: NONE
1520                     Reduce Output Operator
1521                       key expressions: _col2 (type: int)
1522                       sort order: +
1523                       Statistics: Num rows: 1 Data size: 24 Basic stats: COMPLETE Column stats: NONE
1524                       TopN Hash Memory Usage: 0.1
1525                       value expressions: _col0 (type: tinyint), _col1 (type: smallint), _col3 (type: bigint), _col4 (type: float)
1526             Execution mode: llap
1527             LLAP IO: no inputs
1528         Reducer 2 
1529             Execution mode: llap
1530             Reduce Operator Tree:
1531               Select Operator
1532                 expressions: VALUE._col0 (type: tinyint), VALUE._col1 (type: smallint), KEY.reducesinkkey0 (type: int), VALUE._col2 (type: bigint), VALUE._col3 (type: float)
1533                 outputColumnNames: _col0, _col1, _col2, _col3, _col4
1534                 Statistics: Num rows: 1 Data size: 24 Basic stats: COMPLETE Column stats: NONE
1535                 Limit
1536                   Number of rows: 10
1537                   Statistics: Num rows: 1 Data size: 24 Basic stats: COMPLETE Column stats: NONE
1538                   Filter Operator
1539                     predicate: ((_col0 = 27Y) or _col0 is null) (type: boolean)
1540                     Statistics: Num rows: 1 Data size: 24 Basic stats: COMPLETE Column stats: NONE
1541                     Select Operator
1542                       expressions: _col1 (type: smallint), _col2 (type: int), _col3 (type: bigint), _col4 (type: float), _col0 (type: tinyint)
1543                       outputColumnNames: _col0, _col1, _col2, _col3, _col4
1544                       Statistics: Num rows: 1 Data size: 24 Basic stats: COMPLETE Column stats: NONE
1545                       Reduce Output Operator
1546                         key expressions: _col4 (type: tinyint)
1547                         sort order: +
1548                         Map-reduce partition columns: _col4 (type: tinyint)
1549                         Statistics: Num rows: 1 Data size: 24 Basic stats: COMPLETE Column stats: NONE
1550                         value expressions: _col0 (type: smallint), _col1 (type: int), _col2 (type: bigint), _col3 (type: float)
1551         Reducer 3 
1552             Execution mode: llap
1553             Reduce Operator Tree:
1554               Select Operator
1555                 expressions: VALUE._col0 (type: smallint), VALUE._col1 (type: int), VALUE._col2 (type: bigint), VALUE._col3 (type: float), KEY._col4 (type: tinyint)
1556                 outputColumnNames: _col0, _col1, _col2, _col3, _col4
1557                 Statistics: Num rows: 1 Data size: 24 Basic stats: COMPLETE Column stats: NONE
1558                 File Output Operator
1559                   compressed: false
1560                   Dp Sort State: PARTITION_SORTED
1561                   Statistics: Num rows: 1 Data size: 24 Basic stats: COMPLETE Column stats: NONE
1562                   table:
1563                       input format: org.apache.hadoop.mapred.TextInputFormat
1564                       output format: org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat
1565                       serde: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
1566                       name: default.over1k_part2
1567
1568   Stage: Stage-2
1569     Dependency Collection
1570
1571   Stage: Stage-0
1572     Move Operator
1573       tables:
1574           partition:
1575             ds foo
1576             t 
1577           replace: true
1578           table:
1579               input format: org.apache.hadoop.mapred.TextInputFormat
1580               output format: org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat
1581               serde: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
1582               name: default.over1k_part2
1583
1584   Stage: Stage-3
1585     Stats Work
1586       Basic Stats Work:
1587       Column Stats Desc:
1588           Columns: si, i, b, f
1589           Column Types: smallint, int, bigint, float
1590           Table: default.over1k_part2
1591
1592 PREHOOK: query: explain insert overwrite table over1k_part2 partition(ds="foo",t) select si,i,b,f,t from over1k where t is null or t=27 group by si,i,b,f,t
1593 PREHOOK: type: QUERY
1594 POSTHOOK: query: explain insert overwrite table over1k_part2 partition(ds="foo",t) select si,i,b,f,t from over1k where t is null or t=27 group by si,i,b,f,t
1595 POSTHOOK: type: QUERY
1596 STAGE DEPENDENCIES:
1597   Stage-1 is a root stage
1598   Stage-2 depends on stages: Stage-1
1599   Stage-0 depends on stages: Stage-2
1600   Stage-3 depends on stages: Stage-0
1601
1602 STAGE PLANS:
1603   Stage: Stage-1
1604     Tez
1605 #### A masked pattern was here ####
1606       Edges:
1607         Reducer 2 <- Map 1 (SIMPLE_EDGE)
1608         Reducer 3 <- Reducer 2 (SIMPLE_EDGE)
1609 #### A masked pattern was here ####
1610       Vertices:
1611         Map 1 
1612             Map Operator Tree:
1613                 TableScan
1614                   alias: over1k
1615                   Statistics: Num rows: 1 Data size: 24 Basic stats: COMPLETE Column stats: NONE
1616                   Filter Operator
1617                     predicate: ((t = 27Y) or t is null) (type: boolean)
1618                     Statistics: Num rows: 1 Data size: 24 Basic stats: COMPLETE Column stats: NONE
1619                     Group By Operator
1620                       keys: t (type: tinyint), si (type: smallint), i (type: int), b (type: bigint), f (type: float)
1621                       mode: hash
1622                       outputColumnNames: _col0, _col1, _col2, _col3, _col4
1623                       Statistics: Num rows: 1 Data size: 24 Basic stats: COMPLETE Column stats: NONE
1624                       Reduce Output Operator
1625                         key expressions: _col0 (type: tinyint), _col1 (type: smallint), _col2 (type: int), _col3 (type: bigint), _col4 (type: float)
1626                         sort order: +++++
1627                         Map-reduce partition columns: _col0 (type: tinyint), _col1 (type: smallint), _col2 (type: int), _col3 (type: bigint), _col4 (type: float)
1628                         Statistics: Num rows: 1 Data size: 24 Basic stats: COMPLETE Column stats: NONE
1629             Execution mode: llap
1630             LLAP IO: no inputs
1631         Reducer 2 
1632             Execution mode: llap
1633             Reduce Operator Tree:
1634               Group By Operator
1635                 keys: KEY._col0 (type: tinyint), KEY._col1 (type: smallint), KEY._col2 (type: int), KEY._col3 (type: bigint), KEY._col4 (type: float)
1636                 mode: mergepartial
1637                 outputColumnNames: _col0, _col1, _col2, _col3, _col4
1638                 Statistics: Num rows: 1 Data size: 24 Basic stats: COMPLETE Column stats: NONE
1639                 Select Operator
1640                   expressions: _col1 (type: smallint), _col2 (type: int), _col3 (type: bigint), _col4 (type: float), _col0 (type: tinyint)
1641                   outputColumnNames: _col0, _col1, _col2, _col3, _col4
1642                   Statistics: Num rows: 1 Data size: 24 Basic stats: COMPLETE Column stats: NONE
1643                   File Output Operator
1644                     compressed: false
1645                     Statistics: Num rows: 1 Data size: 24 Basic stats: COMPLETE Column stats: NONE
1646                     table:
1647                         input format: org.apache.hadoop.mapred.TextInputFormat
1648                         output format: org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat
1649                         serde: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
1650                         name: default.over1k_part2
1651                   Select Operator
1652                     expressions: _col0 (type: smallint), _col1 (type: int), _col2 (type: bigint), _col3 (type: float), 'foo' (type: string), _col4 (type: tinyint)
1653                     outputColumnNames: si, i, b, f, ds, t
1654                     Statistics: Num rows: 1 Data size: 24 Basic stats: COMPLETE Column stats: NONE
1655                     Group By Operator
1656                       aggregations: compute_stats(si, 'hll'), compute_stats(i, 'hll'), compute_stats(b, 'hll'), compute_stats(f, 'hll')
1657                       keys: ds (type: string), t (type: tinyint)
1658                       mode: hash
1659                       outputColumnNames: _col0, _col1, _col2, _col3, _col4, _col5
1660                       Statistics: Num rows: 1 Data size: 24 Basic stats: COMPLETE Column stats: NONE
1661                       Reduce Output Operator
1662                         key expressions: _col0 (type: string), _col1 (type: tinyint)
1663                         sort order: ++
1664                         Map-reduce partition columns: _col0 (type: string), _col1 (type: tinyint)
1665                         Statistics: Num rows: 1 Data size: 24 Basic stats: COMPLETE Column stats: NONE
1666                         value expressions: _col2 (type: struct<columntype:string,min:bigint,max:bigint,countnulls:bigint,bitvector:binary>), _col3 (type: struct<columntype:string,min:bigint,max:bigint,countnulls:bigint,bitvector:binary>), _col4 (type: struct<columntype:string,min:bigint,max:bigint,countnulls:bigint,bitvector:binary>), _col5 (type: struct<columntype:string,min:double,max:double,countnulls:bigint,bitvector:binary>)
1667         Reducer 3 
1668             Execution mode: llap
1669             Reduce Operator Tree:
1670               Group By Operator
1671                 aggregations: compute_stats(VALUE._col0), compute_stats(VALUE._col1), compute_stats(VALUE._col2), compute_stats(VALUE._col3)
1672                 keys: KEY._col0 (type: string), KEY._col1 (type: tinyint)
1673                 mode: mergepartial
1674                 outputColumnNames: _col0, _col1, _col2, _col3, _col4, _col5
1675                 Statistics: Num rows: 1 Data size: 24 Basic stats: COMPLETE Column stats: NONE
1676                 Select Operator
1677                   expressions: _col2 (type: struct<columntype:string,min:bigint,max:bigint,countnulls:bigint,numdistinctvalues:bigint,ndvbitvector:binary>), _col3 (type: struct<columntype:string,min:bigint,max:bigint,countnulls:bigint,numdistinctvalues:bigint,ndvbitvector:binary>), _col4 (type: struct<columntype:string,min:bigint,max:bigint,countnulls:bigint,numdistinctvalues:bigint,ndvbitvector:binary>), _col5 (type: struct<columntype:string,min:double,max:double,countnulls:bigint,numdistinctvalues:bigint,ndvbitvector:binary>), _col0 (type: string), _col1 (type: tinyint)
1678                   outputColumnNames: _col0, _col1, _col2, _col3, _col4, _col5
1679                   Statistics: Num rows: 1 Data size: 24 Basic stats: COMPLETE Column stats: NONE
1680                   File Output Operator
1681                     compressed: false
1682                     Statistics: Num rows: 1 Data size: 24 Basic stats: COMPLETE Column stats: NONE
1683                     table:
1684                         input format: org.apache.hadoop.mapred.SequenceFileInputFormat
1685                         output format: org.apache.hadoop.hive.ql.io.HiveSequenceFileOutputFormat
1686                         serde: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
1687
1688   Stage: Stage-2
1689     Dependency Collection
1690
1691   Stage: Stage-0
1692     Move Operator
1693       tables:
1694           partition:
1695             ds foo
1696             t 
1697           replace: true
1698           table:
1699               input format: org.apache.hadoop.mapred.TextInputFormat
1700               output format: org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat
1701               serde: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
1702               name: default.over1k_part2
1703
1704   Stage: Stage-3
1705     Stats Work
1706       Basic Stats Work:
1707       Column Stats Desc:
1708           Columns: si, i, b, f
1709           Column Types: smallint, int, bigint, float
1710           Table: default.over1k_part2
1711
1712 PREHOOK: query: explain insert overwrite table over1k_part2 partition(ds="foo",t) select si,i,b,f,t from over1k where t is null or t=27 group by si,i,b,f,t
1713 PREHOOK: type: QUERY
1714 POSTHOOK: query: explain insert overwrite table over1k_part2 partition(ds="foo",t) select si,i,b,f,t from over1k where t is null or t=27 group by si,i,b,f,t
1715 POSTHOOK: type: QUERY
1716 STAGE DEPENDENCIES:
1717   Stage-1 is a root stage
1718   Stage-2 depends on stages: Stage-1
1719   Stage-0 depends on stages: Stage-2
1720   Stage-3 depends on stages: Stage-0
1721
1722 STAGE PLANS:
1723   Stage: Stage-1
1724     Tez
1725 #### A masked pattern was here ####
1726       Edges:
1727         Reducer 2 <- Map 1 (SIMPLE_EDGE)
1728 #### A masked pattern was here ####
1729       Vertices:
1730         Map 1 
1731             Map Operator Tree:
1732                 TableScan
1733                   alias: over1k
1734                   Statistics: Num rows: 1 Data size: 24 Basic stats: COMPLETE Column stats: NONE
1735                   Filter Operator
1736                     predicate: ((t = 27Y) or t is null) (type: boolean)
1737                     Statistics: Num rows: 1 Data size: 24 Basic stats: COMPLETE Column stats: NONE
1738                     Group By Operator
1739                       keys: t (type: tinyint), si (type: smallint), i (type: int), b (type: bigint), f (type: float)
1740                       mode: hash
1741                       outputColumnNames: _col0, _col1, _col2, _col3, _col4
1742                       Statistics: Num rows: 1 Data size: 24 Basic stats: COMPLETE Column stats: NONE
1743                       Reduce Output Operator
1744                         key expressions: _col0 (type: tinyint), _col1 (type: smallint), _col2 (type: int), _col3 (type: bigint), _col4 (type: float)
1745                         sort order: +++++
1746                         Map-reduce partition columns: _col0 (type: tinyint)
1747                         Statistics: Num rows: 1 Data size: 24 Basic stats: COMPLETE Column stats: NONE
1748             Execution mode: llap
1749             LLAP IO: no inputs
1750         Reducer 2 
1751             Execution mode: llap
1752             Reduce Operator Tree:
1753               Group By Operator
1754                 keys: KEY._col0 (type: tinyint), KEY._col1 (type: smallint), KEY._col2 (type: int), KEY._col3 (type: bigint), KEY._col4 (type: float)
1755                 mode: mergepartial
1756                 outputColumnNames: _col0, _col1, _col2, _col3, _col4
1757                 Statistics: Num rows: 1 Data size: 24 Basic stats: COMPLETE Column stats: NONE
1758                 Select Operator
1759                   expressions: _col1 (type: smallint), _col2 (type: int), _col3 (type: bigint), _col4 (type: float), _col0 (type: tinyint)
1760                   outputColumnNames: _col0, _col1, _col2, _col3, _col4
1761                   Statistics: Num rows: 1 Data size: 24 Basic stats: COMPLETE Column stats: NONE
1762                   File Output Operator
1763                     compressed: false
1764                     Dp Sort State: PARTITION_SORTED
1765                     Statistics: Num rows: 1 Data size: 24 Basic stats: COMPLETE Column stats: NONE
1766                     table:
1767                         input format: org.apache.hadoop.mapred.TextInputFormat
1768                         output format: org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat
1769                         serde: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
1770                         name: default.over1k_part2
1771
1772   Stage: Stage-2
1773     Dependency Collection
1774
1775   Stage: Stage-0
1776     Move Operator
1777       tables:
1778           partition:
1779             ds foo
1780             t 
1781           replace: true
1782           table:
1783               input format: org.apache.hadoop.mapred.TextInputFormat
1784               output format: org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat
1785               serde: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
1786               name: default.over1k_part2
1787
1788   Stage: Stage-3
1789     Stats Work
1790       Basic Stats Work:
1791       Column Stats Desc:
1792           Columns: si, i, b, f
1793           Column Types: smallint, int, bigint, float
1794           Table: default.over1k_part2
1795
1796 PREHOOK: query: insert overwrite table over1k_part2 partition(ds="foo",t) select si,i,b,f,t from over1k where t is null or t=27 order by i
1797 PREHOOK: type: QUERY
1798 PREHOOK: Input: default@over1k
1799 PREHOOK: Output: default@over1k_part2@ds=foo
1800 POSTHOOK: query: insert overwrite table over1k_part2 partition(ds="foo",t) select si,i,b,f,t from over1k where t is null or t=27 order by i
1801 POSTHOOK: type: QUERY
1802 POSTHOOK: Input: default@over1k
1803 POSTHOOK: Output: default@over1k_part2@ds=foo/t=27
1804 POSTHOOK: Output: default@over1k_part2@ds=foo/t=__HIVE_DEFAULT_PARTITION__
1805 POSTHOOK: Lineage: over1k_part2 PARTITION(ds=foo,t=27).b SIMPLE [(over1k)over1k.FieldSchema(name:b, type:bigint, comment:null), ]
1806 POSTHOOK: Lineage: over1k_part2 PARTITION(ds=foo,t=27).f SIMPLE [(over1k)over1k.FieldSchema(name:f, type:float, comment:null), ]
1807 POSTHOOK: Lineage: over1k_part2 PARTITION(ds=foo,t=27).i SIMPLE [(over1k)over1k.FieldSchema(name:i, type:int, comment:null), ]
1808 POSTHOOK: Lineage: over1k_part2 PARTITION(ds=foo,t=27).si SIMPLE [(over1k)over1k.FieldSchema(name:si, type:smallint, comment:null), ]
1809 POSTHOOK: Lineage: over1k_part2 PARTITION(ds=foo,t=__HIVE_DEFAULT_PARTITION__).b SIMPLE [(over1k)over1k.FieldSchema(name:b, type:bigint, comment:null), ]
1810 POSTHOOK: Lineage: over1k_part2 PARTITION(ds=foo,t=__HIVE_DEFAULT_PARTITION__).f SIMPLE [(over1k)over1k.FieldSchema(name:f, type:float, comment:null), ]
1811 POSTHOOK: Lineage: over1k_part2 PARTITION(ds=foo,t=__HIVE_DEFAULT_PARTITION__).i SIMPLE [(over1k)over1k.FieldSchema(name:i, type:int, comment:null), ]
1812 POSTHOOK: Lineage: over1k_part2 PARTITION(ds=foo,t=__HIVE_DEFAULT_PARTITION__).si SIMPLE [(over1k)over1k.FieldSchema(name:si, type:smallint, comment:null), ]
1813 PREHOOK: query: desc formatted over1k_part2 partition(ds="foo",t=27)
1814 PREHOOK: type: DESCTABLE
1815 PREHOOK: Input: default@over1k_part2
1816 POSTHOOK: query: desc formatted over1k_part2 partition(ds="foo",t=27)
1817 POSTHOOK: type: DESCTABLE
1818 POSTHOOK: Input: default@over1k_part2
1819 # col_name              data_type               comment             
1820 si                      smallint                                    
1821 i                       int                                         
1822 b                       bigint                                      
1823 f                       float                                       
1824                  
1825 # Partition Information          
1826 # col_name              data_type               comment             
1827 ds                      string                                      
1828 t                       tinyint                                     
1829                  
1830 # Detailed Partition Information                 
1831 Partition Value:        [foo, 27]                
1832 Database:               default                  
1833 Table:                  over1k_part2             
1834 #### A masked pattern was here ####
1835 Partition Parameters:            
1836         COLUMN_STATS_ACCURATE   {\"BASIC_STATS\":\"true\",\"COLUMN_STATS\":{\"b\":\"true\",\"f\":\"true\",\"i\":\"true\",\"si\":\"true\"}}
1837         numFiles                1                   
1838         numRows                 16                  
1839         rawDataSize             415                 
1840         totalSize               431                 
1841 #### A masked pattern was here ####
1842                  
1843 # Storage Information            
1844 SerDe Library:          org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe       
1845 InputFormat:            org.apache.hadoop.mapred.TextInputFormat         
1846 OutputFormat:           org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat       
1847 Compressed:             No                       
1848 Num Buckets:            -1                       
1849 Bucket Columns:         []                       
1850 Sort Columns:           []                       
1851 Storage Desc Params:             
1852         serialization.format    1                   
1853 PREHOOK: query: desc formatted over1k_part2 partition(ds="foo",t="__HIVE_DEFAULT_PARTITION__")
1854 PREHOOK: type: DESCTABLE
1855 PREHOOK: Input: default@over1k_part2
1856 POSTHOOK: query: desc formatted over1k_part2 partition(ds="foo",t="__HIVE_DEFAULT_PARTITION__")
1857 POSTHOOK: type: DESCTABLE
1858 POSTHOOK: Input: default@over1k_part2
1859 # col_name              data_type               comment             
1860 si                      smallint                                    
1861 i                       int                                         
1862 b                       bigint                                      
1863 f                       float                                       
1864                  
1865 # Partition Information          
1866 # col_name              data_type               comment             
1867 ds                      string                                      
1868 t                       tinyint                                     
1869                  
1870 # Detailed Partition Information                 
1871 Partition Value:        [foo, __HIVE_DEFAULT_PARTITION__]        
1872 Database:               default                  
1873 Table:                  over1k_part2             
1874 #### A masked pattern was here ####
1875 Partition Parameters:            
1876         COLUMN_STATS_ACCURATE   {\"BASIC_STATS\":\"true\",\"COLUMN_STATS\":{\"b\":\"true\",\"f\":\"true\",\"i\":\"true\",\"si\":\"true\"}}
1877         numFiles                1                   
1878         numRows                 3                   
1879         rawDataSize             78                  
1880         totalSize               81                  
1881 #### A masked pattern was here ####
1882                  
1883 # Storage Information            
1884 SerDe Library:          org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe       
1885 InputFormat:            org.apache.hadoop.mapred.TextInputFormat         
1886 OutputFormat:           org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat       
1887 Compressed:             No                       
1888 Num Buckets:            -1                       
1889 Bucket Columns:         []                       
1890 Sort Columns:           []                       
1891 Storage Desc Params:             
1892         serialization.format    1                   
1893 PREHOOK: query: select * from over1k_part2
1894 PREHOOK: type: QUERY
1895 PREHOOK: Input: default@over1k_part2
1896 PREHOOK: Input: default@over1k_part2@ds=foo/t=27
1897 PREHOOK: Input: default@over1k_part2@ds=foo/t=__HIVE_DEFAULT_PARTITION__
1898 #### A masked pattern was here ####
1899 POSTHOOK: query: select * from over1k_part2
1900 POSTHOOK: type: QUERY
1901 POSTHOOK: Input: default@over1k_part2
1902 POSTHOOK: Input: default@over1k_part2@ds=foo/t=27
1903 POSTHOOK: Input: default@over1k_part2@ds=foo/t=__HIVE_DEFAULT_PARTITION__
1904 #### A masked pattern was here ####
1905 405     65536   4294967508      82.24   foo     27
1906 457     65570   4294967464      81.58   foo     27
1907 256     65599   4294967383      89.55   foo     27
1908 335     65617   4294967381      64.87   foo     27
1909 261     65619   4294967401      88.78   foo     27
1910 278     65622   4294967516      25.67   foo     27
1911 482     65624   4294967313      78.98   foo     27
1912 503     65628   4294967371      95.07   foo     27
1913 335     65636   4294967505      37.14   foo     27
1914 367     65675   4294967518      12.32   foo     27
1915 340     65677   4294967461      98.96   foo     27
1916 490     65680   4294967347      57.46   foo     27
1917 287     65708   4294967542      83.33   foo     27
1918 329     65778   4294967451      6.63    foo     27
1919 401     65779   4294967402      97.39   foo     27
1920 262     65787   4294967371      57.35   foo     27
1921 409     65536   4294967490      46.97   foo     NULL
1922 374     65560   4294967516      65.43   foo     NULL
1923 473     65720   4294967324      80.74   foo     NULL
1924 PREHOOK: query: select count(*) from over1k_part2
1925 PREHOOK: type: QUERY
1926 PREHOOK: Input: default@over1k_part2
1927 PREHOOK: Input: default@over1k_part2@ds=foo/t=27
1928 PREHOOK: Input: default@over1k_part2@ds=foo/t=__HIVE_DEFAULT_PARTITION__
1929 #### A masked pattern was here ####
1930 POSTHOOK: query: select count(*) from over1k_part2
1931 POSTHOOK: type: QUERY
1932 POSTHOOK: Input: default@over1k_part2
1933 POSTHOOK: Input: default@over1k_part2@ds=foo/t=27
1934 POSTHOOK: Input: default@over1k_part2@ds=foo/t=__HIVE_DEFAULT_PARTITION__
1935 #### A masked pattern was here ####
1936 19
1937 PREHOOK: query: insert overwrite table over1k_part2 partition(ds="foo",t) select si,i,b,f,t from over1k where t is null or t=27 order by i
1938 PREHOOK: type: QUERY
1939 PREHOOK: Input: default@over1k
1940 PREHOOK: Output: default@over1k_part2@ds=foo
1941 POSTHOOK: query: insert overwrite table over1k_part2 partition(ds="foo",t) select si,i,b,f,t from over1k where t is null or t=27 order by i
1942 POSTHOOK: type: QUERY
1943 POSTHOOK: Input: default@over1k
1944 POSTHOOK: Output: default@over1k_part2@ds=foo/t=27
1945 POSTHOOK: Output: default@over1k_part2@ds=foo/t=__HIVE_DEFAULT_PARTITION__
1946 POSTHOOK: Lineage: over1k_part2 PARTITION(ds=foo,t=27).b SIMPLE [(over1k)over1k.FieldSchema(name:b, type:bigint, comment:null), ]
1947 POSTHOOK: Lineage: over1k_part2 PARTITION(ds=foo,t=27).f SIMPLE [(over1k)over1k.FieldSchema(name:f, type:float, comment:null), ]
1948 POSTHOOK: Lineage: over1k_part2 PARTITION(ds=foo,t=27).i SIMPLE [(over1k)over1k.FieldSchema(name:i, type:int, comment:null), ]
1949 POSTHOOK: Lineage: over1k_part2 PARTITION(ds=foo,t=27).si SIMPLE [(over1k)over1k.FieldSchema(name:si, type:smallint, comment:null), ]
1950 POSTHOOK: Lineage: over1k_part2 PARTITION(ds=foo,t=__HIVE_DEFAULT_PARTITION__).b SIMPLE [(over1k)over1k.FieldSchema(name:b, type:bigint, comment:null), ]
1951 POSTHOOK: Lineage: over1k_part2 PARTITION(ds=foo,t=__HIVE_DEFAULT_PARTITION__).f SIMPLE [(over1k)over1k.FieldSchema(name:f, type:float, comment:null), ]
1952 POSTHOOK: Lineage: over1k_part2 PARTITION(ds=foo,t=__HIVE_DEFAULT_PARTITION__).i SIMPLE [(over1k)over1k.FieldSchema(name:i, type:int, comment:null), ]
1953 POSTHOOK: Lineage: over1k_part2 PARTITION(ds=foo,t=__HIVE_DEFAULT_PARTITION__).si SIMPLE [(over1k)over1k.FieldSchema(name:si, type:smallint, comment:null), ]
1954 PREHOOK: query: desc formatted over1k_part2 partition(ds="foo",t=27)
1955 PREHOOK: type: DESCTABLE
1956 PREHOOK: Input: default@over1k_part2
1957 POSTHOOK: query: desc formatted over1k_part2 partition(ds="foo",t=27)
1958 POSTHOOK: type: DESCTABLE
1959 POSTHOOK: Input: default@over1k_part2
1960 # col_name              data_type               comment             
1961 si                      smallint                                    
1962 i                       int                                         
1963 b                       bigint                                      
1964 f                       float                                       
1965                  
1966 # Partition Information          
1967 # col_name              data_type               comment             
1968 ds                      string                                      
1969 t                       tinyint                                     
1970                  
1971 # Detailed Partition Information                 
1972 Partition Value:        [foo, 27]                
1973 Database:               default                  
1974 Table:                  over1k_part2             
1975 #### A masked pattern was here ####
1976 Partition Parameters:            
1977         COLUMN_STATS_ACCURATE   {\"BASIC_STATS\":\"true\",\"COLUMN_STATS\":{\"b\":\"true\",\"f\":\"true\",\"i\":\"true\",\"si\":\"true\"}}
1978         numFiles                1                   
1979         numRows                 16                  
1980         rawDataSize             415                 
1981         totalSize               431                 
1982 #### A masked pattern was here ####
1983                  
1984 # Storage Information            
1985 SerDe Library:          org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe       
1986 InputFormat:            org.apache.hadoop.mapred.TextInputFormat         
1987 OutputFormat:           org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat       
1988 Compressed:             No                       
1989 Num Buckets:            -1                       
1990 Bucket Columns:         []                       
1991 Sort Columns:           []                       
1992 Storage Desc Params:             
1993         serialization.format    1                   
1994 PREHOOK: query: desc formatted over1k_part2 partition(ds="foo",t="__HIVE_DEFAULT_PARTITION__")
1995 PREHOOK: type: DESCTABLE
1996 PREHOOK: Input: default@over1k_part2
1997 POSTHOOK: query: desc formatted over1k_part2 partition(ds="foo",t="__HIVE_DEFAULT_PARTITION__")
1998 POSTHOOK: type: DESCTABLE
1999 POSTHOOK: Input: default@over1k_part2
2000 # col_name              data_type               comment             
2001 si                      smallint                                    
2002 i                       int                                         
2003 b                       bigint                                      
2004 f                       float                                       
2005                  
2006 # Partition Information          
2007 # col_name              data_type               comment             
2008 ds                      string                                      
2009 t                       tinyint                                     
2010                  
2011 # Detailed Partition Information                 
2012 Partition Value:        [foo, __HIVE_DEFAULT_PARTITION__]        
2013 Database:               default                  
2014 Table:                  over1k_part2             
2015 #### A masked pattern was here ####
2016 Partition Parameters:            
2017         COLUMN_STATS_ACCURATE   {\"BASIC_STATS\":\"true\",\"COLUMN_STATS\":{\"b\":\"true\",\"f\":\"true\",\"i\":\"true\",\"si\":\"true\"}}
2018         numFiles                1                   
2019         numRows                 3                   
2020         rawDataSize             78                  
2021         totalSize               81                  
2022 #### A masked pattern was here ####
2023                  
2024 # Storage Information            
2025 SerDe Library:          org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe       
2026 InputFormat:            org.apache.hadoop.mapred.TextInputFormat         
2027 OutputFormat:           org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat       
2028 Compressed:             No                       
2029 Num Buckets:            -1                       
2030 Bucket Columns:         []                       
2031 Sort Columns:           []                       
2032 Storage Desc Params:             
2033         serialization.format    1                   
2034 PREHOOK: query: select * from over1k_part2
2035 PREHOOK: type: QUERY
2036 PREHOOK: Input: default@over1k_part2
2037 PREHOOK: Input: default@over1k_part2@ds=foo/t=27
2038 PREHOOK: Input: default@over1k_part2@ds=foo/t=__HIVE_DEFAULT_PARTITION__
2039 #### A masked pattern was here ####
2040 POSTHOOK: query: select * from over1k_part2
2041 POSTHOOK: type: QUERY
2042 POSTHOOK: Input: default@over1k_part2
2043 POSTHOOK: Input: default@over1k_part2@ds=foo/t=27
2044 POSTHOOK: Input: default@over1k_part2@ds=foo/t=__HIVE_DEFAULT_PARTITION__
2045 #### A masked pattern was here ####
2046 405     65536   4294967508      82.24   foo     27
2047 457     65570   4294967464      81.58   foo     27
2048 256     65599   4294967383      89.55   foo     27
2049 335     65617   4294967381      64.87   foo     27
2050 261     65619   4294967401      88.78   foo     27
2051 278     65622   4294967516      25.67   foo     27
2052 482     65624   4294967313      78.98   foo     27
2053 503     65628   4294967371      95.07   foo     27
2054 335     65636   4294967505      37.14   foo     27
2055 367     65675   4294967518      12.32   foo     27
2056 340     65677   4294967461      98.96   foo     27
2057 490     65680   4294967347      57.46   foo     27
2058 287     65708   4294967542      83.33   foo     27
2059 329     65778   4294967451      6.63    foo     27
2060 401     65779   4294967402      97.39   foo     27
2061 262     65787   4294967371      57.35   foo     27
2062 409     65536   4294967490      46.97   foo     NULL
2063 374     65560   4294967516      65.43   foo     NULL
2064 473     65720   4294967324      80.74   foo     NULL
2065 PREHOOK: query: select count(*) from over1k_part2
2066 PREHOOK: type: QUERY
2067 PREHOOK: Input: default@over1k_part2
2068 PREHOOK: Input: default@over1k_part2@ds=foo/t=27
2069 PREHOOK: Input: default@over1k_part2@ds=foo/t=__HIVE_DEFAULT_PARTITION__
2070 #### A masked pattern was here ####
2071 POSTHOOK: query: select count(*) from over1k_part2
2072 POSTHOOK: type: QUERY
2073 POSTHOOK: Input: default@over1k_part2
2074 POSTHOOK: Input: default@over1k_part2@ds=foo/t=27
2075 POSTHOOK: Input: default@over1k_part2@ds=foo/t=__HIVE_DEFAULT_PARTITION__
2076 #### A masked pattern was here ####
2077 19
2078 PREHOOK: query: create table over1k_part_buck_sort2(
2079            si smallint,
2080            i int,
2081            b bigint,
2082            f float)
2083        partitioned by (t tinyint)
2084        clustered by (si)
2085        sorted by (f) into 1 buckets
2086 PREHOOK: type: CREATETABLE
2087 PREHOOK: Output: database:default
2088 PREHOOK: Output: default@over1k_part_buck_sort2
2089 POSTHOOK: query: create table over1k_part_buck_sort2(
2090            si smallint,
2091            i int,
2092            b bigint,
2093            f float)
2094        partitioned by (t tinyint)
2095        clustered by (si)
2096        sorted by (f) into 1 buckets
2097 POSTHOOK: type: CREATETABLE
2098 POSTHOOK: Output: database:default
2099 POSTHOOK: Output: default@over1k_part_buck_sort2
2100 PREHOOK: query: explain insert overwrite table over1k_part_buck_sort2 partition(t) select si,i,b,f,t from over1k where t is null or t=27
2101 PREHOOK: type: QUERY
2102 POSTHOOK: query: explain insert overwrite table over1k_part_buck_sort2 partition(t) select si,i,b,f,t from over1k where t is null or t=27
2103 POSTHOOK: type: QUERY
2104 STAGE DEPENDENCIES:
2105   Stage-1 is a root stage
2106   Stage-2 depends on stages: Stage-1
2107   Stage-0 depends on stages: Stage-2
2108   Stage-3 depends on stages: Stage-0
2109
2110 STAGE PLANS:
2111   Stage: Stage-1
2112     Tez
2113 #### A masked pattern was here ####
2114       Edges:
2115         Reducer 2 <- Map 1 (SIMPLE_EDGE)
2116         Reducer 3 <- Reducer 2 (SIMPLE_EDGE)
2117 #### A masked pattern was here ####
2118       Vertices:
2119         Map 1 
2120             Map Operator Tree:
2121                 TableScan
2122                   alias: over1k
2123                   Statistics: Num rows: 1 Data size: 24 Basic stats: COMPLETE Column stats: NONE
2124                   Filter Operator
2125                     predicate: ((t = 27Y) or t is null) (type: boolean)
2126                     Statistics: Num rows: 1 Data size: 24 Basic stats: COMPLETE Column stats: NONE
2127                     Select Operator
2128                       expressions: si (type: smallint), i (type: int), b (type: bigint), f (type: float), t (type: tinyint)
2129                       outputColumnNames: _col0, _col1, _col2, _col3, _col4
2130                       Statistics: Num rows: 1 Data size: 24 Basic stats: COMPLETE Column stats: NONE
2131                       Reduce Output Operator
2132                         key expressions: _col3 (type: float)
2133                         sort order: +
2134                         Map-reduce partition columns: _col0 (type: smallint)
2135                         Statistics: Num rows: 1 Data size: 24 Basic stats: COMPLETE Column stats: NONE
2136                         value expressions: _col0 (type: smallint), _col1 (type: int), _col2 (type: bigint), _col4 (type: tinyint)
2137             Execution mode: llap
2138             LLAP IO: no inputs
2139         Reducer 2 
2140             Execution mode: llap
2141             Reduce Operator Tree:
2142               Select Operator
2143                 expressions: VALUE._col0 (type: smallint), VALUE._col1 (type: int), VALUE._col2 (type: bigint), KEY.reducesinkkey0 (type: float), VALUE._col3 (type: tinyint)
2144                 outputColumnNames: _col0, _col1, _col2, _col3, _col4
2145                 Statistics: Num rows: 1 Data size: 24 Basic stats: COMPLETE Column stats: NONE
2146                 File Output Operator
2147                   compressed: false
2148                   Statistics: Num rows: 1 Data size: 24 Basic stats: COMPLETE Column stats: NONE
2149                   table:
2150                       input format: org.apache.hadoop.mapred.TextInputFormat
2151                       output format: org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat
2152                       serde: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
2153                       name: default.over1k_part_buck_sort2
2154                 Select Operator
2155                   expressions: _col0 (type: smallint), _col1 (type: int), _col2 (type: bigint), _col3 (type: float), _col4 (type: tinyint)
2156                   outputColumnNames: si, i, b, f, t
2157                   Statistics: Num rows: 1 Data size: 24 Basic stats: COMPLETE Column stats: NONE
2158                   Group By Operator
2159                     aggregations: compute_stats(si, 'hll'), compute_stats(i, 'hll'), compute_stats(b, 'hll'), compute_stats(f, 'hll')
2160                     keys: t (type: tinyint)
2161                     mode: hash
2162                     outputColumnNames: _col0, _col1, _col2, _col3, _col4
2163                     Statistics: Num rows: 1 Data size: 24 Basic stats: COMPLETE Column stats: NONE
2164                     Reduce Output Operator
2165                       key expressions: _col0 (type: tinyint)
2166                       sort order: +
2167                       Map-reduce partition columns: _col0 (type: tinyint)
2168                       Statistics: Num rows: 1 Data size: 24 Basic stats: COMPLETE Column stats: NONE
2169                       value expressions: _col1 (type: struct<columntype:string,min:bigint,max:bigint,countnulls:bigint,bitvector:binary>), _col2 (type: struct<columntype:string,min:bigint,max:bigint,countnulls:bigint,bitvector:binary>), _col3 (type: struct<columntype:string,min:bigint,max:bigint,countnulls:bigint,bitvector:binary>), _col4 (type: struct<columntype:string,min:double,max:double,countnulls:bigint,bitvector:binary>)
2170         Reducer 3 
2171             Execution mode: llap
2172             Reduce Operator Tree:
2173               Group By Operator
2174                 aggregations: compute_stats(VALUE._col0), compute_stats(VALUE._col1), compute_stats(VALUE._col2), compute_stats(VALUE._col3)
2175                 keys: KEY._col0 (type: tinyint)
2176                 mode: mergepartial
2177                 outputColumnNames: _col0, _col1, _col2, _col3, _col4
2178                 Statistics: Num rows: 1 Data size: 24 Basic stats: COMPLETE Column stats: NONE
2179                 Select Operator
2180                   expressions: _col1 (type: struct<columntype:string,min:bigint,max:bigint,countnulls:bigint,numdistinctvalues:bigint,ndvbitvector:binary>), _col2 (type: struct<columntype:string,min:bigint,max:bigint,countnulls:bigint,numdistinctvalues:bigint,ndvbitvector:binary>), _col3 (type: struct<columntype:string,min:bigint,max:bigint,countnulls:bigint,numdistinctvalues:bigint,ndvbitvector:binary>), _col4 (type: struct<columntype:string,min:double,max:double,countnulls:bigint,numdistinctvalues:bigint,ndvbitvector:binary>), _col0 (type: tinyint)
2181                   outputColumnNames: _col0, _col1, _col2, _col3, _col4
2182                   Statistics: Num rows: 1 Data size: 24 Basic stats: COMPLETE Column stats: NONE
2183                   File Output Operator
2184                     compressed: false
2185                     Statistics: Num rows: 1 Data size: 24 Basic stats: COMPLETE Column stats: NONE
2186                     table:
2187                         input format: org.apache.hadoop.mapred.SequenceFileInputFormat
2188                         output format: org.apache.hadoop.hive.ql.io.HiveSequenceFileOutputFormat
2189                         serde: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
2190
2191   Stage: Stage-2
2192     Dependency Collection
2193
2194   Stage: Stage-0
2195     Move Operator
2196       tables:
2197           partition:
2198             t 
2199           replace: true
2200           table:
2201               input format: org.apache.hadoop.mapred.TextInputFormat
2202               output format: org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat
2203               serde: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
2204               name: default.over1k_part_buck_sort2
2205
2206   Stage: Stage-3
2207     Stats Work
2208       Basic Stats Work:
2209       Column Stats Desc:
2210           Columns: si, i, b, f
2211           Column Types: smallint, int, bigint, float
2212           Table: default.over1k_part_buck_sort2
2213
2214 PREHOOK: query: explain insert overwrite table over1k_part_buck_sort2 partition(t) select si,i,b,f,t from over1k where t is null or t=27
2215 PREHOOK: type: QUERY
2216 POSTHOOK: query: explain insert overwrite table over1k_part_buck_sort2 partition(t) select si,i,b,f,t from over1k where t is null or t=27
2217 POSTHOOK: type: QUERY
2218 STAGE DEPENDENCIES:
2219   Stage-1 is a root stage
2220   Stage-2 depends on stages: Stage-1
2221   Stage-0 depends on stages: Stage-2
2222   Stage-3 depends on stages: Stage-0
2223
2224 STAGE PLANS:
2225   Stage: Stage-1
2226     Tez
2227 #### A masked pattern was here ####
2228       Edges:
2229         Reducer 2 <- Map 1 (SIMPLE_EDGE)
2230 #### A masked pattern was here ####
2231       Vertices:
2232         Map 1 
2233             Map Operator Tree:
2234                 TableScan
2235                   alias: over1k
2236                   Statistics: Num rows: 1 Data size: 24 Basic stats: COMPLETE Column stats: NONE
2237                   Filter Operator
2238                     predicate: ((t = 27Y) or t is null) (type: boolean)
2239                     Statistics: Num rows: 1 Data size: 24 Basic stats: COMPLETE Column stats: NONE
2240                     Select Operator
2241                       expressions: si (type: smallint), i (type: int), b (type: bigint), f (type: float), t (type: tinyint)
2242                       outputColumnNames: _col0, _col1, _col2, _col3, _col4
2243                       Statistics: Num rows: 1 Data size: 24 Basic stats: COMPLETE Column stats: NONE
2244                       Reduce Output Operator
2245                         key expressions: _col4 (type: tinyint), '_bucket_number' (type: string), _col3 (type: float)
2246                         sort order: +++
2247                         Map-reduce partition columns: _col4 (type: tinyint)
2248                         Statistics: Num rows: 1 Data size: 24 Basic stats: COMPLETE Column stats: NONE
2249                         value expressions: _col0 (type: smallint), _col1 (type: int), _col2 (type: bigint)
2250             Execution mode: llap
2251             LLAP IO: no inputs
2252         Reducer 2 
2253             Execution mode: llap
2254             Reduce Operator Tree:
2255               Select Operator
2256                 expressions: VALUE._col0 (type: smallint), VALUE._col1 (type: int), VALUE._col2 (type: bigint), KEY._col3 (type: float), KEY._col4 (type: tinyint), KEY.'_bucket_number' (type: string)
2257                 outputColumnNames: _col0, _col1, _col2, _col3, _col4, '_bucket_number'
2258                 Statistics: Num rows: 1 Data size: 24 Basic stats: COMPLETE Column stats: NONE
2259                 File Output Operator
2260                   compressed: false
2261                   Dp Sort State: PARTITION_BUCKET_SORTED
2262                   Statistics: Num rows: 1 Data size: 24 Basic stats: COMPLETE Column stats: NONE
2263                   table:
2264                       input format: org.apache.hadoop.mapred.TextInputFormat
2265                       output format: org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat
2266                       serde: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
2267                       name: default.over1k_part_buck_sort2
2268
2269   Stage: Stage-2
2270     Dependency Collection
2271
2272   Stage: Stage-0
2273     Move Operator
2274       tables:
2275           partition:
2276             t 
2277           replace: true
2278           table:
2279               input format: org.apache.hadoop.mapred.TextInputFormat
2280               output format: org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat
2281               serde: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
2282               name: default.over1k_part_buck_sort2
2283
2284   Stage: Stage-3
2285     Stats Work
2286       Basic Stats Work:
2287       Column Stats Desc:
2288           Columns: si, i, b, f
2289           Column Types: smallint, int, bigint, float
2290           Table: default.over1k_part_buck_sort2
2291
2292 PREHOOK: query: insert overwrite table over1k_part_buck_sort2 partition(t) select si,i,b,f,t from over1k where t is null or t=27
2293 PREHOOK: type: QUERY
2294 PREHOOK: Input: default@over1k
2295 PREHOOK: Output: default@over1k_part_buck_sort2
2296 POSTHOOK: query: insert overwrite table over1k_part_buck_sort2 partition(t) select si,i,b,f,t from over1k where t is null or t=27
2297 POSTHOOK: type: QUERY
2298 POSTHOOK: Input: default@over1k
2299 POSTHOOK: Output: default@over1k_part_buck_sort2@t=27
2300 POSTHOOK: Output: default@over1k_part_buck_sort2@t=__HIVE_DEFAULT_PARTITION__
2301 POSTHOOK: Lineage: over1k_part_buck_sort2 PARTITION(t=27).b SIMPLE [(over1k)over1k.FieldSchema(name:b, type:bigint, comment:null), ]
2302 POSTHOOK: Lineage: over1k_part_buck_sort2 PARTITION(t=27).f SIMPLE [(over1k)over1k.FieldSchema(name:f, type:float, comment:null), ]
2303 POSTHOOK: Lineage: over1k_part_buck_sort2 PARTITION(t=27).i SIMPLE [(over1k)over1k.FieldSchema(name:i, type:int, comment:null), ]
2304 POSTHOOK: Lineage: over1k_part_buck_sort2 PARTITION(t=27).si SIMPLE [(over1k)over1k.FieldSchema(name:si, type:smallint, comment:null), ]
2305 POSTHOOK: Lineage: over1k_part_buck_sort2 PARTITION(t=__HIVE_DEFAULT_PARTITION__).b SIMPLE [(over1k)over1k.FieldSchema(name:b, type:bigint, comment:null), ]
2306 POSTHOOK: Lineage: over1k_part_buck_sort2 PARTITION(t=__HIVE_DEFAULT_PARTITION__).f SIMPLE [(over1k)over1k.FieldSchema(name:f, type:float, comment:null), ]
2307 POSTHOOK: Lineage: over1k_part_buck_sort2 PARTITION(t=__HIVE_DEFAULT_PARTITION__).i SIMPLE [(over1k)over1k.FieldSchema(name:i, type:int, comment:null), ]
2308 POSTHOOK: Lineage: over1k_part_buck_sort2 PARTITION(t=__HIVE_DEFAULT_PARTITION__).si SIMPLE [(over1k)over1k.FieldSchema(name:si, type:smallint, comment:null), ]
2309 PREHOOK: query: desc formatted over1k_part_buck_sort2 partition(t=27)
2310 PREHOOK: type: DESCTABLE
2311 PREHOOK: Input: default@over1k_part_buck_sort2
2312 POSTHOOK: query: desc formatted over1k_part_buck_sort2 partition(t=27)
2313 POSTHOOK: type: DESCTABLE
2314 POSTHOOK: Input: default@over1k_part_buck_sort2
2315 # col_name              data_type               comment             
2316 si                      smallint                                    
2317 i                       int                                         
2318 b                       bigint                                      
2319 f                       float                                       
2320                  
2321 # Partition Information          
2322 # col_name              data_type               comment             
2323 t                       tinyint                                     
2324                  
2325 # Detailed Partition Information                 
2326 Partition Value:        [27]                     
2327 Database:               default                  
2328 Table:                  over1k_part_buck_sort2   
2329 #### A masked pattern was here ####
2330 Partition Parameters:            
2331         COLUMN_STATS_ACCURATE   {\"BASIC_STATS\":\"true\",\"COLUMN_STATS\":{\"b\":\"true\",\"f\":\"true\",\"i\":\"true\",\"si\":\"true\"}}
2332         numFiles                1                   
2333         numRows                 16                  
2334         rawDataSize             415                 
2335         totalSize               431                 
2336 #### A masked pattern was here ####
2337                  
2338 # Storage Information            
2339 SerDe Library:          org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe       
2340 InputFormat:            org.apache.hadoop.mapred.TextInputFormat         
2341 OutputFormat:           org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat       
2342 Compressed:             No                       
2343 Num Buckets:            1                        
2344 Bucket Columns:         [si]                     
2345 Sort Columns:           [Order(col:f, order:1)]  
2346 Storage Desc Params:             
2347         serialization.format    1                   
2348 PREHOOK: query: desc formatted over1k_part_buck_sort2 partition(t="__HIVE_DEFAULT_PARTITION__")
2349 PREHOOK: type: DESCTABLE
2350 PREHOOK: Input: default@over1k_part_buck_sort2
2351 POSTHOOK: query: desc formatted over1k_part_buck_sort2 partition(t="__HIVE_DEFAULT_PARTITION__")
2352 POSTHOOK: type: DESCTABLE
2353 POSTHOOK: Input: default@over1k_part_buck_sort2
2354 # col_name              data_type               comment             
2355 si                      smallint                                    
2356 i                       int                                         
2357 b                       bigint                                      
2358 f                       float                                       
2359                  
2360 # Partition Information          
2361 # col_name              data_type               comment             
2362 t                       tinyint                                     
2363                  
2364 # Detailed Partition Information                 
2365 Partition Value:        [__HIVE_DEFAULT_PARTITION__]     
2366 Database:               default                  
2367 Table:                  over1k_part_buck_sort2   
2368 #### A masked pattern was here ####
2369 Partition Parameters:            
2370         COLUMN_STATS_ACCURATE   {\"BASIC_STATS\":\"true\",\"COLUMN_STATS\":{\"b\":\"true\",\"f\":\"true\",\"i\":\"true\",\"si\":\"true\"}}
2371         numFiles                1                   
2372         numRows                 3                   
2373         rawDataSize             78                  
2374         totalSize               81                  
2375 #### A masked pattern was here ####
2376                  
2377 # Storage Information            
2378 SerDe Library:          org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe       
2379 InputFormat:            org.apache.hadoop.mapred.TextInputFormat         
2380 OutputFormat:           org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat       
2381 Compressed:             No                       
2382 Num Buckets:            1                        
2383 Bucket Columns:         [si]                     
2384 Sort Columns:           [Order(col:f, order:1)]  
2385 Storage Desc Params:             
2386         serialization.format    1                   
2387 PREHOOK: query: select * from over1k_part_buck_sort2
2388 PREHOOK: type: QUERY
2389 PREHOOK: Input: default@over1k_part_buck_sort2
2390 PREHOOK: Input: default@over1k_part_buck_sort2@t=27
2391 PREHOOK: Input: default@over1k_part_buck_sort2@t=__HIVE_DEFAULT_PARTITION__
2392 #### A masked pattern was here ####
2393 POSTHOOK: query: select * from over1k_part_buck_sort2
2394 POSTHOOK: type: QUERY
2395 POSTHOOK: Input: default@over1k_part_buck_sort2
2396 POSTHOOK: Input: default@over1k_part_buck_sort2@t=27
2397 POSTHOOK: Input: default@over1k_part_buck_sort2@t=__HIVE_DEFAULT_PARTITION__
2398 #### A masked pattern was here ####
2399 329     65778   4294967451      6.63    27
2400 367     65675   4294967518      12.32   27
2401 278     65622   4294967516      25.67   27
2402 335     65636   4294967505      37.14   27
2403 262     65787   4294967371      57.35   27
2404 490     65680   4294967347      57.46   27
2405 335     65617   4294967381      64.87   27
2406 482     65624   4294967313      78.98   27
2407 457     65570   4294967464      81.58   27
2408 405     65536   4294967508      82.24   27
2409 287     65708   4294967542      83.33   27
2410 261     65619   4294967401      88.78   27
2411 256     65599   4294967383      89.55   27
2412 503     65628   4294967371      95.07   27
2413 401     65779   4294967402      97.39   27
2414 340     65677   4294967461      98.96   27
2415 409     65536   4294967490      46.97   NULL
2416 374     65560   4294967516      65.43   NULL
2417 473     65720   4294967324      80.74   NULL
2418 PREHOOK: query: select count(*) from over1k_part_buck_sort2
2419 PREHOOK: type: QUERY
2420 PREHOOK: Input: default@over1k_part_buck_sort2
2421 PREHOOK: Input: default@over1k_part_buck_sort2@t=27
2422 PREHOOK: Input: default@over1k_part_buck_sort2@t=__HIVE_DEFAULT_PARTITION__
2423 #### A masked pattern was here ####
2424 POSTHOOK: query: select count(*) from over1k_part_buck_sort2
2425 POSTHOOK: type: QUERY
2426 POSTHOOK: Input: default@over1k_part_buck_sort2
2427 POSTHOOK: Input: default@over1k_part_buck_sort2@t=27
2428 POSTHOOK: Input: default@over1k_part_buck_sort2@t=__HIVE_DEFAULT_PARTITION__
2429 #### A masked pattern was here ####
2430 19
2431 PREHOOK: query: insert overwrite table over1k_part_buck_sort2 partition(t) select si,i,b,f,t from over1k where t is null or t=27
2432 PREHOOK: type: QUERY
2433 PREHOOK: Input: default@over1k
2434 PREHOOK: Output: default@over1k_part_buck_sort2
2435 POSTHOOK: query: insert overwrite table over1k_part_buck_sort2 partition(t) select si,i,b,f,t from over1k where t is null or t=27
2436 POSTHOOK: type: QUERY
2437 POSTHOOK: Input: default@over1k
2438 POSTHOOK: Output: default@over1k_part_buck_sort2@t=27
2439 POSTHOOK: Output: default@over1k_part_buck_sort2@t=__HIVE_DEFAULT_PARTITION__
2440 POSTHOOK: Lineage: over1k_part_buck_sort2 PARTITION(t=27).b SIMPLE [(over1k)over1k.FieldSchema(name:b, type:bigint, comment:null), ]
2441 POSTHOOK: Lineage: over1k_part_buck_sort2 PARTITION(t=27).f SIMPLE [(over1k)over1k.FieldSchema(name:f, type:float, comment:null), ]
2442 POSTHOOK: Lineage: over1k_part_buck_sort2 PARTITION(t=27).i SIMPLE [(over1k)over1k.FieldSchema(name:i, type:int, comment:null), ]
2443 POSTHOOK: Lineage: over1k_part_buck_sort2 PARTITION(t=27).si SIMPLE [(over1k)over1k.FieldSchema(name:si, type:smallint, comment:null), ]
2444 POSTHOOK: Lineage: over1k_part_buck_sort2 PARTITION(t=__HIVE_DEFAULT_PARTITION__).b SIMPLE [(over1k)over1k.FieldSchema(name:b, type:bigint, comment:null), ]
2445 POSTHOOK: Lineage: over1k_part_buck_sort2 PARTITION(t=__HIVE_DEFAULT_PARTITION__).f SIMPLE [(over1k)over1k.FieldSchema(name:f, type:float, comment:null), ]
2446 POSTHOOK: Lineage: over1k_part_buck_sort2 PARTITION(t=__HIVE_DEFAULT_PARTITION__).i SIMPLE [(over1k)over1k.FieldSchema(name:i, type:int, comment:null), ]
2447 POSTHOOK: Lineage: over1k_part_buck_sort2 PARTITION(t=__HIVE_DEFAULT_PARTITION__).si SIMPLE [(over1k)over1k.FieldSchema(name:si, type:smallint, comment:null), ]
2448 PREHOOK: query: desc formatted over1k_part_buck_sort2 partition(t=27)
2449 PREHOOK: type: DESCTABLE
2450 PREHOOK: Input: default@over1k_part_buck_sort2
2451 POSTHOOK: query: desc formatted over1k_part_buck_sort2 partition(t=27)
2452 POSTHOOK: type: DESCTABLE
2453 POSTHOOK: Input: default@over1k_part_buck_sort2
2454 # col_name              data_type               comment             
2455 si                      smallint                                    
2456 i                       int                                         
2457 b                       bigint                                      
2458 f                       float                                       
2459                  
2460 # Partition Information          
2461 # col_name              data_type               comment             
2462 t                       tinyint                                     
2463                  
2464 # Detailed Partition Information                 
2465 Partition Value:        [27]                     
2466 Database:               default                  
2467 Table:                  over1k_part_buck_sort2   
2468 #### A masked pattern was here ####
2469 Partition Parameters:            
2470         COLUMN_STATS_ACCURATE   {\"BASIC_STATS\":\"true\",\"COLUMN_STATS\":{\"b\":\"true\",\"f\":\"true\",\"i\":\"true\",\"si\":\"true\"}}
2471         numFiles                1                   
2472         numRows                 16                  
2473         rawDataSize             415                 
2474         totalSize               431                 
2475 #### A masked pattern was here ####
2476                  
2477 # Storage Information            
2478 SerDe Library:          org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe       
2479 InputFormat:            org.apache.hadoop.mapred.TextInputFormat         
2480 OutputFormat:           org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat       
2481 Compressed:             No                       
2482 Num Buckets:            1                        
2483 Bucket Columns:         [si]                     
2484 Sort Columns:           [Order(col:f, order:1)]  
2485 Storage Desc Params:             
2486         serialization.format    1                   
2487 PREHOOK: query: desc formatted over1k_part_buck_sort2 partition(t="__HIVE_DEFAULT_PARTITION__")
2488 PREHOOK: type: DESCTABLE
2489 PREHOOK: Input: default@over1k_part_buck_sort2
2490 POSTHOOK: query: desc formatted over1k_part_buck_sort2 partition(t="__HIVE_DEFAULT_PARTITION__")
2491 POSTHOOK: type: DESCTABLE
2492 POSTHOOK: Input: default@over1k_part_buck_sort2
2493 # col_name              data_type               comment             
2494 si                      smallint                                    
2495 i                       int                                         
2496 b                       bigint                                      
2497 f                       float                                       
2498                  
2499 # Partition Information          
2500 # col_name              data_type               comment             
2501 t                       tinyint                                     
2502                  
2503 # Detailed Partition Information                 
2504 Partition Value:        [__HIVE_DEFAULT_PARTITION__]     
2505 Database:               default                  
2506 Table:                  over1k_part_buck_sort2   
2507 #### A masked pattern was here ####
2508 Partition Parameters:            
2509         COLUMN_STATS_ACCURATE   {\"BASIC_STATS\":\"true\",\"COLUMN_STATS\":{\"b\":\"true\",\"f\":\"true\",\"i\":\"true\",\"si\":\"true\"}}
2510         numFiles                1                   
2511         numRows                 3                   
2512         rawDataSize             78                  
2513         totalSize               81                  
2514 #### A masked pattern was here ####
2515                  
2516 # Storage Information            
2517 SerDe Library:          org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe       
2518 InputFormat:            org.apache.hadoop.mapred.TextInputFormat         
2519 OutputFormat:           org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat       
2520 Compressed:             No                       
2521 Num Buckets:            1                        
2522 Bucket Columns:         [si]                     
2523 Sort Columns:           [Order(col:f, order:1)]  
2524 Storage Desc Params:             
2525         serialization.format    1                   
2526 PREHOOK: query: select * from over1k_part_buck_sort2
2527 PREHOOK: type: QUERY
2528 PREHOOK: Input: default@over1k_part_buck_sort2
2529 PREHOOK: Input: default@over1k_part_buck_sort2@t=27
2530 PREHOOK: Input: default@over1k_part_buck_sort2@t=__HIVE_DEFAULT_PARTITION__
2531 #### A masked pattern was here ####
2532 POSTHOOK: query: select * from over1k_part_buck_sort2
2533 POSTHOOK: type: QUERY
2534 POSTHOOK: Input: default@over1k_part_buck_sort2
2535 POSTHOOK: Input: default@over1k_part_buck_sort2@t=27
2536 POSTHOOK: Input: default@over1k_part_buck_sort2@t=__HIVE_DEFAULT_PARTITION__
2537 #### A masked pattern was here ####
2538 329     65778   4294967451      6.63    27
2539 367     65675   4294967518      12.32   27
2540 278     65622   4294967516      25.67   27
2541 335     65636   4294967505      37.14   27
2542 262     65787   4294967371      57.35   27
2543 490     65680   4294967347      57.46   27
2544 335     65617   4294967381      64.87   27
2545 482     65624   4294967313      78.98   27
2546 457     65570   4294967464      81.58   27
2547 405     65536   4294967508      82.24   27
2548 287     65708   4294967542      83.33   27
2549 261     65619   4294967401      88.78   27
2550 256     65599   4294967383      89.55   27
2551 503     65628   4294967371      95.07   27
2552 401     65779   4294967402      97.39   27
2553 340     65677   4294967461      98.96   27
2554 409     65536   4294967490      46.97   NULL
2555 374     65560   4294967516      65.43   NULL
2556 473     65720   4294967324      80.74   NULL
2557 PREHOOK: query: select count(*) from over1k_part_buck_sort2
2558 PREHOOK: type: QUERY
2559 PREHOOK: Input: default@over1k_part_buck_sort2
2560 PREHOOK: Input: default@over1k_part_buck_sort2@t=27
2561 PREHOOK: Input: default@over1k_part_buck_sort2@t=__HIVE_DEFAULT_PARTITION__
2562 #### A masked pattern was here ####
2563 POSTHOOK: query: select count(*) from over1k_part_buck_sort2
2564 POSTHOOK: type: QUERY
2565 POSTHOOK: Input: default@over1k_part_buck_sort2
2566 POSTHOOK: Input: default@over1k_part_buck_sort2@t=27
2567 POSTHOOK: Input: default@over1k_part_buck_sort2@t=__HIVE_DEFAULT_PARTITION__
2568 #### A masked pattern was here ####
2569 19
2570 PREHOOK: query: create table over1k_part3(
2571            si smallint,
2572            b bigint,
2573            f float)
2574        partitioned by (s string, t tinyint, i int)
2575 PREHOOK: type: CREATETABLE
2576 PREHOOK: Output: database:default
2577 PREHOOK: Output: default@over1k_part3
2578 POSTHOOK: query: create table over1k_part3(
2579            si smallint,
2580            b bigint,
2581            f float)
2582        partitioned by (s string, t tinyint, i int)
2583 POSTHOOK: type: CREATETABLE
2584 POSTHOOK: Output: database:default
2585 POSTHOOK: Output: default@over1k_part3
2586 PREHOOK: query: explain insert overwrite table over1k_part3 partition(s,t,i) select si,b,f,s,t,i from over1k where s="foo"
2587 PREHOOK: type: QUERY
2588 POSTHOOK: query: explain insert overwrite table over1k_part3 partition(s,t,i) select si,b,f,s,t,i from over1k where s="foo"
2589 POSTHOOK: type: QUERY
2590 STAGE DEPENDENCIES:
2591   Stage-1 is a root stage
2592   Stage-2 depends on stages: Stage-1
2593   Stage-0 depends on stages: Stage-2
2594   Stage-3 depends on stages: Stage-0
2595
2596 STAGE PLANS:
2597   Stage: Stage-1
2598     Tez
2599 #### A masked pattern was here ####
2600       Edges:
2601         Reducer 2 <- Map 1 (SIMPLE_EDGE)
2602 #### A masked pattern was here ####
2603       Vertices:
2604         Map 1 
2605             Map Operator Tree:
2606                 TableScan
2607                   alias: over1k
2608                   Statistics: Num rows: 1 Data size: 208 Basic stats: COMPLETE Column stats: NONE
2609                   Filter Operator
2610                     predicate: (s = 'foo') (type: boolean)
2611                     Statistics: Num rows: 1 Data size: 208 Basic stats: COMPLETE Column stats: NONE
2612                     Select Operator
2613                       expressions: si (type: smallint), b (type: bigint), f (type: float), 'foo' (type: string), t (type: tinyint), i (type: int)
2614                       outputColumnNames: _col0, _col1, _col2, _col3, _col4, _col5
2615                       Statistics: Num rows: 1 Data size: 208 Basic stats: COMPLETE Column stats: NONE
2616                       Reduce Output Operator
2617                         key expressions: _col3 (type: string), _col4 (type: tinyint), _col5 (type: int)
2618                         sort order: +++
2619                         Map-reduce partition columns: _col3 (type: string), _col4 (type: tinyint), _col5 (type: int)
2620                         Statistics: Num rows: 1 Data size: 208 Basic stats: COMPLETE Column stats: NONE
2621                         value expressions: _col0 (type: smallint), _col1 (type: bigint), _col2 (type: float)
2622             Execution mode: llap
2623             LLAP IO: no inputs
2624         Reducer 2 
2625             Execution mode: llap
2626             Reduce Operator Tree:
2627               Select Operator
2628                 expressions: VALUE._col0 (type: smallint), VALUE._col1 (type: bigint), VALUE._col2 (type: float), KEY._col3 (type: string), KEY._col4 (type: tinyint), KEY._col5 (type: int)
2629                 outputColumnNames: _col0, _col1, _col2, _col3, _col4, _col5
2630                 Statistics: Num rows: 1 Data size: 208 Basic stats: COMPLETE Column stats: NONE
2631                 File Output Operator
2632                   compressed: false
2633                   Dp Sort State: PARTITION_SORTED
2634                   Statistics: Num rows: 1 Data size: 208 Basic stats: COMPLETE Column stats: NONE
2635                   table:
2636                       input format: org.apache.hadoop.mapred.TextInputFormat
2637                       output format: org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat
2638                       serde: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
2639                       name: default.over1k_part3
2640
2641   Stage: Stage-2
2642     Dependency Collection
2643
2644   Stage: Stage-0
2645     Move Operator
2646       tables:
2647           partition:
2648             i 
2649             s 
2650             t 
2651           replace: true
2652           table:
2653               input format: org.apache.hadoop.mapred.TextInputFormat
2654               output format: org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat
2655               serde: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
2656               name: default.over1k_part3
2657
2658   Stage: Stage-3
2659     Stats Work
2660       Basic Stats Work:
2661       Column Stats Desc:
2662           Columns: si, b, f
2663           Column Types: smallint, bigint, float
2664           Table: default.over1k_part3
2665
2666 PREHOOK: query: explain insert overwrite table over1k_part3 partition(s,t,i) select si,b,f,s,t,i from over1k where t=27
2667 PREHOOK: type: QUERY
2668 POSTHOOK: query: explain insert overwrite table over1k_part3 partition(s,t,i) select si,b,f,s,t,i from over1k where t=27
2669 POSTHOOK: type: QUERY
2670 STAGE DEPENDENCIES:
2671   Stage-1 is a root stage
2672   Stage-2 depends on stages: Stage-1
2673   Stage-0 depends on stages: Stage-2
2674   Stage-3 depends on stages: Stage-0
2675
2676 STAGE PLANS:
2677   Stage: Stage-1
2678     Tez
2679 #### A masked pattern was here ####
2680       Edges:
2681         Reducer 2 <- Map 1 (SIMPLE_EDGE)
2682 #### A masked pattern was here ####
2683       Vertices:
2684         Map 1 
2685             Map Operator Tree:
2686                 TableScan
2687                   alias: over1k
2688                   Statistics: Num rows: 1 Data size: 208 Basic stats: COMPLETE Column stats: NONE
2689                   Filter Operator
2690                     predicate: (t = 27Y) (type: boolean)
2691                     Statistics: Num rows: 1 Data size: 208 Basic stats: COMPLETE Column stats: NONE
2692                     Select Operator
2693                       expressions: si (type: smallint), b (type: bigint), f (type: float), s (type: string), 27Y (type: tinyint), i (type: int)
2694                       outputColumnNames: _col0, _col1, _col2, _col3, _col4, _col5
2695                       Statistics: Num rows: 1 Data size: 208 Basic stats: COMPLETE Column stats: NONE
2696                       Reduce Output Operator
2697                         key expressions: _col3 (type: string), _col4 (type: tinyint), _col5 (type: int)
2698                         sort order: +++
2699                         Map-reduce partition columns: _col3 (type: string), _col4 (type: tinyint), _col5 (type: int)
2700                         Statistics: Num rows: 1 Data size: 208 Basic stats: COMPLETE Column stats: NONE
2701                         value expressions: _col0 (type: smallint), _col1 (type: bigint), _col2 (type: float)
2702             Execution mode: llap
2703             LLAP IO: no inputs
2704         Reducer 2 
2705             Execution mode: llap
2706             Reduce Operator Tree:
2707               Select Operator
2708                 expressions: VALUE._col0 (type: smallint), VALUE._col1 (type: bigint), VALUE._col2 (type: float), KEY._col3 (type: string), KEY._col4 (type: tinyint), KEY._col5 (type: int)
2709                 outputColumnNames: _col0, _col1, _col2, _col3, _col4, _col5
2710                 Statistics: Num rows: 1 Data size: 208 Basic stats: COMPLETE Column stats: NONE
2711                 File Output Operator
2712                   compressed: false
2713                   Dp Sort State: PARTITION_SORTED
2714                   Statistics: Num rows: 1 Data size: 208 Basic stats: COMPLETE Column stats: NONE
2715                   table:
2716                       input format: org.apache.hadoop.mapred.TextInputFormat
2717                       output format: org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat
2718                       serde: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
2719                       name: default.over1k_part3
2720
2721   Stage: Stage-2
2722     Dependency Collection
2723
2724   Stage: Stage-0
2725     Move Operator
2726       tables:
2727           partition:
2728             i 
2729             s 
2730             t 
2731           replace: true
2732           table:
2733               input format: org.apache.hadoop.mapred.TextInputFormat
2734               output format: org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat
2735               serde: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
2736               name: default.over1k_part3
2737
2738   Stage: Stage-3
2739     Stats Work
2740       Basic Stats Work:
2741       Column Stats Desc:
2742           Columns: si, b, f
2743           Column Types: smallint, bigint, float
2744           Table: default.over1k_part3
2745
2746 PREHOOK: query: explain insert overwrite table over1k_part3 partition(s,t,i) select si,b,f,s,t,i from over1k where i=100
2747 PREHOOK: type: QUERY
2748 POSTHOOK: query: explain insert overwrite table over1k_part3 partition(s,t,i) select si,b,f,s,t,i from over1k where i=100
2749 POSTHOOK: type: QUERY
2750 STAGE DEPENDENCIES:
2751   Stage-1 is a root stage
2752   Stage-2 depends on stages: Stage-1
2753   Stage-0 depends on stages: Stage-2
2754   Stage-3 depends on stages: Stage-0
2755
2756 STAGE PLANS:
2757   Stage: Stage-1
2758     Tez
2759 #### A masked pattern was here ####
2760       Edges:
2761         Reducer 2 <- Map 1 (SIMPLE_EDGE)
2762 #### A masked pattern was here ####
2763       Vertices:
2764         Map 1 
2765             Map Operator Tree:
2766                 TableScan
2767                   alias: over1k
2768                   Statistics: Num rows: 1 Data size: 208 Basic stats: COMPLETE Column stats: NONE
2769                   Filter Operator
2770                     predicate: (i = 100) (type: boolean)
2771                     Statistics: Num rows: 1 Data size: 208 Basic stats: COMPLETE Column stats: NONE
2772                     Select Operator
2773                       expressions: si (type: smallint), b (type: bigint), f (type: float), s (type: string), t (type: tinyint), 100 (type: int)
2774                       outputColumnNames: _col0, _col1, _col2, _col3, _col4, _col5
2775                       Statistics: Num rows: 1 Data size: 208 Basic stats: COMPLETE Column stats: NONE
2776                       Reduce Output Operator
2777                         key expressions: _col3 (type: string), _col4 (type: tinyint), _col5 (type: int)
2778                         sort order: +++
2779                         Map-reduce partition columns: _col3 (type: string), _col4 (type: tinyint), _col5 (type: int)
2780                         Statistics: Num rows: 1 Data size: 208 Basic stats: COMPLETE Column stats: NONE
2781                         value expressions: _col0 (type: smallint), _col1 (type: bigint), _col2 (type: float)
2782             Execution mode: llap
2783             LLAP IO: no inputs
2784         Reducer 2 
2785             Execution mode: llap
2786             Reduce Operator Tree:
2787               Select Operator
2788                 expressions: VALUE._col0 (type: smallint), VALUE._col1 (type: bigint), VALUE._col2 (type: float), KEY._col3 (type: string), KEY._col4 (type: tinyint), KEY._col5 (type: int)
2789                 outputColumnNames: _col0, _col1, _col2, _col3, _col4, _col5
2790                 Statistics: Num rows: 1 Data size: 208 Basic stats: COMPLETE Column stats: NONE
2791                 File Output Operator
2792                   compressed: false
2793                   Dp Sort State: PARTITION_SORTED
2794                   Statistics: Num rows: 1 Data size: 208 Basic stats: COMPLETE Column stats: NONE
2795                   table:
2796                       input format: org.apache.hadoop.mapred.TextInputFormat
2797                       output format: org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat
2798                       serde: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
2799                       name: default.over1k_part3
2800
2801   Stage: Stage-2
2802     Dependency Collection
2803
2804   Stage: Stage-0
2805     Move Operator
2806       tables:
2807           partition:
2808             i 
2809             s 
2810             t 
2811           replace: true
2812           table:
2813               input format: org.apache.hadoop.mapred.TextInputFormat
2814               output format: org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat
2815               serde: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
2816               name: default.over1k_part3
2817
2818   Stage: Stage-3
2819     Stats Work
2820       Basic Stats Work:
2821       Column Stats Desc:
2822           Columns: si, b, f
2823           Column Types: smallint, bigint, float
2824           Table: default.over1k_part3
2825
2826 PREHOOK: query: explain insert overwrite table over1k_part3 partition(s,t,i) select si,b,f,s,t,i from over1k where i=100 and t=27
2827 PREHOOK: type: QUERY
2828 POSTHOOK: query: explain insert overwrite table over1k_part3 partition(s,t,i) select si,b,f,s,t,i from over1k where i=100 and t=27
2829 POSTHOOK: type: QUERY
2830 STAGE DEPENDENCIES:
2831   Stage-1 is a root stage
2832   Stage-2 depends on stages: Stage-1
2833   Stage-0 depends on stages: Stage-2
2834   Stage-3 depends on stages: Stage-0
2835
2836 STAGE PLANS:
2837   Stage: Stage-1
2838     Tez
2839 #### A masked pattern was here ####
2840       Edges:
2841         Reducer 2 <- Map 1 (SIMPLE_EDGE)
2842 #### A masked pattern was here ####
2843       Vertices:
2844         Map 1 
2845             Map Operator Tree:
2846                 TableScan
2847                   alias: over1k