HIVE-18797 : ExprConstNodeDesc's getExprString should put appropriate qualifier with...
[hive.git] / ql / src / test / results / clientpositive / spark / dynamic_rdd_cache.q.out
1 PREHOOK: query: EXPLAIN
2 FROM
3 (SELECT src.* FROM src sort by key) X
4 RIGHT OUTER JOIN
5 (SELECT src.* FROM src sort by value) Y
6 ON (X.key = Y.key)
7 JOIN
8 (SELECT src.* FROM src sort by value) Z
9 ON (X.key = Z.key)
10 SELECT sum(hash(Y.key,Y.value)) GROUP BY Y.key
11 PREHOOK: type: QUERY
12 POSTHOOK: query: EXPLAIN
13 FROM
14 (SELECT src.* FROM src sort by key) X
15 RIGHT OUTER JOIN
16 (SELECT src.* FROM src sort by value) Y
17 ON (X.key = Y.key)
18 JOIN
19 (SELECT src.* FROM src sort by value) Z
20 ON (X.key = Z.key)
21 SELECT sum(hash(Y.key,Y.value)) GROUP BY Y.key
22 POSTHOOK: type: QUERY
23 STAGE DEPENDENCIES:
24   Stage-1 is a root stage
25   Stage-0 depends on stages: Stage-1
26
27 STAGE PLANS:
28   Stage: Stage-1
29     Spark
30       Edges:
31         Reducer 2 <- Map 1 (PARTITION-LEVEL SORT, 31), Map 4 (PARTITION-LEVEL SORT, 31), Map 5 (PARTITION-LEVEL SORT, 31)
32         Reducer 3 <- Reducer 2 (GROUP, 31)
33 #### A masked pattern was here ####
34       Vertices:
35         Map 1 
36             Map Operator Tree:
37                 TableScan
38                   alias: src
39                   Statistics: Num rows: 500 Data size: 5312 Basic stats: COMPLETE Column stats: NONE
40                   Select Operator
41                     expressions: key (type: string)
42                     outputColumnNames: _col0
43                     Statistics: Num rows: 500 Data size: 5312 Basic stats: COMPLETE Column stats: NONE
44                     Reduce Output Operator
45                       key expressions: _col0 (type: string)
46                       sort order: +
47                       Map-reduce partition columns: _col0 (type: string)
48                       Statistics: Num rows: 500 Data size: 5312 Basic stats: COMPLETE Column stats: NONE
49         Map 4 
50             Map Operator Tree:
51                 TableScan
52                   alias: src
53                   Statistics: Num rows: 500 Data size: 5312 Basic stats: COMPLETE Column stats: NONE
54                   Select Operator
55                     expressions: key (type: string), value (type: string)
56                     outputColumnNames: _col0, _col1
57                     Statistics: Num rows: 500 Data size: 5312 Basic stats: COMPLETE Column stats: NONE
58                     Reduce Output Operator
59                       key expressions: _col0 (type: string)
60                       sort order: +
61                       Map-reduce partition columns: _col0 (type: string)
62                       Statistics: Num rows: 500 Data size: 5312 Basic stats: COMPLETE Column stats: NONE
63                       value expressions: _col1 (type: string)
64         Map 5 
65             Map Operator Tree:
66                 TableScan
67                   alias: src
68                   Statistics: Num rows: 500 Data size: 5312 Basic stats: COMPLETE Column stats: NONE
69                   Select Operator
70                     expressions: key (type: string)
71                     outputColumnNames: _col0
72                     Statistics: Num rows: 500 Data size: 5312 Basic stats: COMPLETE Column stats: NONE
73                     Reduce Output Operator
74                       key expressions: _col0 (type: string)
75                       sort order: +
76                       Map-reduce partition columns: _col0 (type: string)
77                       Statistics: Num rows: 500 Data size: 5312 Basic stats: COMPLETE Column stats: NONE
78         Reducer 2 
79             Reduce Operator Tree:
80               Join Operator
81                 condition map:
82                      Right Outer Join 0 to 1
83                      Inner Join 0 to 2
84                 keys:
85                   0 _col0 (type: string)
86                   1 _col0 (type: string)
87                   2 _col0 (type: string)
88                 outputColumnNames: _col2, _col3
89                 Statistics: Num rows: 1100 Data size: 11686 Basic stats: COMPLETE Column stats: NONE
90                 Group By Operator
91                   aggregations: sum(hash(_col2,_col3))
92                   keys: _col2 (type: string)
93                   mode: hash
94                   outputColumnNames: _col0, _col1
95                   Statistics: Num rows: 1100 Data size: 11686 Basic stats: COMPLETE Column stats: NONE
96                   Reduce Output Operator
97                     key expressions: _col0 (type: string)
98                     sort order: +
99                     Map-reduce partition columns: _col0 (type: string)
100                     Statistics: Num rows: 1100 Data size: 11686 Basic stats: COMPLETE Column stats: NONE
101                     value expressions: _col1 (type: bigint)
102         Reducer 3 
103             Reduce Operator Tree:
104               Group By Operator
105                 aggregations: sum(VALUE._col0)
106                 keys: KEY._col0 (type: string)
107                 mode: mergepartial
108                 outputColumnNames: _col0, _col1
109                 Statistics: Num rows: 550 Data size: 5843 Basic stats: COMPLETE Column stats: NONE
110                 Select Operator
111                   expressions: _col1 (type: bigint)
112                   outputColumnNames: _col0
113                   Statistics: Num rows: 550 Data size: 5843 Basic stats: COMPLETE Column stats: NONE
114                   File Output Operator
115                     compressed: true
116                     Statistics: Num rows: 550 Data size: 5843 Basic stats: COMPLETE Column stats: NONE
117                     table:
118                         input format: org.apache.hadoop.mapred.SequenceFileInputFormat
119                         output format: org.apache.hadoop.hive.ql.io.HiveSequenceFileOutputFormat
120                         serde: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
121
122   Stage: Stage-0
123     Fetch Operator
124       limit: -1
125       Processor Tree:
126         ListSink
127
128 PREHOOK: query: CREATE TABLE dest1(key INT, value STRING)
129 PREHOOK: type: CREATETABLE
130 PREHOOK: Output: database:default
131 PREHOOK: Output: default@dest1
132 POSTHOOK: query: CREATE TABLE dest1(key INT, value STRING)
133 POSTHOOK: type: CREATETABLE
134 POSTHOOK: Output: database:default
135 POSTHOOK: Output: default@dest1
136 PREHOOK: query: CREATE TABLE dest2(key INT, value STRING)
137 PREHOOK: type: CREATETABLE
138 PREHOOK: Output: database:default
139 PREHOOK: Output: default@dest2
140 POSTHOOK: query: CREATE TABLE dest2(key INT, value STRING)
141 POSTHOOK: type: CREATETABLE
142 POSTHOOK: Output: database:default
143 POSTHOOK: Output: default@dest2
144 PREHOOK: query: EXPLAIN
145 FROM src
146 INSERT OVERWRITE TABLE dest1 SELECT src.key, sum(SUBSTR(src.value,5)) GROUP BY src.key
147 INSERT OVERWRITE TABLE dest2 SELECT src.key, sum(SUBSTR(src.value,5)) GROUP BY src.key
148 PREHOOK: type: QUERY
149 POSTHOOK: query: EXPLAIN
150 FROM src
151 INSERT OVERWRITE TABLE dest1 SELECT src.key, sum(SUBSTR(src.value,5)) GROUP BY src.key
152 INSERT OVERWRITE TABLE dest2 SELECT src.key, sum(SUBSTR(src.value,5)) GROUP BY src.key
153 POSTHOOK: type: QUERY
154 STAGE DEPENDENCIES:
155   Stage-2 is a root stage
156   Stage-0 depends on stages: Stage-2
157   Stage-3 depends on stages: Stage-0
158   Stage-1 depends on stages: Stage-2
159   Stage-4 depends on stages: Stage-1
160
161 STAGE PLANS:
162   Stage: Stage-2
163     Spark
164       Edges:
165         Reducer 2 <- Map 4 (GROUP, 31)
166         Reducer 3 <- Map 4 (GROUP, 31)
167 #### A masked pattern was here ####
168       Vertices:
169         Map 4 
170             Map Operator Tree:
171                 TableScan
172                   alias: src
173                   Statistics: Num rows: 500 Data size: 5312 Basic stats: COMPLETE Column stats: NONE
174                   Select Operator
175                     expressions: key (type: string), value (type: string)
176                     outputColumnNames: key, value
177                     Statistics: Num rows: 500 Data size: 5312 Basic stats: COMPLETE Column stats: NONE
178                     Group By Operator
179                       aggregations: sum(substr(value, 5))
180                       keys: key (type: string)
181                       mode: hash
182                       outputColumnNames: _col0, _col1
183                       Statistics: Num rows: 500 Data size: 5312 Basic stats: COMPLETE Column stats: NONE
184                       Reduce Output Operator
185                         key expressions: _col0 (type: string)
186                         sort order: +
187                         Map-reduce partition columns: _col0 (type: string)
188                         Statistics: Num rows: 500 Data size: 5312 Basic stats: COMPLETE Column stats: NONE
189                         value expressions: _col1 (type: double)
190         Reducer 2 
191             Reduce Operator Tree:
192               Group By Operator
193                 aggregations: sum(VALUE._col0)
194                 keys: KEY._col0 (type: string)
195                 mode: mergepartial
196                 outputColumnNames: _col0, _col1
197                 Statistics: Num rows: 250 Data size: 2656 Basic stats: COMPLETE Column stats: NONE
198                 Select Operator
199                   expressions: UDFToInteger(_col0) (type: int), UDFToString(_col1) (type: string)
200                   outputColumnNames: _col0, _col1
201                   Statistics: Num rows: 250 Data size: 2656 Basic stats: COMPLETE Column stats: NONE
202                   File Output Operator
203                     compressed: true
204                     Statistics: Num rows: 250 Data size: 2656 Basic stats: COMPLETE Column stats: NONE
205                     table:
206                         input format: org.apache.hadoop.mapred.TextInputFormat
207                         output format: org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat
208                         serde: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
209                         name: default.dest1
210         Reducer 3 
211             Reduce Operator Tree:
212               Group By Operator
213                 aggregations: sum(VALUE._col0)
214                 keys: KEY._col0 (type: string)
215                 mode: mergepartial
216                 outputColumnNames: _col0, _col1
217                 Statistics: Num rows: 250 Data size: 2656 Basic stats: COMPLETE Column stats: NONE
218                 Select Operator
219                   expressions: UDFToInteger(_col0) (type: int), UDFToString(_col1) (type: string)
220                   outputColumnNames: _col0, _col1
221                   Statistics: Num rows: 250 Data size: 2656 Basic stats: COMPLETE Column stats: NONE
222                   File Output Operator
223                     compressed: true
224                     Statistics: Num rows: 250 Data size: 2656 Basic stats: COMPLETE Column stats: NONE
225                     table:
226                         input format: org.apache.hadoop.mapred.TextInputFormat
227                         output format: org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat
228                         serde: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
229                         name: default.dest2
230
231   Stage: Stage-0
232     Move Operator
233       tables:
234           replace: true
235           table:
236               input format: org.apache.hadoop.mapred.TextInputFormat
237               output format: org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat
238               serde: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
239               name: default.dest1
240
241   Stage: Stage-3
242     Stats Work
243       Basic Stats Work:
244
245   Stage: Stage-1
246     Move Operator
247       tables:
248           replace: true
249           table:
250               input format: org.apache.hadoop.mapred.TextInputFormat
251               output format: org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat
252               serde: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
253               name: default.dest2
254
255   Stage: Stage-4
256     Stats Work
257       Basic Stats Work:
258
259 PREHOOK: query: SELECT dest1.* FROM dest1
260 PREHOOK: type: QUERY
261 PREHOOK: Input: default@dest1
262 PREHOOK: Output: hdfs://### HDFS PATH ###
263 POSTHOOK: query: SELECT dest1.* FROM dest1
264 POSTHOOK: type: QUERY
265 POSTHOOK: Input: default@dest1
266 POSTHOOK: Output: hdfs://### HDFS PATH ###
267 PREHOOK: query: SELECT dest2.* FROM dest2
268 PREHOOK: type: QUERY
269 PREHOOK: Input: default@dest2
270 PREHOOK: Output: hdfs://### HDFS PATH ###
271 POSTHOOK: query: SELECT dest2.* FROM dest2
272 POSTHOOK: type: QUERY
273 POSTHOOK: Input: default@dest2
274 POSTHOOK: Output: hdfs://### HDFS PATH ###
275 PREHOOK: query: DROP TABLE dest1
276 PREHOOK: type: DROPTABLE
277 PREHOOK: Input: default@dest1
278 PREHOOK: Output: default@dest1
279 POSTHOOK: query: DROP TABLE dest1
280 POSTHOOK: type: DROPTABLE
281 POSTHOOK: Input: default@dest1
282 POSTHOOK: Output: default@dest1
283 PREHOOK: query: DROP TABLE dest2
284 PREHOOK: type: DROPTABLE
285 PREHOOK: Input: default@dest2
286 PREHOOK: Output: default@dest2
287 POSTHOOK: query: DROP TABLE dest2
288 POSTHOOK: type: DROPTABLE
289 POSTHOOK: Input: default@dest2
290 POSTHOOK: Output: default@dest2
291 PREHOOK: query: CREATE TABLE tmptable(key STRING, value INT)
292 PREHOOK: type: CREATETABLE
293 PREHOOK: Output: database:default
294 PREHOOK: Output: default@tmptable
295 POSTHOOK: query: CREATE TABLE tmptable(key STRING, value INT)
296 POSTHOOK: type: CREATETABLE
297 POSTHOOK: Output: database:default
298 POSTHOOK: Output: default@tmptable
299 PREHOOK: query: EXPLAIN
300 INSERT OVERWRITE TABLE tmptable
301   SELECT unionsrc.key, unionsrc.value FROM (SELECT 'tst1' AS key, count(1) AS value FROM src s1
302                                         UNION  ALL
303                                             SELECT 'tst2' AS key, count(1) AS value FROM src s2
304                                         UNION ALL
305                                             SELECT 'tst3' AS key, count(1) AS value FROM src s3) unionsrc
306 PREHOOK: type: QUERY
307 POSTHOOK: query: EXPLAIN
308 INSERT OVERWRITE TABLE tmptable
309   SELECT unionsrc.key, unionsrc.value FROM (SELECT 'tst1' AS key, count(1) AS value FROM src s1
310                                         UNION  ALL
311                                             SELECT 'tst2' AS key, count(1) AS value FROM src s2
312                                         UNION ALL
313                                             SELECT 'tst3' AS key, count(1) AS value FROM src s3) unionsrc
314 POSTHOOK: type: QUERY
315 STAGE DEPENDENCIES:
316   Stage-1 is a root stage
317   Stage-0 depends on stages: Stage-1
318   Stage-2 depends on stages: Stage-0
319
320 STAGE PLANS:
321   Stage: Stage-1
322     Spark
323       Edges:
324         Reducer 2 <- Map 1 (GROUP, 1)
325         Reducer 4 <- Map 3 (GROUP, 1)
326         Reducer 6 <- Map 5 (GROUP, 1)
327 #### A masked pattern was here ####
328       Vertices:
329         Map 1 
330             Map Operator Tree:
331                 TableScan
332                   alias: s1
333                   Statistics: Num rows: 500 Data size: 5312 Basic stats: COMPLETE Column stats: COMPLETE
334                   Select Operator
335                     Statistics: Num rows: 500 Data size: 5312 Basic stats: COMPLETE Column stats: COMPLETE
336                     Group By Operator
337                       aggregations: count()
338                       mode: hash
339                       outputColumnNames: _col0
340                       Statistics: Num rows: 1 Data size: 8 Basic stats: COMPLETE Column stats: COMPLETE
341                       Reduce Output Operator
342                         sort order: 
343                         Statistics: Num rows: 1 Data size: 8 Basic stats: COMPLETE Column stats: COMPLETE
344                         value expressions: _col0 (type: bigint)
345         Map 3 
346             Map Operator Tree:
347                 TableScan
348                   alias: s2
349                   Statistics: Num rows: 500 Data size: 5312 Basic stats: COMPLETE Column stats: COMPLETE
350                   Select Operator
351                     Statistics: Num rows: 500 Data size: 5312 Basic stats: COMPLETE Column stats: COMPLETE
352                     Group By Operator
353                       aggregations: count()
354                       mode: hash
355                       outputColumnNames: _col0
356                       Statistics: Num rows: 1 Data size: 8 Basic stats: COMPLETE Column stats: COMPLETE
357                       Reduce Output Operator
358                         sort order: 
359                         Statistics: Num rows: 1 Data size: 8 Basic stats: COMPLETE Column stats: COMPLETE
360                         value expressions: _col0 (type: bigint)
361         Map 5 
362             Map Operator Tree:
363                 TableScan
364                   alias: s3
365                   Statistics: Num rows: 500 Data size: 5312 Basic stats: COMPLETE Column stats: COMPLETE
366                   Select Operator
367                     Statistics: Num rows: 500 Data size: 5312 Basic stats: COMPLETE Column stats: COMPLETE
368                     Group By Operator
369                       aggregations: count()
370                       mode: hash
371                       outputColumnNames: _col0
372                       Statistics: Num rows: 1 Data size: 8 Basic stats: COMPLETE Column stats: COMPLETE
373                       Reduce Output Operator
374                         sort order: 
375                         Statistics: Num rows: 1 Data size: 8 Basic stats: COMPLETE Column stats: COMPLETE
376                         value expressions: _col0 (type: bigint)
377         Reducer 2 
378             Reduce Operator Tree:
379               Group By Operator
380                 aggregations: count(VALUE._col0)
381                 mode: mergepartial
382                 outputColumnNames: _col0
383                 Statistics: Num rows: 1 Data size: 8 Basic stats: COMPLETE Column stats: COMPLETE
384                 Select Operator
385                   expressions: 'tst1' (type: string), _col0 (type: bigint)
386                   outputColumnNames: _col0, _col1
387                   Statistics: Num rows: 1 Data size: 96 Basic stats: COMPLETE Column stats: COMPLETE
388                   Select Operator
389                     expressions: _col0 (type: string), UDFToInteger(_col1) (type: int)
390                     outputColumnNames: _col0, _col1
391                     Statistics: Num rows: 3 Data size: 276 Basic stats: COMPLETE Column stats: COMPLETE
392                     File Output Operator
393                       compressed: true
394                       Statistics: Num rows: 3 Data size: 276 Basic stats: COMPLETE Column stats: COMPLETE
395                       table:
396                           input format: org.apache.hadoop.mapred.TextInputFormat
397                           output format: org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat
398                           serde: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
399                           name: default.tmptable
400         Reducer 4 
401             Reduce Operator Tree:
402               Group By Operator
403                 aggregations: count(VALUE._col0)
404                 mode: mergepartial
405                 outputColumnNames: _col0
406                 Statistics: Num rows: 1 Data size: 8 Basic stats: COMPLETE Column stats: COMPLETE
407                 Select Operator
408                   expressions: 'tst2' (type: string), _col0 (type: bigint)
409                   outputColumnNames: _col0, _col1
410                   Statistics: Num rows: 1 Data size: 96 Basic stats: COMPLETE Column stats: COMPLETE
411                   Select Operator
412                     expressions: _col0 (type: string), UDFToInteger(_col1) (type: int)
413                     outputColumnNames: _col0, _col1
414                     Statistics: Num rows: 3 Data size: 276 Basic stats: COMPLETE Column stats: COMPLETE
415                     File Output Operator
416                       compressed: true
417                       Statistics: Num rows: 3 Data size: 276 Basic stats: COMPLETE Column stats: COMPLETE
418                       table:
419                           input format: org.apache.hadoop.mapred.TextInputFormat
420                           output format: org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat
421                           serde: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
422                           name: default.tmptable
423         Reducer 6 
424             Reduce Operator Tree:
425               Group By Operator
426                 aggregations: count(VALUE._col0)
427                 mode: mergepartial
428                 outputColumnNames: _col0
429                 Statistics: Num rows: 1 Data size: 8 Basic stats: COMPLETE Column stats: COMPLETE
430                 Select Operator
431                   expressions: 'tst3' (type: string), _col0 (type: bigint)
432                   outputColumnNames: _col0, _col1
433                   Statistics: Num rows: 1 Data size: 96 Basic stats: COMPLETE Column stats: COMPLETE
434                   Select Operator
435                     expressions: _col0 (type: string), UDFToInteger(_col1) (type: int)
436                     outputColumnNames: _col0, _col1
437                     Statistics: Num rows: 3 Data size: 276 Basic stats: COMPLETE Column stats: COMPLETE
438                     File Output Operator
439                       compressed: true
440                       Statistics: Num rows: 3 Data size: 276 Basic stats: COMPLETE Column stats: COMPLETE
441                       table:
442                           input format: org.apache.hadoop.mapred.TextInputFormat
443                           output format: org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat
444                           serde: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
445                           name: default.tmptable
446
447   Stage: Stage-0
448     Move Operator
449       tables:
450           replace: true
451           table:
452               input format: org.apache.hadoop.mapred.TextInputFormat
453               output format: org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat
454               serde: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
455               name: default.tmptable
456
457   Stage: Stage-2
458     Stats Work
459       Basic Stats Work:
460
461 PREHOOK: query: SELECT * FROM tmptable x SORT BY x.key
462 PREHOOK: type: QUERY
463 PREHOOK: Input: default@tmptable
464 PREHOOK: Output: hdfs://### HDFS PATH ###
465 POSTHOOK: query: SELECT * FROM tmptable x SORT BY x.key
466 POSTHOOK: type: QUERY
467 POSTHOOK: Input: default@tmptable
468 POSTHOOK: Output: hdfs://### HDFS PATH ###
469 PREHOOK: query: DROP TABLE tmtable
470 PREHOOK: type: DROPTABLE
471 POSTHOOK: query: DROP TABLE tmtable
472 POSTHOOK: type: DROPTABLE
473 PREHOOK: query: EXPLAIN
474 SELECT unionsrc1.key, unionsrc1.value, unionsrc2.key, unionsrc2.value
475 FROM (SELECT 'tst1' AS key, cast(count(1) AS string) AS value FROM src s1
476                          UNION  ALL
477       SELECT s2.key AS key, s2.value AS value FROM src s2 WHERE s2.key < 10) unionsrc1
478 JOIN
479      (SELECT 'tst1' AS key, cast(count(1) AS string) AS value FROM src s3
480                          UNION  ALL
481       SELECT s4.key AS key, s4.value AS value FROM src s4 WHERE s4.key < 10) unionsrc2
482 ON (unionsrc1.key = unionsrc2.key)
483 PREHOOK: type: QUERY
484 POSTHOOK: query: EXPLAIN
485 SELECT unionsrc1.key, unionsrc1.value, unionsrc2.key, unionsrc2.value
486 FROM (SELECT 'tst1' AS key, cast(count(1) AS string) AS value FROM src s1
487                          UNION  ALL
488       SELECT s2.key AS key, s2.value AS value FROM src s2 WHERE s2.key < 10) unionsrc1
489 JOIN
490      (SELECT 'tst1' AS key, cast(count(1) AS string) AS value FROM src s3
491                          UNION  ALL
492       SELECT s4.key AS key, s4.value AS value FROM src s4 WHERE s4.key < 10) unionsrc2
493 ON (unionsrc1.key = unionsrc2.key)
494 POSTHOOK: type: QUERY
495 STAGE DEPENDENCIES:
496   Stage-1 is a root stage
497   Stage-0 depends on stages: Stage-1
498
499 STAGE PLANS:
500   Stage: Stage-1
501     Spark
502       Edges:
503         Reducer 2 <- Map 1 (GROUP, 1)
504         Reducer 3 <- Map 4 (PARTITION-LEVEL SORT, 31), Map 7 (PARTITION-LEVEL SORT, 31), Reducer 2 (PARTITION-LEVEL SORT, 31), Reducer 6 (PARTITION-LEVEL SORT, 31)
505         Reducer 6 <- Map 5 (GROUP, 1)
506 #### A masked pattern was here ####
507       Vertices:
508         Map 1 
509             Map Operator Tree:
510                 TableScan
511                   alias: s1
512                   Statistics: Num rows: 500 Data size: 5312 Basic stats: COMPLETE Column stats: COMPLETE
513                   Select Operator
514                     Statistics: Num rows: 500 Data size: 5312 Basic stats: COMPLETE Column stats: COMPLETE
515                     Group By Operator
516                       aggregations: count()
517                       mode: hash
518                       outputColumnNames: _col0
519                       Statistics: Num rows: 1 Data size: 8 Basic stats: COMPLETE Column stats: COMPLETE
520                       Reduce Output Operator
521                         sort order: 
522                         Statistics: Num rows: 1 Data size: 8 Basic stats: COMPLETE Column stats: COMPLETE
523                         value expressions: _col0 (type: bigint)
524         Map 4 
525             Map Operator Tree:
526                 TableScan
527                   alias: s2
528                   Statistics: Num rows: 500 Data size: 5312 Basic stats: COMPLETE Column stats: NONE
529                   Filter Operator
530                     predicate: (UDFToDouble(key) < 10.0D) (type: boolean)
531                     Statistics: Num rows: 166 Data size: 1763 Basic stats: COMPLETE Column stats: NONE
532                     Select Operator
533                       expressions: key (type: string), value (type: string)
534                       outputColumnNames: _col0, _col1
535                       Statistics: Num rows: 166 Data size: 1763 Basic stats: COMPLETE Column stats: NONE
536                       Reduce Output Operator
537                         key expressions: _col0 (type: string)
538                         sort order: +
539                         Map-reduce partition columns: _col0 (type: string)
540                         Statistics: Num rows: 167 Data size: 2035 Basic stats: COMPLETE Column stats: PARTIAL
541                         value expressions: _col1 (type: string)
542         Map 5 
543             Map Operator Tree:
544                 TableScan
545                   alias: s3
546                   Statistics: Num rows: 500 Data size: 5312 Basic stats: COMPLETE Column stats: COMPLETE
547                   Select Operator
548                     Statistics: Num rows: 500 Data size: 5312 Basic stats: COMPLETE Column stats: COMPLETE
549                     Group By Operator
550                       aggregations: count()
551                       mode: hash
552                       outputColumnNames: _col0
553                       Statistics: Num rows: 1 Data size: 8 Basic stats: COMPLETE Column stats: COMPLETE
554                       Reduce Output Operator
555                         sort order: 
556                         Statistics: Num rows: 1 Data size: 8 Basic stats: COMPLETE Column stats: COMPLETE
557                         value expressions: _col0 (type: bigint)
558         Map 7 
559             Map Operator Tree:
560                 TableScan
561                   alias: s4
562                   Statistics: Num rows: 500 Data size: 5312 Basic stats: COMPLETE Column stats: NONE
563                   Filter Operator
564                     predicate: (UDFToDouble(key) < 10.0D) (type: boolean)
565                     Statistics: Num rows: 166 Data size: 1763 Basic stats: COMPLETE Column stats: NONE
566                     Select Operator
567                       expressions: key (type: string), value (type: string)
568                       outputColumnNames: _col0, _col1
569                       Statistics: Num rows: 166 Data size: 1763 Basic stats: COMPLETE Column stats: NONE
570                       Reduce Output Operator
571                         key expressions: _col0 (type: string)
572                         sort order: +
573                         Map-reduce partition columns: _col0 (type: string)
574                         Statistics: Num rows: 167 Data size: 2035 Basic stats: COMPLETE Column stats: PARTIAL
575                         value expressions: _col1 (type: string)
576         Reducer 2 
577             Reduce Operator Tree:
578               Group By Operator
579                 aggregations: count(VALUE._col0)
580                 mode: mergepartial
581                 outputColumnNames: _col0
582                 Statistics: Num rows: 1 Data size: 8 Basic stats: COMPLETE Column stats: COMPLETE
583                 Select Operator
584                   expressions: 'tst1' (type: string), UDFToString(_col0) (type: string)
585                   outputColumnNames: _col0, _col1
586                   Statistics: Num rows: 1 Data size: 272 Basic stats: COMPLETE Column stats: COMPLETE
587                   Reduce Output Operator
588                     key expressions: _col0 (type: string)
589                     sort order: +
590                     Map-reduce partition columns: _col0 (type: string)
591                     Statistics: Num rows: 167 Data size: 2035 Basic stats: COMPLETE Column stats: PARTIAL
592                     value expressions: _col1 (type: string)
593         Reducer 3 
594             Reduce Operator Tree:
595               Join Operator
596                 condition map:
597                      Inner Join 0 to 1
598                 keys:
599                   0 _col0 (type: string)
600                   1 _col0 (type: string)
601                 outputColumnNames: _col0, _col1, _col2, _col3
602                 Statistics: Num rows: 27889 Data size: 15171616 Basic stats: COMPLETE Column stats: PARTIAL
603                 File Output Operator
604                   compressed: true
605                   Statistics: Num rows: 27889 Data size: 15171616 Basic stats: COMPLETE Column stats: PARTIAL
606                   table:
607                       input format: org.apache.hadoop.mapred.SequenceFileInputFormat
608                       output format: org.apache.hadoop.hive.ql.io.HiveSequenceFileOutputFormat
609                       serde: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
610         Reducer 6 
611             Reduce Operator Tree:
612               Group By Operator
613                 aggregations: count(VALUE._col0)
614                 mode: mergepartial
615                 outputColumnNames: _col0
616                 Statistics: Num rows: 1 Data size: 8 Basic stats: COMPLETE Column stats: COMPLETE
617                 Select Operator
618                   expressions: 'tst1' (type: string), UDFToString(_col0) (type: string)
619                   outputColumnNames: _col0, _col1
620                   Statistics: Num rows: 1 Data size: 272 Basic stats: COMPLETE Column stats: COMPLETE
621                   Reduce Output Operator
622                     key expressions: _col0 (type: string)
623                     sort order: +
624                     Map-reduce partition columns: _col0 (type: string)
625                     Statistics: Num rows: 167 Data size: 2035 Basic stats: COMPLETE Column stats: PARTIAL
626                     value expressions: _col1 (type: string)
627
628   Stage: Stage-0
629     Fetch Operator
630       limit: -1
631       Processor Tree:
632         ListSink
633
634 PREHOOK: query: CREATE TABLE inv(w_warehouse_name STRING , w_warehouse_sk INT , stdev INT , d_moy INT , mean INT , cov INT , inv_quantity_on_hand INT)
635 PREHOOK: type: CREATETABLE
636 PREHOOK: Output: database:default
637 PREHOOK: Output: default@inv
638 POSTHOOK: query: CREATE TABLE inv(w_warehouse_name STRING , w_warehouse_sk INT , stdev INT , d_moy INT , mean INT , cov INT , inv_quantity_on_hand INT)
639 POSTHOOK: type: CREATETABLE
640 POSTHOOK: Output: database:default
641 POSTHOOK: Output: default@inv
642 PREHOOK: query: CREATE TABLE inventory(inv_date_sk INT , inv_item_sk INT ,inv_quantity_on_hand INT ,inv_warehouse_sk INT)
643 PREHOOK: type: CREATETABLE
644 PREHOOK: Output: database:default
645 PREHOOK: Output: default@inventory
646 POSTHOOK: query: CREATE TABLE inventory(inv_date_sk INT , inv_item_sk INT ,inv_quantity_on_hand INT ,inv_warehouse_sk INT)
647 POSTHOOK: type: CREATETABLE
648 POSTHOOK: Output: database:default
649 POSTHOOK: Output: default@inventory
650 PREHOOK: query: CREATE TABLE item(i_item_sk INT)
651 PREHOOK: type: CREATETABLE
652 PREHOOK: Output: database:default
653 PREHOOK: Output: default@item
654 POSTHOOK: query: CREATE TABLE item(i_item_sk INT)
655 POSTHOOK: type: CREATETABLE
656 POSTHOOK: Output: database:default
657 POSTHOOK: Output: default@item
658 PREHOOK: query: CREATE TABLE warehouse(w_warehouse_sk INT , w_warehouse_name STRING)
659 PREHOOK: type: CREATETABLE
660 PREHOOK: Output: database:default
661 PREHOOK: Output: default@warehouse
662 POSTHOOK: query: CREATE TABLE warehouse(w_warehouse_sk INT , w_warehouse_name STRING)
663 POSTHOOK: type: CREATETABLE
664 POSTHOOK: Output: database:default
665 POSTHOOK: Output: default@warehouse
666 PREHOOK: query: CREATE TABLE date_dim(d_date_sk INT , d_year INT , d_moy INT)
667 PREHOOK: type: CREATETABLE
668 PREHOOK: Output: database:default
669 PREHOOK: Output: default@date_dim
670 POSTHOOK: query: CREATE TABLE date_dim(d_date_sk INT , d_year INT , d_moy INT)
671 POSTHOOK: type: CREATETABLE
672 POSTHOOK: Output: database:default
673 POSTHOOK: Output: default@date_dim
674 PREHOOK: query: EXPLAIN
675 WITH inv AS
676 (SELECT w_warehouse_name,w_warehouse_sk,i_item_sk,d_moy
677        ,stdev,mean, CASE mean WHEN 0 THEN null ELSE stdev/mean END cov
678 FROM(SELECT w_warehouse_name,w_warehouse_sk,i_item_sk,d_moy
679             ,STDDEV_SAMP(inv_quantity_on_hand) stdev,AVG(inv_quantity_on_hand) mean
680       FROM inventory
681           ,item
682           ,warehouse
683           ,date_dim
684       WHERE inv_item_sk = i_item_sk
685         AND inv_warehouse_sk = w_warehouse_sk
686         AND inv_date_sk = d_date_sk
687         AND d_year =1999
688       GROUP BY w_warehouse_name,w_warehouse_sk,i_item_sk,d_moy) foo
689  WHERE CASE mean WHEN 0 THEN 0 ELSE stdev/mean END > 1)
690 SELECT inv1.w_warehouse_sk,inv1.i_item_sk,inv1.d_moy,inv1.mean, inv1.cov
691         ,inv2.w_warehouse_sk,inv2.i_item_sk,inv2.d_moy,inv2.mean, inv2.cov
692 FROM inv inv1,inv inv2
693 WHERE inv1.i_item_sk = inv2.i_item_sk
694   AND inv1.w_warehouse_sk =  inv2.w_warehouse_sk
695   AND inv1.d_moy=3
696   AND inv2.d_moy=3+1
697 ORDER BY inv1.w_warehouse_sk,inv1.i_item_sk,inv1.d_moy,inv1.mean,inv1.cov
698         ,inv2.d_moy,inv2.mean, inv2.cov
699 PREHOOK: type: QUERY
700 POSTHOOK: query: EXPLAIN
701 WITH inv AS
702 (SELECT w_warehouse_name,w_warehouse_sk,i_item_sk,d_moy
703        ,stdev,mean, CASE mean WHEN 0 THEN null ELSE stdev/mean END cov
704 FROM(SELECT w_warehouse_name,w_warehouse_sk,i_item_sk,d_moy
705             ,STDDEV_SAMP(inv_quantity_on_hand) stdev,AVG(inv_quantity_on_hand) mean
706       FROM inventory
707           ,item
708           ,warehouse
709           ,date_dim
710       WHERE inv_item_sk = i_item_sk
711         AND inv_warehouse_sk = w_warehouse_sk
712         AND inv_date_sk = d_date_sk
713         AND d_year =1999
714       GROUP BY w_warehouse_name,w_warehouse_sk,i_item_sk,d_moy) foo
715  WHERE CASE mean WHEN 0 THEN 0 ELSE stdev/mean END > 1)
716 SELECT inv1.w_warehouse_sk,inv1.i_item_sk,inv1.d_moy,inv1.mean, inv1.cov
717         ,inv2.w_warehouse_sk,inv2.i_item_sk,inv2.d_moy,inv2.mean, inv2.cov
718 FROM inv inv1,inv inv2
719 WHERE inv1.i_item_sk = inv2.i_item_sk
720   AND inv1.w_warehouse_sk =  inv2.w_warehouse_sk
721   AND inv1.d_moy=3
722   AND inv2.d_moy=3+1
723 ORDER BY inv1.w_warehouse_sk,inv1.i_item_sk,inv1.d_moy,inv1.mean,inv1.cov
724         ,inv2.d_moy,inv2.mean, inv2.cov
725 POSTHOOK: type: QUERY
726 STAGE DEPENDENCIES:
727   Stage-1 is a root stage
728   Stage-0 depends on stages: Stage-1
729
730 STAGE PLANS:
731   Stage: Stage-1
732     Spark
733       Edges:
734         Reducer 12 <- Map 11 (PARTITION-LEVEL SORT, 31), Map 16 (PARTITION-LEVEL SORT, 31)
735         Reducer 13 <- Map 17 (PARTITION-LEVEL SORT, 31), Reducer 12 (PARTITION-LEVEL SORT, 31)
736         Reducer 14 <- Map 18 (PARTITION-LEVEL SORT, 31), Reducer 13 (PARTITION-LEVEL SORT, 31)
737         Reducer 15 <- Reducer 14 (GROUP, 31)
738         Reducer 2 <- Map 1 (PARTITION-LEVEL SORT, 31), Map 8 (PARTITION-LEVEL SORT, 31)
739         Reducer 3 <- Map 9 (PARTITION-LEVEL SORT, 31), Reducer 2 (PARTITION-LEVEL SORT, 31)
740         Reducer 4 <- Map 10 (PARTITION-LEVEL SORT, 31), Reducer 3 (PARTITION-LEVEL SORT, 31)
741         Reducer 5 <- Reducer 4 (GROUP, 31)
742         Reducer 6 <- Reducer 15 (PARTITION-LEVEL SORT, 31), Reducer 5 (PARTITION-LEVEL SORT, 31)
743         Reducer 7 <- Reducer 6 (SORT, 1)
744 #### A masked pattern was here ####
745       Vertices:
746         Map 1 
747             Map Operator Tree:
748                 TableScan
749                   alias: inventory
750                   Statistics: Num rows: 1 Data size: 0 Basic stats: PARTIAL Column stats: NONE
751                   Filter Operator
752                     predicate: (inv_date_sk is not null and inv_item_sk is not null and inv_warehouse_sk is not null) (type: boolean)
753                     Statistics: Num rows: 1 Data size: 0 Basic stats: PARTIAL Column stats: NONE
754                     Select Operator
755                       expressions: inv_date_sk (type: int), inv_item_sk (type: int), inv_quantity_on_hand (type: int), inv_warehouse_sk (type: int)
756                       outputColumnNames: _col0, _col1, _col2, _col3
757                       Statistics: Num rows: 1 Data size: 0 Basic stats: PARTIAL Column stats: NONE
758                       Reduce Output Operator
759                         key expressions: _col1 (type: int)
760                         sort order: +
761                         Map-reduce partition columns: _col1 (type: int)
762                         Statistics: Num rows: 1 Data size: 0 Basic stats: PARTIAL Column stats: NONE
763                         value expressions: _col0 (type: int), _col2 (type: int), _col3 (type: int)
764         Map 10 
765             Map Operator Tree:
766                 TableScan
767                   alias: date_dim
768                   Statistics: Num rows: 1 Data size: 0 Basic stats: PARTIAL Column stats: NONE
769                   Filter Operator
770                     predicate: ((d_moy = 3) and (d_year = 1999) and d_date_sk is not null) (type: boolean)
771                     Statistics: Num rows: 1 Data size: 0 Basic stats: PARTIAL Column stats: NONE
772                     Select Operator
773                       expressions: d_date_sk (type: int)
774                       outputColumnNames: _col0
775                       Statistics: Num rows: 1 Data size: 0 Basic stats: PARTIAL Column stats: NONE
776                       Reduce Output Operator
777                         key expressions: _col0 (type: int)
778                         sort order: +
779                         Map-reduce partition columns: _col0 (type: int)
780                         Statistics: Num rows: 1 Data size: 0 Basic stats: PARTIAL Column stats: NONE
781         Map 11 
782             Map Operator Tree:
783                 TableScan
784                   alias: inventory
785                   Statistics: Num rows: 1 Data size: 0 Basic stats: PARTIAL Column stats: NONE
786                   Filter Operator
787                     predicate: (inv_date_sk is not null and inv_item_sk is not null and inv_warehouse_sk is not null) (type: boolean)
788                     Statistics: Num rows: 1 Data size: 0 Basic stats: PARTIAL Column stats: NONE
789                     Select Operator
790                       expressions: inv_date_sk (type: int), inv_item_sk (type: int), inv_quantity_on_hand (type: int), inv_warehouse_sk (type: int)
791                       outputColumnNames: _col0, _col1, _col2, _col3
792                       Statistics: Num rows: 1 Data size: 0 Basic stats: PARTIAL Column stats: NONE
793                       Reduce Output Operator
794                         key expressions: _col1 (type: int)
795                         sort order: +
796                         Map-reduce partition columns: _col1 (type: int)
797                         Statistics: Num rows: 1 Data size: 0 Basic stats: PARTIAL Column stats: NONE
798                         value expressions: _col0 (type: int), _col2 (type: int), _col3 (type: int)
799         Map 16 
800             Map Operator Tree:
801                 TableScan
802                   alias: item
803                   Statistics: Num rows: 1 Data size: 0 Basic stats: PARTIAL Column stats: NONE
804                   Filter Operator
805                     predicate: i_item_sk is not null (type: boolean)
806                     Statistics: Num rows: 1 Data size: 0 Basic stats: PARTIAL Column stats: NONE
807                     Select Operator
808                       expressions: i_item_sk (type: int)
809                       outputColumnNames: _col0
810                       Statistics: Num rows: 1 Data size: 0 Basic stats: PARTIAL Column stats: NONE
811                       Reduce Output Operator
812                         key expressions: _col0 (type: int)
813                         sort order: +
814                         Map-reduce partition columns: _col0 (type: int)
815                         Statistics: Num rows: 1 Data size: 0 Basic stats: PARTIAL Column stats: NONE
816         Map 17 
817             Map Operator Tree:
818                 TableScan
819                   alias: warehouse
820                   Statistics: Num rows: 1 Data size: 0 Basic stats: PARTIAL Column stats: NONE
821                   Filter Operator
822                     predicate: w_warehouse_sk is not null (type: boolean)
823                     Statistics: Num rows: 1 Data size: 0 Basic stats: PARTIAL Column stats: NONE
824                     Select Operator
825                       expressions: w_warehouse_sk (type: int), w_warehouse_name (type: string)
826                       outputColumnNames: _col0, _col1
827                       Statistics: Num rows: 1 Data size: 0 Basic stats: PARTIAL Column stats: NONE
828                       Reduce Output Operator
829                         key expressions: _col0 (type: int)
830                         sort order: +
831                         Map-reduce partition columns: _col0 (type: int)
832                         Statistics: Num rows: 1 Data size: 0 Basic stats: PARTIAL Column stats: NONE
833                         value expressions: _col1 (type: string)
834         Map 18 
835             Map Operator Tree:
836                 TableScan
837                   alias: date_dim
838                   Statistics: Num rows: 1 Data size: 0 Basic stats: PARTIAL Column stats: NONE
839                   Filter Operator
840                     predicate: ((d_moy = 4) and (d_year = 1999) and d_date_sk is not null) (type: boolean)
841                     Statistics: Num rows: 1 Data size: 0 Basic stats: PARTIAL Column stats: NONE
842                     Select Operator
843                       expressions: d_date_sk (type: int)
844                       outputColumnNames: _col0
845                       Statistics: Num rows: 1 Data size: 0 Basic stats: PARTIAL Column stats: NONE
846                       Reduce Output Operator
847                         key expressions: _col0 (type: int)
848                         sort order: +
849                         Map-reduce partition columns: _col0 (type: int)
850                         Statistics: Num rows: 1 Data size: 0 Basic stats: PARTIAL Column stats: NONE
851         Map 8 
852             Map Operator Tree:
853                 TableScan
854                   alias: item
855                   Statistics: Num rows: 1 Data size: 0 Basic stats: PARTIAL Column stats: NONE
856                   Filter Operator
857                     predicate: i_item_sk is not null (type: boolean)
858                     Statistics: Num rows: 1 Data size: 0 Basic stats: PARTIAL Column stats: NONE
859                     Select Operator
860                       expressions: i_item_sk (type: int)
861                       outputColumnNames: _col0
862                       Statistics: Num rows: 1 Data size: 0 Basic stats: PARTIAL Column stats: NONE
863                       Reduce Output Operator
864                         key expressions: _col0 (type: int)
865                         sort order: +
866                         Map-reduce partition columns: _col0 (type: int)
867                         Statistics: Num rows: 1 Data size: 0 Basic stats: PARTIAL Column stats: NONE
868         Map 9 
869             Map Operator Tree:
870                 TableScan
871                   alias: warehouse
872                   Statistics: Num rows: 1 Data size: 0 Basic stats: PARTIAL Column stats: NONE
873                   Filter Operator
874                     predicate: w_warehouse_sk is not null (type: boolean)
875                     Statistics: Num rows: 1 Data size: 0 Basic stats: PARTIAL Column stats: NONE
876                     Select Operator
877                       expressions: w_warehouse_sk (type: int), w_warehouse_name (type: string)
878                       outputColumnNames: _col0, _col1
879                       Statistics: Num rows: 1 Data size: 0 Basic stats: PARTIAL Column stats: NONE
880                       Reduce Output Operator
881                         key expressions: _col0 (type: int)
882                         sort order: +
883                         Map-reduce partition columns: _col0 (type: int)
884                         Statistics: Num rows: 1 Data size: 0 Basic stats: PARTIAL Column stats: NONE
885                         value expressions: _col1 (type: string)
886         Reducer 12 
887             Reduce Operator Tree:
888               Join Operator
889                 condition map:
890                      Inner Join 0 to 1
891                 keys:
892                   0 _col1 (type: int)
893                   1 _col0 (type: int)
894                 outputColumnNames: _col0, _col2, _col3, _col4
895                 Statistics: Num rows: 1 Data size: 0 Basic stats: PARTIAL Column stats: NONE
896                 Reduce Output Operator
897                   key expressions: _col3 (type: int)
898                   sort order: +
899                   Map-reduce partition columns: _col3 (type: int)
900                   Statistics: Num rows: 1 Data size: 0 Basic stats: PARTIAL Column stats: NONE
901                   value expressions: _col0 (type: int), _col2 (type: int), _col4 (type: int)
902         Reducer 13 
903             Reduce Operator Tree:
904               Join Operator
905                 condition map:
906                      Inner Join 0 to 1
907                 keys:
908                   0 _col3 (type: int)
909                   1 _col0 (type: int)
910                 outputColumnNames: _col0, _col2, _col4, _col5, _col6
911                 Statistics: Num rows: 1 Data size: 0 Basic stats: PARTIAL Column stats: NONE
912                 Reduce Output Operator
913                   key expressions: _col0 (type: int)
914                   sort order: +
915                   Map-reduce partition columns: _col0 (type: int)
916                   Statistics: Num rows: 1 Data size: 0 Basic stats: PARTIAL Column stats: NONE
917                   value expressions: _col2 (type: int), _col4 (type: int), _col5 (type: int), _col6 (type: string)
918         Reducer 14 
919             Reduce Operator Tree:
920               Join Operator
921                 condition map:
922                      Inner Join 0 to 1
923                 keys:
924                   0 _col0 (type: int)
925                   1 _col0 (type: int)
926                 outputColumnNames: _col2, _col4, _col5, _col6
927                 Statistics: Num rows: 1 Data size: 0 Basic stats: PARTIAL Column stats: NONE
928                 Group By Operator
929                   aggregations: stddev_samp(_col2), avg(_col2)
930                   keys: _col5 (type: int), _col4 (type: int), _col6 (type: string)
931                   mode: hash
932                   outputColumnNames: _col0, _col1, _col2, _col3, _col4
933                   Statistics: Num rows: 1 Data size: 0 Basic stats: PARTIAL Column stats: NONE
934                   Reduce Output Operator
935                     key expressions: _col0 (type: int), _col1 (type: int), _col2 (type: string)
936                     sort order: +++
937                     Map-reduce partition columns: _col0 (type: int), _col1 (type: int), _col2 (type: string)
938                     Statistics: Num rows: 1 Data size: 0 Basic stats: PARTIAL Column stats: NONE
939                     value expressions: _col3 (type: struct<count:bigint,sum:double,variance:double>), _col4 (type: struct<count:bigint,sum:double,input:int>)
940         Reducer 15 
941             Reduce Operator Tree:
942               Group By Operator
943                 aggregations: stddev_samp(VALUE._col0), avg(VALUE._col1)
944                 keys: KEY._col0 (type: int), KEY._col1 (type: int), KEY._col2 (type: string)
945                 mode: mergepartial
946                 outputColumnNames: _col0, _col1, _col2, _col3, _col4
947                 Statistics: Num rows: 1 Data size: 0 Basic stats: PARTIAL Column stats: NONE
948                 Select Operator
949                   expressions: _col0 (type: int), _col1 (type: int), _col3 (type: double), _col4 (type: double)
950                   outputColumnNames: _col1, _col2, _col3, _col4
951                   Statistics: Num rows: 1 Data size: 0 Basic stats: PARTIAL Column stats: NONE
952                   Filter Operator
953                     predicate: CASE WHEN ((_col4 = 0.0D)) THEN (false) ELSE (((_col3 / _col4) > 1.0D)) END (type: boolean)
954                     Statistics: Num rows: 1 Data size: 0 Basic stats: PARTIAL Column stats: NONE
955                     Select Operator
956                       expressions: _col1 (type: int), _col2 (type: int), _col4 (type: double), CASE WHEN ((_col4 = 0.0D)) THEN (null) ELSE ((_col3 / _col4)) END (type: double)
957                       outputColumnNames: _col0, _col1, _col2, _col3
958                       Statistics: Num rows: 1 Data size: 0 Basic stats: PARTIAL Column stats: NONE
959                       Reduce Output Operator
960                         key expressions: _col0 (type: int), _col1 (type: int)
961                         sort order: ++
962                         Map-reduce partition columns: _col0 (type: int), _col1 (type: int)
963                         Statistics: Num rows: 1 Data size: 0 Basic stats: PARTIAL Column stats: NONE
964                         value expressions: _col2 (type: double), _col3 (type: double)
965         Reducer 2 
966             Reduce Operator Tree:
967               Join Operator
968                 condition map:
969                      Inner Join 0 to 1
970                 keys:
971                   0 _col1 (type: int)
972                   1 _col0 (type: int)
973                 outputColumnNames: _col0, _col2, _col3, _col4
974                 Statistics: Num rows: 1 Data size: 0 Basic stats: PARTIAL Column stats: NONE
975                 Reduce Output Operator
976                   key expressions: _col3 (type: int)
977                   sort order: +
978                   Map-reduce partition columns: _col3 (type: int)
979                   Statistics: Num rows: 1 Data size: 0 Basic stats: PARTIAL Column stats: NONE
980                   value expressions: _col0 (type: int), _col2 (type: int), _col4 (type: int)
981         Reducer 3 
982             Reduce Operator Tree:
983               Join Operator
984                 condition map:
985                      Inner Join 0 to 1
986                 keys:
987                   0 _col3 (type: int)
988                   1 _col0 (type: int)
989                 outputColumnNames: _col0, _col2, _col4, _col5, _col6
990                 Statistics: Num rows: 1 Data size: 0 Basic stats: PARTIAL Column stats: NONE
991                 Reduce Output Operator
992                   key expressions: _col0 (type: int)
993                   sort order: +
994                   Map-reduce partition columns: _col0 (type: int)
995                   Statistics: Num rows: 1 Data size: 0 Basic stats: PARTIAL Column stats: NONE
996                   value expressions: _col2 (type: int), _col4 (type: int), _col5 (type: int), _col6 (type: string)
997         Reducer 4 
998             Reduce Operator Tree:
999               Join Operator
1000                 condition map:
1001                      Inner Join 0 to 1
1002                 keys:
1003                   0 _col0 (type: int)
1004                   1 _col0 (type: int)
1005                 outputColumnNames: _col2, _col4, _col5, _col6
1006                 Statistics: Num rows: 1 Data size: 0 Basic stats: PARTIAL Column stats: NONE
1007                 Group By Operator
1008                   aggregations: stddev_samp(_col2), avg(_col2)
1009                   keys: _col5 (type: int), _col4 (type: int), _col6 (type: string)
1010                   mode: hash
1011                   outputColumnNames: _col0, _col1, _col2, _col3, _col4
1012                   Statistics: Num rows: 1 Data size: 0 Basic stats: PARTIAL Column stats: NONE
1013                   Reduce Output Operator
1014                     key expressions: _col0 (type: int), _col1 (type: int), _col2 (type: string)
1015                     sort order: +++
1016                     Map-reduce partition columns: _col0 (type: int), _col1 (type: int), _col2 (type: string)
1017                     Statistics: Num rows: 1 Data size: 0 Basic stats: PARTIAL Column stats: NONE
1018                     value expressions: _col3 (type: struct<count:bigint,sum:double,variance:double>), _col4 (type: struct<count:bigint,sum:double,input:int>)
1019         Reducer 5 
1020             Reduce Operator Tree:
1021               Group By Operator
1022                 aggregations: stddev_samp(VALUE._col0), avg(VALUE._col1)
1023                 keys: KEY._col0 (type: int), KEY._col1 (type: int), KEY._col2 (type: string)
1024                 mode: mergepartial
1025                 outputColumnNames: _col0, _col1, _col2, _col3, _col4
1026                 Statistics: Num rows: 1 Data size: 0 Basic stats: PARTIAL Column stats: NONE
1027                 Select Operator
1028                   expressions: _col0 (type: int), _col1 (type: int), _col3 (type: double), _col4 (type: double)
1029                   outputColumnNames: _col1, _col2, _col3, _col4
1030                   Statistics: Num rows: 1 Data size: 0 Basic stats: PARTIAL Column stats: NONE
1031                   Filter Operator
1032                     predicate: CASE WHEN ((_col4 = 0.0D)) THEN (false) ELSE (((_col3 / _col4) > 1.0D)) END (type: boolean)
1033                     Statistics: Num rows: 1 Data size: 0 Basic stats: PARTIAL Column stats: NONE
1034                     Select Operator
1035                       expressions: _col1 (type: int), _col2 (type: int), _col4 (type: double), CASE WHEN ((_col4 = 0.0D)) THEN (null) ELSE ((_col3 / _col4)) END (type: double)
1036                       outputColumnNames: _col0, _col1, _col2, _col3
1037                       Statistics: Num rows: 1 Data size: 0 Basic stats: PARTIAL Column stats: NONE
1038                       Reduce Output Operator
1039                         key expressions: _col0 (type: int), _col1 (type: int)
1040                         sort order: ++
1041                         Map-reduce partition columns: _col0 (type: int), _col1 (type: int)
1042                         Statistics: Num rows: 1 Data size: 0 Basic stats: PARTIAL Column stats: NONE
1043                         value expressions: _col2 (type: double), _col3 (type: double)
1044         Reducer 6 
1045             Reduce Operator Tree:
1046               Join Operator
1047                 condition map:
1048                      Inner Join 0 to 1
1049                 keys:
1050                   0 _col0 (type: int), _col1 (type: int)
1051                   1 _col0 (type: int), _col1 (type: int)
1052                 outputColumnNames: _col0, _col1, _col2, _col3, _col4, _col5, _col6, _col7
1053                 Statistics: Num rows: 1 Data size: 0 Basic stats: PARTIAL Column stats: NONE
1054                 Reduce Output Operator
1055                   key expressions: _col0 (type: int), _col1 (type: int), _col2 (type: double), _col3 (type: double), _col6 (type: double), _col7 (type: double)
1056                   sort order: ++++++
1057                   Statistics: Num rows: 1 Data size: 0 Basic stats: PARTIAL Column stats: NONE
1058                   value expressions: _col4 (type: int), _col5 (type: int)
1059         Reducer 7 
1060             Reduce Operator Tree:
1061               Select Operator
1062                 expressions: KEY.reducesinkkey0 (type: int), KEY.reducesinkkey1 (type: int), 3 (type: int), KEY.reducesinkkey2 (type: double), KEY.reducesinkkey3 (type: double), VALUE._col0 (type: int), VALUE._col1 (type: int), 4 (type: int), KEY.reducesinkkey4 (type: double), KEY.reducesinkkey5 (type: double)
1063                 outputColumnNames: _col0, _col1, _col2, _col3, _col4, _col5, _col6, _col7, _col8, _col9
1064                 Statistics: Num rows: 1 Data size: 0 Basic stats: PARTIAL Column stats: NONE
1065                 File Output Operator
1066                   compressed: true
1067                   Statistics: Num rows: 1 Data size: 0 Basic stats: PARTIAL Column stats: NONE
1068                   table:
1069                       input format: org.apache.hadoop.mapred.SequenceFileInputFormat
1070                       output format: org.apache.hadoop.hive.ql.io.HiveSequenceFileOutputFormat
1071                       serde: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
1072
1073   Stage: Stage-0
1074     Fetch Operator
1075       limit: -1
1076       Processor Tree:
1077         ListSink
1078
1079 PREHOOK: query: EXPLAIN
1080 WITH test AS
1081 (SELECT inv_date_sk , inv_item_sk ,inv_quantity_on_hand FROM inventory
1082   UNION ALL
1083  SELECT inv_date_sk , inv_item_sk ,inv_quantity_on_hand FROM inventory)
1084 SELECT inv_date_sk , inv_item_sk ,inv_quantity_on_hand FROM test SORT BY inv_quantity_on_hand
1085 PREHOOK: type: QUERY
1086 POSTHOOK: query: EXPLAIN
1087 WITH test AS
1088 (SELECT inv_date_sk , inv_item_sk ,inv_quantity_on_hand FROM inventory
1089   UNION ALL
1090  SELECT inv_date_sk , inv_item_sk ,inv_quantity_on_hand FROM inventory)
1091 SELECT inv_date_sk , inv_item_sk ,inv_quantity_on_hand FROM test SORT BY inv_quantity_on_hand
1092 POSTHOOK: type: QUERY
1093 STAGE DEPENDENCIES:
1094   Stage-1 is a root stage
1095   Stage-0 depends on stages: Stage-1
1096
1097 STAGE PLANS:
1098   Stage: Stage-1
1099     Spark
1100       Edges:
1101         Reducer 2 <- Map 1 (PARTITION-LEVEL SORT, 31), Map 1 (PARTITION-LEVEL SORT, 31)
1102 #### A masked pattern was here ####
1103       Vertices:
1104         Map 1 
1105             Map Operator Tree:
1106                 TableScan
1107                   alias: inventory
1108                   Statistics: Num rows: 1 Data size: 0 Basic stats: PARTIAL Column stats: NONE
1109                   Select Operator
1110                     expressions: inv_date_sk (type: int), inv_item_sk (type: int), inv_quantity_on_hand (type: int)
1111                     outputColumnNames: _col0, _col1, _col2
1112                     Statistics: Num rows: 1 Data size: 0 Basic stats: PARTIAL Column stats: NONE
1113                     Reduce Output Operator
1114                       key expressions: _col2 (type: int)
1115                       sort order: +
1116                       Statistics: Num rows: 2 Data size: 0 Basic stats: PARTIAL Column stats: NONE
1117                       value expressions: _col0 (type: int), _col1 (type: int)
1118         Reducer 2 
1119             Reduce Operator Tree:
1120               Select Operator
1121                 expressions: VALUE._col0 (type: int), VALUE._col1 (type: int), KEY.reducesinkkey0 (type: int)
1122                 outputColumnNames: _col0, _col1, _col2
1123                 Statistics: Num rows: 2 Data size: 0 Basic stats: PARTIAL Column stats: NONE
1124                 File Output Operator
1125                   compressed: true
1126                   Statistics: Num rows: 2 Data size: 0 Basic stats: PARTIAL Column stats: NONE
1127                   table:
1128                       input format: org.apache.hadoop.mapred.SequenceFileInputFormat
1129                       output format: org.apache.hadoop.hive.ql.io.HiveSequenceFileOutputFormat
1130                       serde: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
1131
1132   Stage: Stage-0
1133     Fetch Operator
1134       limit: -1
1135       Processor Tree:
1136         ListSink
1137
1138 PREHOOK: query: DROP TABLE inv
1139 PREHOOK: type: DROPTABLE
1140 PREHOOK: Input: default@inv
1141 PREHOOK: Output: default@inv
1142 POSTHOOK: query: DROP TABLE inv
1143 POSTHOOK: type: DROPTABLE
1144 POSTHOOK: Input: default@inv
1145 POSTHOOK: Output: default@inv
1146 PREHOOK: query: DROP TABLE inventory
1147 PREHOOK: type: DROPTABLE
1148 PREHOOK: Input: default@inventory
1149 PREHOOK: Output: default@inventory
1150 POSTHOOK: query: DROP TABLE inventory
1151 POSTHOOK: type: DROPTABLE
1152 POSTHOOK: Input: default@inventory
1153 POSTHOOK: Output: default@inventory
1154 PREHOOK: query: DROP TABLE item
1155 PREHOOK: type: DROPTABLE
1156 PREHOOK: Input: default@item
1157 PREHOOK: Output: default@item
1158 POSTHOOK: query: DROP TABLE item
1159 POSTHOOK: type: DROPTABLE
1160 POSTHOOK: Input: default@item
1161 POSTHOOK: Output: default@item
1162 PREHOOK: query: DROP TABLE warehouse
1163 PREHOOK: type: DROPTABLE
1164 PREHOOK: Input: default@warehouse
1165 PREHOOK: Output: default@warehouse
1166 POSTHOOK: query: DROP TABLE warehouse
1167 POSTHOOK: type: DROPTABLE
1168 POSTHOOK: Input: default@warehouse
1169 POSTHOOK: Output: default@warehouse
1170 PREHOOK: query: DROP TABLE date_dim
1171 PREHOOK: type: DROPTABLE
1172 PREHOOK: Input: default@date_dim
1173 PREHOOK: Output: default@date_dim
1174 POSTHOOK: query: DROP TABLE date_dim
1175 POSTHOOK: type: DROPTABLE
1176 POSTHOOK: Input: default@date_dim
1177 POSTHOOK: Output: default@date_dim