HIVE-18797 : ExprConstNodeDesc's getExprString should put appropriate qualifier with...
[hive.git] / ql / src / test / results / clientpositive / spark / limit_pushdown.q.out
1 PREHOOK: query: explain
2 select key,value from src order by key limit 20
3 PREHOOK: type: QUERY
4 POSTHOOK: query: explain
5 select key,value from src order by key limit 20
6 POSTHOOK: type: QUERY
7 STAGE DEPENDENCIES:
8   Stage-1 is a root stage
9   Stage-0 depends on stages: Stage-1
10
11 STAGE PLANS:
12   Stage: Stage-1
13     Spark
14       Edges:
15         Reducer 2 <- Map 1 (SORT, 1)
16 #### A masked pattern was here ####
17       Vertices:
18         Map 1 
19             Map Operator Tree:
20                 TableScan
21                   alias: src
22                   Statistics: Num rows: 500 Data size: 5312 Basic stats: COMPLETE Column stats: NONE
23                   Select Operator
24                     expressions: key (type: string), value (type: string)
25                     outputColumnNames: _col0, _col1
26                     Statistics: Num rows: 500 Data size: 5312 Basic stats: COMPLETE Column stats: NONE
27                     Reduce Output Operator
28                       key expressions: _col0 (type: string)
29                       sort order: +
30                       Statistics: Num rows: 500 Data size: 5312 Basic stats: COMPLETE Column stats: NONE
31                       TopN Hash Memory Usage: 0.3
32                       value expressions: _col1 (type: string)
33         Reducer 2 
34             Reduce Operator Tree:
35               Select Operator
36                 expressions: KEY.reducesinkkey0 (type: string), VALUE._col0 (type: string)
37                 outputColumnNames: _col0, _col1
38                 Statistics: Num rows: 500 Data size: 5312 Basic stats: COMPLETE Column stats: NONE
39                 Limit
40                   Number of rows: 20
41                   Statistics: Num rows: 20 Data size: 200 Basic stats: COMPLETE Column stats: NONE
42                   File Output Operator
43                     compressed: false
44                     Statistics: Num rows: 20 Data size: 200 Basic stats: COMPLETE Column stats: NONE
45                     table:
46                         input format: org.apache.hadoop.mapred.SequenceFileInputFormat
47                         output format: org.apache.hadoop.hive.ql.io.HiveSequenceFileOutputFormat
48                         serde: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
49
50   Stage: Stage-0
51     Fetch Operator
52       limit: 20
53       Processor Tree:
54         ListSink
55
56 PREHOOK: query: select key,value from src order by key limit 20
57 PREHOOK: type: QUERY
58 PREHOOK: Input: default@src
59 #### A masked pattern was here ####
60 POSTHOOK: query: select key,value from src order by key limit 20
61 POSTHOOK: type: QUERY
62 POSTHOOK: Input: default@src
63 #### A masked pattern was here ####
64 0       val_0
65 0       val_0
66 0       val_0
67 10      val_10
68 100     val_100
69 100     val_100
70 103     val_103
71 103     val_103
72 104     val_104
73 104     val_104
74 105     val_105
75 11      val_11
76 111     val_111
77 113     val_113
78 113     val_113
79 114     val_114
80 116     val_116
81 118     val_118
82 118     val_118
83 119     val_119
84 PREHOOK: query: explain
85 select key,value from src order by key desc limit 20
86 PREHOOK: type: QUERY
87 POSTHOOK: query: explain
88 select key,value from src order by key desc limit 20
89 POSTHOOK: type: QUERY
90 STAGE DEPENDENCIES:
91   Stage-1 is a root stage
92   Stage-0 depends on stages: Stage-1
93
94 STAGE PLANS:
95   Stage: Stage-1
96     Spark
97       Edges:
98         Reducer 2 <- Map 1 (SORT, 1)
99 #### A masked pattern was here ####
100       Vertices:
101         Map 1 
102             Map Operator Tree:
103                 TableScan
104                   alias: src
105                   Statistics: Num rows: 500 Data size: 5312 Basic stats: COMPLETE Column stats: NONE
106                   Select Operator
107                     expressions: key (type: string), value (type: string)
108                     outputColumnNames: _col0, _col1
109                     Statistics: Num rows: 500 Data size: 5312 Basic stats: COMPLETE Column stats: NONE
110                     Reduce Output Operator
111                       key expressions: _col0 (type: string)
112                       sort order: -
113                       Statistics: Num rows: 500 Data size: 5312 Basic stats: COMPLETE Column stats: NONE
114                       TopN Hash Memory Usage: 0.3
115                       value expressions: _col1 (type: string)
116         Reducer 2 
117             Reduce Operator Tree:
118               Select Operator
119                 expressions: KEY.reducesinkkey0 (type: string), VALUE._col0 (type: string)
120                 outputColumnNames: _col0, _col1
121                 Statistics: Num rows: 500 Data size: 5312 Basic stats: COMPLETE Column stats: NONE
122                 Limit
123                   Number of rows: 20
124                   Statistics: Num rows: 20 Data size: 200 Basic stats: COMPLETE Column stats: NONE
125                   File Output Operator
126                     compressed: false
127                     Statistics: Num rows: 20 Data size: 200 Basic stats: COMPLETE Column stats: NONE
128                     table:
129                         input format: org.apache.hadoop.mapred.SequenceFileInputFormat
130                         output format: org.apache.hadoop.hive.ql.io.HiveSequenceFileOutputFormat
131                         serde: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
132
133   Stage: Stage-0
134     Fetch Operator
135       limit: 20
136       Processor Tree:
137         ListSink
138
139 PREHOOK: query: select key,value from src order by key desc limit 20
140 PREHOOK: type: QUERY
141 PREHOOK: Input: default@src
142 #### A masked pattern was here ####
143 POSTHOOK: query: select key,value from src order by key desc limit 20
144 POSTHOOK: type: QUERY
145 POSTHOOK: Input: default@src
146 #### A masked pattern was here ####
147 82      val_82
148 83      val_83
149 83      val_83
150 84      val_84
151 84      val_84
152 85      val_85
153 86      val_86
154 87      val_87
155 9       val_9
156 90      val_90
157 90      val_90
158 90      val_90
159 92      val_92
160 95      val_95
161 95      val_95
162 96      val_96
163 97      val_97
164 97      val_97
165 98      val_98
166 98      val_98
167 PREHOOK: query: explain
168 select value, sum(key + 1) as sum from src group by value order by value limit 20
169 PREHOOK: type: QUERY
170 POSTHOOK: query: explain
171 select value, sum(key + 1) as sum from src group by value order by value limit 20
172 POSTHOOK: type: QUERY
173 STAGE DEPENDENCIES:
174   Stage-1 is a root stage
175   Stage-0 depends on stages: Stage-1
176
177 STAGE PLANS:
178   Stage: Stage-1
179     Spark
180       Edges:
181         Reducer 2 <- Map 1 (GROUP PARTITION-LEVEL SORT, 1)
182 #### A masked pattern was here ####
183       Vertices:
184         Map 1 
185             Map Operator Tree:
186                 TableScan
187                   alias: src
188                   Statistics: Num rows: 500 Data size: 5312 Basic stats: COMPLETE Column stats: NONE
189                   Select Operator
190                     expressions: value (type: string), (UDFToDouble(key) + 1.0D) (type: double)
191                     outputColumnNames: _col0, _col1
192                     Statistics: Num rows: 500 Data size: 5312 Basic stats: COMPLETE Column stats: NONE
193                     Group By Operator
194                       aggregations: sum(_col1)
195                       keys: _col0 (type: string)
196                       mode: hash
197                       outputColumnNames: _col0, _col1
198                       Statistics: Num rows: 500 Data size: 5312 Basic stats: COMPLETE Column stats: NONE
199                       Reduce Output Operator
200                         key expressions: _col0 (type: string)
201                         sort order: +
202                         Map-reduce partition columns: _col0 (type: string)
203                         Statistics: Num rows: 500 Data size: 5312 Basic stats: COMPLETE Column stats: NONE
204                         TopN Hash Memory Usage: 0.3
205                         value expressions: _col1 (type: double)
206         Reducer 2 
207             Reduce Operator Tree:
208               Group By Operator
209                 aggregations: sum(VALUE._col0)
210                 keys: KEY._col0 (type: string)
211                 mode: mergepartial
212                 outputColumnNames: _col0, _col1
213                 Statistics: Num rows: 250 Data size: 2656 Basic stats: COMPLETE Column stats: NONE
214                 Limit
215                   Number of rows: 20
216                   Statistics: Num rows: 20 Data size: 200 Basic stats: COMPLETE Column stats: NONE
217                   File Output Operator
218                     compressed: false
219                     Statistics: Num rows: 20 Data size: 200 Basic stats: COMPLETE Column stats: NONE
220                     table:
221                         input format: org.apache.hadoop.mapred.SequenceFileInputFormat
222                         output format: org.apache.hadoop.hive.ql.io.HiveSequenceFileOutputFormat
223                         serde: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
224
225   Stage: Stage-0
226     Fetch Operator
227       limit: 20
228       Processor Tree:
229         ListSink
230
231 PREHOOK: query: select value, sum(key + 1) as sum from src group by value order by value limit 20
232 PREHOOK: type: QUERY
233 PREHOOK: Input: default@src
234 #### A masked pattern was here ####
235 POSTHOOK: query: select value, sum(key + 1) as sum from src group by value order by value limit 20
236 POSTHOOK: type: QUERY
237 POSTHOOK: Input: default@src
238 #### A masked pattern was here ####
239 val_0   3.0
240 val_10  11.0
241 val_100 202.0
242 val_103 208.0
243 val_104 210.0
244 val_105 106.0
245 val_11  12.0
246 val_111 112.0
247 val_113 228.0
248 val_114 115.0
249 val_116 117.0
250 val_118 238.0
251 val_119 360.0
252 val_12  26.0
253 val_120 242.0
254 val_125 252.0
255 val_126 127.0
256 val_128 387.0
257 val_129 260.0
258 val_131 132.0
259 PREHOOK: query: explain
260 select value,avg(key + 1) from src group by value order by value limit 20
261 PREHOOK: type: QUERY
262 POSTHOOK: query: explain
263 select value,avg(key + 1) from src group by value order by value limit 20
264 POSTHOOK: type: QUERY
265 STAGE DEPENDENCIES:
266   Stage-1 is a root stage
267   Stage-0 depends on stages: Stage-1
268
269 STAGE PLANS:
270   Stage: Stage-1
271     Spark
272       Edges:
273         Reducer 2 <- Map 1 (GROUP PARTITION-LEVEL SORT, 1)
274 #### A masked pattern was here ####
275       Vertices:
276         Map 1 
277             Map Operator Tree:
278                 TableScan
279                   alias: src
280                   Statistics: Num rows: 500 Data size: 5312 Basic stats: COMPLETE Column stats: NONE
281                   Select Operator
282                     expressions: value (type: string), (UDFToDouble(key) + 1.0D) (type: double)
283                     outputColumnNames: _col0, _col1
284                     Statistics: Num rows: 500 Data size: 5312 Basic stats: COMPLETE Column stats: NONE
285                     Group By Operator
286                       aggregations: avg(_col1)
287                       keys: _col0 (type: string)
288                       mode: hash
289                       outputColumnNames: _col0, _col1
290                       Statistics: Num rows: 500 Data size: 5312 Basic stats: COMPLETE Column stats: NONE
291                       Reduce Output Operator
292                         key expressions: _col0 (type: string)
293                         sort order: +
294                         Map-reduce partition columns: _col0 (type: string)
295                         Statistics: Num rows: 500 Data size: 5312 Basic stats: COMPLETE Column stats: NONE
296                         TopN Hash Memory Usage: 0.3
297                         value expressions: _col1 (type: struct<count:bigint,sum:double,input:double>)
298         Reducer 2 
299             Reduce Operator Tree:
300               Group By Operator
301                 aggregations: avg(VALUE._col0)
302                 keys: KEY._col0 (type: string)
303                 mode: mergepartial
304                 outputColumnNames: _col0, _col1
305                 Statistics: Num rows: 250 Data size: 2656 Basic stats: COMPLETE Column stats: NONE
306                 Limit
307                   Number of rows: 20
308                   Statistics: Num rows: 20 Data size: 200 Basic stats: COMPLETE Column stats: NONE
309                   File Output Operator
310                     compressed: false
311                     Statistics: Num rows: 20 Data size: 200 Basic stats: COMPLETE Column stats: NONE
312                     table:
313                         input format: org.apache.hadoop.mapred.SequenceFileInputFormat
314                         output format: org.apache.hadoop.hive.ql.io.HiveSequenceFileOutputFormat
315                         serde: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
316
317   Stage: Stage-0
318     Fetch Operator
319       limit: 20
320       Processor Tree:
321         ListSink
322
323 PREHOOK: query: select value,avg(key + 1) from src group by value order by value limit 20
324 PREHOOK: type: QUERY
325 PREHOOK: Input: default@src
326 #### A masked pattern was here ####
327 POSTHOOK: query: select value,avg(key + 1) from src group by value order by value limit 20
328 POSTHOOK: type: QUERY
329 POSTHOOK: Input: default@src
330 #### A masked pattern was here ####
331 val_0   1.0
332 val_10  11.0
333 val_100 101.0
334 val_103 104.0
335 val_104 105.0
336 val_105 106.0
337 val_11  12.0
338 val_111 112.0
339 val_113 114.0
340 val_114 115.0
341 val_116 117.0
342 val_118 119.0
343 val_119 120.0
344 val_12  13.0
345 val_120 121.0
346 val_125 126.0
347 val_126 127.0
348 val_128 129.0
349 val_129 130.0
350 val_131 132.0
351 PREHOOK: query: explain
352 select distinct(cdouble) as dis from alltypesorc order by dis limit 20
353 PREHOOK: type: QUERY
354 POSTHOOK: query: explain
355 select distinct(cdouble) as dis from alltypesorc order by dis limit 20
356 POSTHOOK: type: QUERY
357 STAGE DEPENDENCIES:
358   Stage-1 is a root stage
359   Stage-0 depends on stages: Stage-1
360
361 STAGE PLANS:
362   Stage: Stage-1
363     Spark
364       Edges:
365         Reducer 2 <- Map 1 (GROUP PARTITION-LEVEL SORT, 1)
366 #### A masked pattern was here ####
367       Vertices:
368         Map 1 
369             Map Operator Tree:
370                 TableScan
371                   alias: alltypesorc
372                   Statistics: Num rows: 12288 Data size: 2641964 Basic stats: COMPLETE Column stats: NONE
373                   Select Operator
374                     expressions: cdouble (type: double)
375                     outputColumnNames: cdouble
376                     Statistics: Num rows: 12288 Data size: 2641964 Basic stats: COMPLETE Column stats: NONE
377                     Group By Operator
378                       keys: cdouble (type: double)
379                       mode: hash
380                       outputColumnNames: _col0
381                       Statistics: Num rows: 12288 Data size: 2641964 Basic stats: COMPLETE Column stats: NONE
382                       Reduce Output Operator
383                         key expressions: _col0 (type: double)
384                         sort order: +
385                         Map-reduce partition columns: _col0 (type: double)
386                         Statistics: Num rows: 12288 Data size: 2641964 Basic stats: COMPLETE Column stats: NONE
387                         TopN Hash Memory Usage: 0.3
388         Reducer 2 
389             Reduce Operator Tree:
390               Group By Operator
391                 keys: KEY._col0 (type: double)
392                 mode: mergepartial
393                 outputColumnNames: _col0
394                 Statistics: Num rows: 6144 Data size: 1320982 Basic stats: COMPLETE Column stats: NONE
395                 Limit
396                   Number of rows: 20
397                   Statistics: Num rows: 20 Data size: 4300 Basic stats: COMPLETE Column stats: NONE
398                   File Output Operator
399                     compressed: false
400                     Statistics: Num rows: 20 Data size: 4300 Basic stats: COMPLETE Column stats: NONE
401                     table:
402                         input format: org.apache.hadoop.mapred.SequenceFileInputFormat
403                         output format: org.apache.hadoop.hive.ql.io.HiveSequenceFileOutputFormat
404                         serde: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
405
406   Stage: Stage-0
407     Fetch Operator
408       limit: 20
409       Processor Tree:
410         ListSink
411
412 PREHOOK: query: select distinct(cdouble) as dis from alltypesorc order by dis limit 20
413 PREHOOK: type: QUERY
414 PREHOOK: Input: default@alltypesorc
415 #### A masked pattern was here ####
416 POSTHOOK: query: select distinct(cdouble) as dis from alltypesorc order by dis limit 20
417 POSTHOOK: type: QUERY
418 POSTHOOK: Input: default@alltypesorc
419 #### A masked pattern was here ####
420 -16269.0
421 -16274.0
422 -16277.0
423 -16280.0
424 -16296.0
425 -16300.0
426 -16305.0
427 -16306.0
428 -16307.0
429 -16309.0
430 -16310.0
431 -16311.0
432 -16324.0
433 -16339.0
434 -16355.0
435 -16369.0
436 -16372.0
437 -16373.0
438 -16379.0
439 NULL
440 PREHOOK: query: explain
441 select ctinyint, count(distinct(cdouble)) from alltypesorc group by ctinyint order by ctinyint limit 20
442 PREHOOK: type: QUERY
443 POSTHOOK: query: explain
444 select ctinyint, count(distinct(cdouble)) from alltypesorc group by ctinyint order by ctinyint limit 20
445 POSTHOOK: type: QUERY
446 STAGE DEPENDENCIES:
447   Stage-1 is a root stage
448   Stage-0 depends on stages: Stage-1
449
450 STAGE PLANS:
451   Stage: Stage-1
452     Spark
453       Edges:
454         Reducer 2 <- Map 1 (GROUP PARTITION-LEVEL SORT, 1)
455 #### A masked pattern was here ####
456       Vertices:
457         Map 1 
458             Map Operator Tree:
459                 TableScan
460                   alias: alltypesorc
461                   Statistics: Num rows: 12288 Data size: 2641964 Basic stats: COMPLETE Column stats: NONE
462                   Select Operator
463                     expressions: ctinyint (type: tinyint), cdouble (type: double)
464                     outputColumnNames: ctinyint, cdouble
465                     Statistics: Num rows: 12288 Data size: 2641964 Basic stats: COMPLETE Column stats: NONE
466                     Group By Operator
467                       keys: ctinyint (type: tinyint), cdouble (type: double)
468                       mode: hash
469                       outputColumnNames: _col0, _col1
470                       Statistics: Num rows: 12288 Data size: 2641964 Basic stats: COMPLETE Column stats: NONE
471                       Reduce Output Operator
472                         key expressions: _col0 (type: tinyint), _col1 (type: double)
473                         sort order: ++
474                         Map-reduce partition columns: _col0 (type: tinyint)
475                         Statistics: Num rows: 12288 Data size: 2641964 Basic stats: COMPLETE Column stats: NONE
476         Reducer 2 
477             Reduce Operator Tree:
478               Group By Operator
479                 keys: KEY._col0 (type: tinyint), KEY._col1 (type: double)
480                 mode: mergepartial
481                 outputColumnNames: _col0, _col1
482                 Statistics: Num rows: 6144 Data size: 1320982 Basic stats: COMPLETE Column stats: NONE
483                 Group By Operator
484                   aggregations: count(_col1)
485                   keys: _col0 (type: tinyint)
486                   mode: complete
487                   outputColumnNames: _col0, _col1
488                   Statistics: Num rows: 3072 Data size: 660491 Basic stats: COMPLETE Column stats: NONE
489                   Limit
490                     Number of rows: 20
491                     Statistics: Num rows: 20 Data size: 4300 Basic stats: COMPLETE Column stats: NONE
492                     File Output Operator
493                       compressed: false
494                       Statistics: Num rows: 20 Data size: 4300 Basic stats: COMPLETE Column stats: NONE
495                       table:
496                           input format: org.apache.hadoop.mapred.SequenceFileInputFormat
497                           output format: org.apache.hadoop.hive.ql.io.HiveSequenceFileOutputFormat
498                           serde: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
499
500   Stage: Stage-0
501     Fetch Operator
502       limit: 20
503       Processor Tree:
504         ListSink
505
506 PREHOOK: query: select ctinyint, count(distinct(cdouble)) from alltypesorc group by ctinyint order by ctinyint limit 20
507 PREHOOK: type: QUERY
508 PREHOOK: Input: default@alltypesorc
509 #### A masked pattern was here ####
510 POSTHOOK: query: select ctinyint, count(distinct(cdouble)) from alltypesorc group by ctinyint order by ctinyint limit 20
511 POSTHOOK: type: QUERY
512 POSTHOOK: Input: default@alltypesorc
513 #### A masked pattern was here ####
514 -46     24
515 -47     22
516 -48     29
517 -49     26
518 -50     30
519 -51     21
520 -52     33
521 -53     22
522 -54     26
523 -55     29
524 -56     36
525 -57     35
526 -58     23
527 -59     31
528 -60     27
529 -61     25
530 -62     27
531 -63     19
532 -64     24
533 NULL    2932
534 PREHOOK: query: explain 
535 select ctinyint, count(cdouble) from (select ctinyint, cdouble from alltypesorc group by ctinyint, cdouble) t1 group by ctinyint order by ctinyint limit 20
536 PREHOOK: type: QUERY
537 POSTHOOK: query: explain 
538 select ctinyint, count(cdouble) from (select ctinyint, cdouble from alltypesorc group by ctinyint, cdouble) t1 group by ctinyint order by ctinyint limit 20
539 POSTHOOK: type: QUERY
540 STAGE DEPENDENCIES:
541   Stage-1 is a root stage
542   Stage-0 depends on stages: Stage-1
543
544 STAGE PLANS:
545   Stage: Stage-1
546     Spark
547       Edges:
548         Reducer 2 <- Map 1 (GROUP PARTITION-LEVEL SORT, 1)
549 #### A masked pattern was here ####
550       Vertices:
551         Map 1 
552             Map Operator Tree:
553                 TableScan
554                   alias: alltypesorc
555                   Statistics: Num rows: 12288 Data size: 2641964 Basic stats: COMPLETE Column stats: NONE
556                   Select Operator
557                     expressions: ctinyint (type: tinyint), cdouble (type: double)
558                     outputColumnNames: ctinyint, cdouble
559                     Statistics: Num rows: 12288 Data size: 2641964 Basic stats: COMPLETE Column stats: NONE
560                     Group By Operator
561                       keys: ctinyint (type: tinyint), cdouble (type: double)
562                       mode: hash
563                       outputColumnNames: _col0, _col1
564                       Statistics: Num rows: 12288 Data size: 2641964 Basic stats: COMPLETE Column stats: NONE
565                       Reduce Output Operator
566                         key expressions: _col0 (type: tinyint), _col1 (type: double)
567                         sort order: ++
568                         Map-reduce partition columns: _col0 (type: tinyint)
569                         Statistics: Num rows: 12288 Data size: 2641964 Basic stats: COMPLETE Column stats: NONE
570         Reducer 2 
571             Reduce Operator Tree:
572               Group By Operator
573                 keys: KEY._col0 (type: tinyint), KEY._col1 (type: double)
574                 mode: mergepartial
575                 outputColumnNames: _col0, _col1
576                 Statistics: Num rows: 6144 Data size: 1320982 Basic stats: COMPLETE Column stats: NONE
577                 Group By Operator
578                   aggregations: count(_col1)
579                   keys: _col0 (type: tinyint)
580                   mode: complete
581                   outputColumnNames: _col0, _col1
582                   Statistics: Num rows: 3072 Data size: 660491 Basic stats: COMPLETE Column stats: NONE
583                   Limit
584                     Number of rows: 20
585                     Statistics: Num rows: 20 Data size: 4300 Basic stats: COMPLETE Column stats: NONE
586                     File Output Operator
587                       compressed: false
588                       Statistics: Num rows: 20 Data size: 4300 Basic stats: COMPLETE Column stats: NONE
589                       table:
590                           input format: org.apache.hadoop.mapred.SequenceFileInputFormat
591                           output format: org.apache.hadoop.hive.ql.io.HiveSequenceFileOutputFormat
592                           serde: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
593
594   Stage: Stage-0
595     Fetch Operator
596       limit: 20
597       Processor Tree:
598         ListSink
599
600 PREHOOK: query: select ctinyint, count(cdouble) from (select ctinyint, cdouble from alltypesorc group by ctinyint, cdouble) t1 group by ctinyint order by ctinyint limit 20
601 PREHOOK: type: QUERY
602 PREHOOK: Input: default@alltypesorc
603 #### A masked pattern was here ####
604 POSTHOOK: query: select ctinyint, count(cdouble) from (select ctinyint, cdouble from alltypesorc group by ctinyint, cdouble) t1 group by ctinyint order by ctinyint limit 20
605 POSTHOOK: type: QUERY
606 POSTHOOK: Input: default@alltypesorc
607 #### A masked pattern was here ####
608 -46     24
609 -47     22
610 -48     29
611 -49     26
612 -50     30
613 -51     21
614 -52     33
615 -53     22
616 -54     26
617 -55     29
618 -56     36
619 -57     35
620 -58     23
621 -59     31
622 -60     27
623 -61     25
624 -62     27
625 -63     19
626 -64     24
627 NULL    2932
628 PREHOOK: query: explain
629 select ctinyint, count(distinct(cstring1)), count(distinct(cstring2)) from alltypesorc group by ctinyint order by ctinyint limit 20
630 PREHOOK: type: QUERY
631 POSTHOOK: query: explain
632 select ctinyint, count(distinct(cstring1)), count(distinct(cstring2)) from alltypesorc group by ctinyint order by ctinyint limit 20
633 POSTHOOK: type: QUERY
634 STAGE DEPENDENCIES:
635   Stage-1 is a root stage
636   Stage-0 depends on stages: Stage-1
637
638 STAGE PLANS:
639   Stage: Stage-1
640     Spark
641       Edges:
642         Reducer 2 <- Map 1 (GROUP PARTITION-LEVEL SORT, 1)
643 #### A masked pattern was here ####
644       Vertices:
645         Map 1 
646             Map Operator Tree:
647                 TableScan
648                   alias: alltypesorc
649                   Statistics: Num rows: 12288 Data size: 2641964 Basic stats: COMPLETE Column stats: NONE
650                   Select Operator
651                     expressions: ctinyint (type: tinyint), cstring1 (type: string), cstring2 (type: string)
652                     outputColumnNames: ctinyint, cstring1, cstring2
653                     Statistics: Num rows: 12288 Data size: 2641964 Basic stats: COMPLETE Column stats: NONE
654                     Group By Operator
655                       aggregations: count(DISTINCT cstring1), count(DISTINCT cstring2)
656                       keys: ctinyint (type: tinyint), cstring1 (type: string), cstring2 (type: string)
657                       mode: hash
658                       outputColumnNames: _col0, _col1, _col2, _col3, _col4
659                       Statistics: Num rows: 12288 Data size: 2641964 Basic stats: COMPLETE Column stats: NONE
660                       Reduce Output Operator
661                         key expressions: _col0 (type: tinyint), _col1 (type: string), _col2 (type: string)
662                         sort order: +++
663                         Map-reduce partition columns: _col0 (type: tinyint)
664                         Statistics: Num rows: 12288 Data size: 2641964 Basic stats: COMPLETE Column stats: NONE
665                         TopN Hash Memory Usage: 0.3
666         Reducer 2 
667             Reduce Operator Tree:
668               Group By Operator
669                 aggregations: count(DISTINCT KEY._col1:0._col0), count(DISTINCT KEY._col1:1._col0)
670                 keys: KEY._col0 (type: tinyint)
671                 mode: mergepartial
672                 outputColumnNames: _col0, _col1, _col2
673                 Statistics: Num rows: 6144 Data size: 1320982 Basic stats: COMPLETE Column stats: NONE
674                 Limit
675                   Number of rows: 20
676                   Statistics: Num rows: 20 Data size: 4300 Basic stats: COMPLETE Column stats: NONE
677                   File Output Operator
678                     compressed: false
679                     Statistics: Num rows: 20 Data size: 4300 Basic stats: COMPLETE Column stats: NONE
680                     table:
681                         input format: org.apache.hadoop.mapred.SequenceFileInputFormat
682                         output format: org.apache.hadoop.hive.ql.io.HiveSequenceFileOutputFormat
683                         serde: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
684
685   Stage: Stage-0
686     Fetch Operator
687       limit: 20
688       Processor Tree:
689         ListSink
690
691 PREHOOK: query: select ctinyint, count(distinct(cstring1)), count(distinct(cstring2)) from alltypesorc group by ctinyint order by ctinyint limit 20
692 PREHOOK: type: QUERY
693 PREHOOK: Input: default@alltypesorc
694 #### A masked pattern was here ####
695 POSTHOOK: query: select ctinyint, count(distinct(cstring1)), count(distinct(cstring2)) from alltypesorc group by ctinyint order by ctinyint limit 20
696 POSTHOOK: type: QUERY
697 POSTHOOK: Input: default@alltypesorc
698 #### A masked pattern was here ####
699 -46     3       19
700 -47     3       23
701 -48     3       27
702 -49     3       24
703 -50     3       25
704 -51     1012    1045
705 -52     3       21
706 -53     3       17
707 -54     3       21
708 -55     3       21
709 -56     3       22
710 -57     3       23
711 -58     3       24
712 -59     3       27
713 -60     3       25
714 -61     3       25
715 -62     3       23
716 -63     3       16
717 -64     3       13
718 NULL    3065    3
719 PREHOOK: query: explain
720 select key,value from src order by key limit 0
721 PREHOOK: type: QUERY
722 POSTHOOK: query: explain
723 select key,value from src order by key limit 0
724 POSTHOOK: type: QUERY
725 STAGE DEPENDENCIES:
726   Stage-0 is a root stage
727
728 STAGE PLANS:
729   Stage: Stage-0
730     Fetch Operator
731       limit: 0
732       Processor Tree:
733         ListSink
734
735 PREHOOK: query: select key,value from src order by key limit 0
736 PREHOOK: type: QUERY
737 PREHOOK: Input: default@src
738 #### A masked pattern was here ####
739 POSTHOOK: query: select key,value from src order by key limit 0
740 POSTHOOK: type: QUERY
741 POSTHOOK: Input: default@src
742 #### A masked pattern was here ####
743 PREHOOK: query: explain
744 select value, sum(key) as sum from src group by value order by sum limit 20
745 PREHOOK: type: QUERY
746 POSTHOOK: query: explain
747 select value, sum(key) as sum from src group by value order by sum limit 20
748 POSTHOOK: type: QUERY
749 STAGE DEPENDENCIES:
750   Stage-1 is a root stage
751   Stage-0 depends on stages: Stage-1
752
753 STAGE PLANS:
754   Stage: Stage-1
755     Spark
756       Edges:
757         Reducer 2 <- Map 1 (GROUP, 2)
758         Reducer 3 <- Reducer 2 (SORT, 1)
759 #### A masked pattern was here ####
760       Vertices:
761         Map 1 
762             Map Operator Tree:
763                 TableScan
764                   alias: src
765                   Statistics: Num rows: 500 Data size: 5312 Basic stats: COMPLETE Column stats: NONE
766                   Select Operator
767                     expressions: key (type: string), value (type: string)
768                     outputColumnNames: key, value
769                     Statistics: Num rows: 500 Data size: 5312 Basic stats: COMPLETE Column stats: NONE
770                     Group By Operator
771                       aggregations: sum(key)
772                       keys: value (type: string)
773                       mode: hash
774                       outputColumnNames: _col0, _col1
775                       Statistics: Num rows: 500 Data size: 5312 Basic stats: COMPLETE Column stats: NONE
776                       Reduce Output Operator
777                         key expressions: _col0 (type: string)
778                         sort order: +
779                         Map-reduce partition columns: _col0 (type: string)
780                         Statistics: Num rows: 500 Data size: 5312 Basic stats: COMPLETE Column stats: NONE
781                         value expressions: _col1 (type: double)
782         Reducer 2 
783             Reduce Operator Tree:
784               Group By Operator
785                 aggregations: sum(VALUE._col0)
786                 keys: KEY._col0 (type: string)
787                 mode: mergepartial
788                 outputColumnNames: _col0, _col1
789                 Statistics: Num rows: 250 Data size: 2656 Basic stats: COMPLETE Column stats: NONE
790                 Reduce Output Operator
791                   key expressions: _col1 (type: double)
792                   sort order: +
793                   Statistics: Num rows: 250 Data size: 2656 Basic stats: COMPLETE Column stats: NONE
794                   TopN Hash Memory Usage: 0.3
795                   value expressions: _col0 (type: string)
796         Reducer 3 
797             Reduce Operator Tree:
798               Select Operator
799                 expressions: VALUE._col0 (type: string), KEY.reducesinkkey0 (type: double)
800                 outputColumnNames: _col0, _col1
801                 Statistics: Num rows: 250 Data size: 2656 Basic stats: COMPLETE Column stats: NONE
802                 Limit
803                   Number of rows: 20
804                   Statistics: Num rows: 20 Data size: 200 Basic stats: COMPLETE Column stats: NONE
805                   File Output Operator
806                     compressed: false
807                     Statistics: Num rows: 20 Data size: 200 Basic stats: COMPLETE Column stats: NONE
808                     table:
809                         input format: org.apache.hadoop.mapred.SequenceFileInputFormat
810                         output format: org.apache.hadoop.hive.ql.io.HiveSequenceFileOutputFormat
811                         serde: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
812
813   Stage: Stage-0
814     Fetch Operator
815       limit: 20
816       Processor Tree:
817         ListSink
818
819 PREHOOK: query: select value, sum(key) as sum from src group by value order by sum limit 20
820 PREHOOK: type: QUERY
821 PREHOOK: Input: default@src
822 #### A masked pattern was here ####
823 POSTHOOK: query: select value, sum(key) as sum from src group by value order by sum limit 20
824 POSTHOOK: type: QUERY
825 POSTHOOK: Input: default@src
826 #### A masked pattern was here ####
827 val_0   0.0
828 val_10  10.0
829 val_11  11.0
830 val_12  24.0
831 val_15  30.0
832 val_17  17.0
833 val_18  36.0
834 val_19  19.0
835 val_2   2.0
836 val_20  20.0
837 val_27  27.0
838 val_28  28.0
839 val_30  30.0
840 val_33  33.0
841 val_34  34.0
842 val_4   4.0
843 val_41  41.0
844 val_5   15.0
845 val_8   8.0
846 val_9   9.0
847 PREHOOK: query: explain
848 select * from
849 (select key, count(1) from src group by key order by key limit 2) subq
850 join
851 (select key, count(1) from src group by key limit 3) subq2
852 on subq.key=subq2.key limit 4
853 PREHOOK: type: QUERY
854 POSTHOOK: query: explain
855 select * from
856 (select key, count(1) from src group by key order by key limit 2) subq
857 join
858 (select key, count(1) from src group by key limit 3) subq2
859 on subq.key=subq2.key limit 4
860 POSTHOOK: type: QUERY
861 STAGE DEPENDENCIES:
862   Stage-1 is a root stage
863   Stage-0 depends on stages: Stage-1
864
865 STAGE PLANS:
866   Stage: Stage-1
867     Spark
868       Edges:
869         Reducer 2 <- Map 1 (GROUP PARTITION-LEVEL SORT, 1)
870         Reducer 3 <- Reducer 2 (PARTITION-LEVEL SORT, 2), Reducer 6 (PARTITION-LEVEL SORT, 2)
871         Reducer 5 <- Map 4 (GROUP, 2)
872         Reducer 6 <- Reducer 5 (GROUP, 1)
873 #### A masked pattern was here ####
874       Vertices:
875         Map 1 
876             Map Operator Tree:
877                 TableScan
878                   alias: src
879                   Statistics: Num rows: 500 Data size: 5312 Basic stats: COMPLETE Column stats: NONE
880                   Select Operator
881                     expressions: key (type: string)
882                     outputColumnNames: key
883                     Statistics: Num rows: 500 Data size: 5312 Basic stats: COMPLETE Column stats: NONE
884                     Group By Operator
885                       aggregations: count()
886                       keys: key (type: string)
887                       mode: hash
888                       outputColumnNames: _col0, _col1
889                       Statistics: Num rows: 500 Data size: 5312 Basic stats: COMPLETE Column stats: NONE
890                       Reduce Output Operator
891                         key expressions: _col0 (type: string)
892                         sort order: +
893                         Map-reduce partition columns: _col0 (type: string)
894                         Statistics: Num rows: 500 Data size: 5312 Basic stats: COMPLETE Column stats: NONE
895                         TopN Hash Memory Usage: 0.3
896                         value expressions: _col1 (type: bigint)
897         Map 4 
898             Map Operator Tree:
899                 TableScan
900                   alias: src
901                   Statistics: Num rows: 500 Data size: 5312 Basic stats: COMPLETE Column stats: NONE
902                   Select Operator
903                     expressions: key (type: string)
904                     outputColumnNames: key
905                     Statistics: Num rows: 500 Data size: 5312 Basic stats: COMPLETE Column stats: NONE
906                     Group By Operator
907                       aggregations: count()
908                       keys: key (type: string)
909                       mode: hash
910                       outputColumnNames: _col0, _col1
911                       Statistics: Num rows: 500 Data size: 5312 Basic stats: COMPLETE Column stats: NONE
912                       Reduce Output Operator
913                         key expressions: _col0 (type: string)
914                         sort order: +
915                         Map-reduce partition columns: _col0 (type: string)
916                         Statistics: Num rows: 500 Data size: 5312 Basic stats: COMPLETE Column stats: NONE
917                         TopN Hash Memory Usage: 0.3
918                         value expressions: _col1 (type: bigint)
919         Reducer 2 
920             Reduce Operator Tree:
921               Group By Operator
922                 aggregations: count(VALUE._col0)
923                 keys: KEY._col0 (type: string)
924                 mode: mergepartial
925                 outputColumnNames: _col0, _col1
926                 Statistics: Num rows: 250 Data size: 2656 Basic stats: COMPLETE Column stats: NONE
927                 Limit
928                   Number of rows: 2
929                   Statistics: Num rows: 2 Data size: 20 Basic stats: COMPLETE Column stats: NONE
930                   Filter Operator
931                     predicate: _col0 is not null (type: boolean)
932                     Statistics: Num rows: 2 Data size: 20 Basic stats: COMPLETE Column stats: NONE
933                     Reduce Output Operator
934                       key expressions: _col0 (type: string)
935                       sort order: +
936                       Map-reduce partition columns: _col0 (type: string)
937                       Statistics: Num rows: 2 Data size: 20 Basic stats: COMPLETE Column stats: NONE
938                       value expressions: _col1 (type: bigint)
939         Reducer 3 
940             Reduce Operator Tree:
941               Join Operator
942                 condition map:
943                      Inner Join 0 to 1
944                 keys:
945                   0 _col0 (type: string)
946                   1 _col0 (type: string)
947                 outputColumnNames: _col0, _col1, _col2, _col3
948                 Statistics: Num rows: 3 Data size: 33 Basic stats: COMPLETE Column stats: NONE
949                 Limit
950                   Number of rows: 4
951                   Statistics: Num rows: 3 Data size: 33 Basic stats: COMPLETE Column stats: NONE
952                   File Output Operator
953                     compressed: false
954                     Statistics: Num rows: 3 Data size: 33 Basic stats: COMPLETE Column stats: NONE
955                     table:
956                         input format: org.apache.hadoop.mapred.SequenceFileInputFormat
957                         output format: org.apache.hadoop.hive.ql.io.HiveSequenceFileOutputFormat
958                         serde: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
959         Reducer 5 
960             Reduce Operator Tree:
961               Group By Operator
962                 aggregations: count(VALUE._col0)
963                 keys: KEY._col0 (type: string)
964                 mode: mergepartial
965                 outputColumnNames: _col0, _col1
966                 Statistics: Num rows: 250 Data size: 2656 Basic stats: COMPLETE Column stats: NONE
967                 Limit
968                   Number of rows: 3
969                   Statistics: Num rows: 3 Data size: 30 Basic stats: COMPLETE Column stats: NONE
970                   Reduce Output Operator
971                     sort order: 
972                     Statistics: Num rows: 3 Data size: 30 Basic stats: COMPLETE Column stats: NONE
973                     TopN Hash Memory Usage: 0.3
974                     value expressions: _col0 (type: string), _col1 (type: bigint)
975         Reducer 6 
976             Reduce Operator Tree:
977               Select Operator
978                 expressions: VALUE._col0 (type: string), VALUE._col1 (type: bigint)
979                 outputColumnNames: _col0, _col1
980                 Statistics: Num rows: 3 Data size: 30 Basic stats: COMPLETE Column stats: NONE
981                 Limit
982                   Number of rows: 3
983                   Statistics: Num rows: 3 Data size: 30 Basic stats: COMPLETE Column stats: NONE
984                   Filter Operator
985                     predicate: _col0 is not null (type: boolean)
986                     Statistics: Num rows: 3 Data size: 30 Basic stats: COMPLETE Column stats: NONE
987                     Reduce Output Operator
988                       key expressions: _col0 (type: string)
989                       sort order: +
990                       Map-reduce partition columns: _col0 (type: string)
991                       Statistics: Num rows: 3 Data size: 30 Basic stats: COMPLETE Column stats: NONE
992                       value expressions: _col1 (type: bigint)
993
994   Stage: Stage-0
995     Fetch Operator
996       limit: 4
997       Processor Tree:
998         ListSink
999
1000 PREHOOK: query: explain
1001 select value, sum(key) as sum from src group by value order by value limit 20
1002 PREHOOK: type: QUERY
1003 POSTHOOK: query: explain
1004 select value, sum(key) as sum from src group by value order by value limit 20
1005 POSTHOOK: type: QUERY
1006 STAGE DEPENDENCIES:
1007   Stage-1 is a root stage
1008   Stage-0 depends on stages: Stage-1
1009
1010 STAGE PLANS:
1011   Stage: Stage-1
1012     Spark
1013       Edges:
1014         Reducer 2 <- Map 1 (GROUP PARTITION-LEVEL SORT, 1)
1015 #### A masked pattern was here ####
1016       Vertices:
1017         Map 1 
1018             Map Operator Tree:
1019                 TableScan
1020                   alias: src
1021                   Statistics: Num rows: 500 Data size: 5312 Basic stats: COMPLETE Column stats: NONE
1022                   Select Operator
1023                     expressions: key (type: string), value (type: string)
1024                     outputColumnNames: key, value
1025                     Statistics: Num rows: 500 Data size: 5312 Basic stats: COMPLETE Column stats: NONE
1026                     Reduce Output Operator
1027                       key expressions: value (type: string)
1028                       sort order: +
1029                       Map-reduce partition columns: value (type: string)
1030                       Statistics: Num rows: 500 Data size: 5312 Basic stats: COMPLETE Column stats: NONE
1031                       TopN Hash Memory Usage: 0.3
1032                       value expressions: key (type: string)
1033         Reducer 2 
1034             Reduce Operator Tree:
1035               Group By Operator
1036                 aggregations: sum(VALUE._col0)
1037                 keys: KEY._col0 (type: string)
1038                 mode: complete
1039                 outputColumnNames: _col0, _col1
1040                 Statistics: Num rows: 250 Data size: 2656 Basic stats: COMPLETE Column stats: NONE
1041                 Limit
1042                   Number of rows: 20
1043                   Statistics: Num rows: 20 Data size: 200 Basic stats: COMPLETE Column stats: NONE
1044                   File Output Operator
1045                     compressed: false
1046                     Statistics: Num rows: 20 Data size: 200 Basic stats: COMPLETE Column stats: NONE
1047                     table:
1048                         input format: org.apache.hadoop.mapred.SequenceFileInputFormat
1049                         output format: org.apache.hadoop.hive.ql.io.HiveSequenceFileOutputFormat
1050                         serde: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
1051
1052   Stage: Stage-0
1053     Fetch Operator
1054       limit: 20
1055       Processor Tree:
1056         ListSink
1057
1058 PREHOOK: query: select value, sum(key) as sum from src group by value order by value limit 20
1059 PREHOOK: type: QUERY
1060 PREHOOK: Input: default@src
1061 #### A masked pattern was here ####
1062 POSTHOOK: query: select value, sum(key) as sum from src group by value order by value limit 20
1063 POSTHOOK: type: QUERY
1064 POSTHOOK: Input: default@src
1065 #### A masked pattern was here ####
1066 val_0   0.0
1067 val_10  10.0
1068 val_100 200.0
1069 val_103 206.0
1070 val_104 208.0
1071 val_105 105.0
1072 val_11  11.0
1073 val_111 111.0
1074 val_113 226.0
1075 val_114 114.0
1076 val_116 116.0
1077 val_118 236.0
1078 val_119 357.0
1079 val_12  24.0
1080 val_120 240.0
1081 val_125 250.0
1082 val_126 126.0
1083 val_128 384.0
1084 val_129 258.0
1085 val_131 131.0
1086 PREHOOK: query: explain
1087 select key,value,value,value,value,value,value,value,value from src order by key limit 100
1088 PREHOOK: type: QUERY
1089 POSTHOOK: query: explain
1090 select key,value,value,value,value,value,value,value,value from src order by key limit 100
1091 POSTHOOK: type: QUERY
1092 STAGE DEPENDENCIES:
1093   Stage-1 is a root stage
1094   Stage-0 depends on stages: Stage-1
1095
1096 STAGE PLANS:
1097   Stage: Stage-1
1098     Spark
1099       Edges:
1100         Reducer 2 <- Map 1 (SORT, 1)
1101 #### A masked pattern was here ####
1102       Vertices:
1103         Map 1 
1104             Map Operator Tree:
1105                 TableScan
1106                   alias: src
1107                   Statistics: Num rows: 500 Data size: 5312 Basic stats: COMPLETE Column stats: NONE
1108                   Select Operator
1109                     expressions: key (type: string), value (type: string)
1110                     outputColumnNames: _col0, _col1
1111                     Statistics: Num rows: 500 Data size: 5312 Basic stats: COMPLETE Column stats: NONE
1112                     Reduce Output Operator
1113                       key expressions: _col0 (type: string)
1114                       sort order: +
1115                       Statistics: Num rows: 500 Data size: 5312 Basic stats: COMPLETE Column stats: NONE
1116                       TopN Hash Memory Usage: 2.0E-5
1117                       value expressions: _col1 (type: string)
1118         Reducer 2 
1119             Reduce Operator Tree:
1120               Select Operator
1121                 expressions: KEY.reducesinkkey0 (type: string), VALUE._col0 (type: string), VALUE._col0 (type: string), VALUE._col0 (type: string), VALUE._col0 (type: string), VALUE._col0 (type: string), VALUE._col0 (type: string), VALUE._col0 (type: string), VALUE._col0 (type: string)
1122                 outputColumnNames: _col0, _col1, _col2, _col3, _col4, _col5, _col6, _col7, _col8
1123                 Statistics: Num rows: 500 Data size: 5312 Basic stats: COMPLETE Column stats: NONE
1124                 Limit
1125                   Number of rows: 100
1126                   Statistics: Num rows: 100 Data size: 1000 Basic stats: COMPLETE Column stats: NONE
1127                   File Output Operator
1128                     compressed: false
1129                     Statistics: Num rows: 100 Data size: 1000 Basic stats: COMPLETE Column stats: NONE
1130                     table:
1131                         input format: org.apache.hadoop.mapred.SequenceFileInputFormat
1132                         output format: org.apache.hadoop.hive.ql.io.HiveSequenceFileOutputFormat
1133                         serde: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
1134
1135   Stage: Stage-0
1136     Fetch Operator
1137       limit: 100
1138       Processor Tree:
1139         ListSink
1140
1141 PREHOOK: query: select key,value,value,value,value,value,value,value,value from src order by key limit 100
1142 PREHOOK: type: QUERY
1143 PREHOOK: Input: default@src
1144 #### A masked pattern was here ####
1145 POSTHOOK: query: select key,value,value,value,value,value,value,value,value from src order by key limit 100
1146 POSTHOOK: type: QUERY
1147 POSTHOOK: Input: default@src
1148 #### A masked pattern was here ####
1149 0       val_0   val_0   val_0   val_0   val_0   val_0   val_0   val_0
1150 0       val_0   val_0   val_0   val_0   val_0   val_0   val_0   val_0
1151 0       val_0   val_0   val_0   val_0   val_0   val_0   val_0   val_0
1152 10      val_10  val_10  val_10  val_10  val_10  val_10  val_10  val_10
1153 100     val_100 val_100 val_100 val_100 val_100 val_100 val_100 val_100
1154 100     val_100 val_100 val_100 val_100 val_100 val_100 val_100 val_100
1155 103     val_103 val_103 val_103 val_103 val_103 val_103 val_103 val_103
1156 103     val_103 val_103 val_103 val_103 val_103 val_103 val_103 val_103
1157 104     val_104 val_104 val_104 val_104 val_104 val_104 val_104 val_104
1158 104     val_104 val_104 val_104 val_104 val_104 val_104 val_104 val_104
1159 105     val_105 val_105 val_105 val_105 val_105 val_105 val_105 val_105
1160 11      val_11  val_11  val_11  val_11  val_11  val_11  val_11  val_11
1161 111     val_111 val_111 val_111 val_111 val_111 val_111 val_111 val_111
1162 113     val_113 val_113 val_113 val_113 val_113 val_113 val_113 val_113
1163 113     val_113 val_113 val_113 val_113 val_113 val_113 val_113 val_113
1164 114     val_114 val_114 val_114 val_114 val_114 val_114 val_114 val_114
1165 116     val_116 val_116 val_116 val_116 val_116 val_116 val_116 val_116
1166 118     val_118 val_118 val_118 val_118 val_118 val_118 val_118 val_118
1167 118     val_118 val_118 val_118 val_118 val_118 val_118 val_118 val_118
1168 119     val_119 val_119 val_119 val_119 val_119 val_119 val_119 val_119
1169 119     val_119 val_119 val_119 val_119 val_119 val_119 val_119 val_119
1170 119     val_119 val_119 val_119 val_119 val_119 val_119 val_119 val_119
1171 12      val_12  val_12  val_12  val_12  val_12  val_12  val_12  val_12
1172 12      val_12  val_12  val_12  val_12  val_12  val_12  val_12  val_12
1173 120     val_120 val_120 val_120 val_120 val_120 val_120 val_120 val_120
1174 120     val_120 val_120 val_120 val_120 val_120 val_120 val_120 val_120
1175 125     val_125 val_125 val_125 val_125 val_125 val_125 val_125 val_125
1176 125     val_125 val_125 val_125 val_125 val_125 val_125 val_125 val_125
1177 126     val_126 val_126 val_126 val_126 val_126 val_126 val_126 val_126
1178 128     val_128 val_128 val_128 val_128 val_128 val_128 val_128 val_128
1179 128     val_128 val_128 val_128 val_128 val_128 val_128 val_128 val_128
1180 128     val_128 val_128 val_128 val_128 val_128 val_128 val_128 val_128
1181 129     val_129 val_129 val_129 val_129 val_129 val_129 val_129 val_129
1182 129     val_129 val_129 val_129 val_129 val_129 val_129 val_129 val_129
1183 131     val_131 val_131 val_131 val_131 val_131 val_131 val_131 val_131
1184 133     val_133 val_133 val_133 val_133 val_133 val_133 val_133 val_133
1185 134     val_134 val_134 val_134 val_134 val_134 val_134 val_134 val_134
1186 134     val_134 val_134 val_134 val_134 val_134 val_134 val_134 val_134
1187 136     val_136 val_136 val_136 val_136 val_136 val_136 val_136 val_136
1188 137     val_137 val_137 val_137 val_137 val_137 val_137 val_137 val_137
1189 137     val_137 val_137 val_137 val_137 val_137 val_137 val_137 val_137
1190 138     val_138 val_138 val_138 val_138 val_138 val_138 val_138 val_138
1191 138     val_138 val_138 val_138 val_138 val_138 val_138 val_138 val_138
1192 138     val_138 val_138 val_138 val_138 val_138 val_138 val_138 val_138
1193 138     val_138 val_138 val_138 val_138 val_138 val_138 val_138 val_138
1194 143     val_143 val_143 val_143 val_143 val_143 val_143 val_143 val_143
1195 145     val_145 val_145 val_145 val_145 val_145 val_145 val_145 val_145
1196 146     val_146 val_146 val_146 val_146 val_146 val_146 val_146 val_146
1197 146     val_146 val_146 val_146 val_146 val_146 val_146 val_146 val_146
1198 149     val_149 val_149 val_149 val_149 val_149 val_149 val_149 val_149
1199 149     val_149 val_149 val_149 val_149 val_149 val_149 val_149 val_149
1200 15      val_15  val_15  val_15  val_15  val_15  val_15  val_15  val_15
1201 15      val_15  val_15  val_15  val_15  val_15  val_15  val_15  val_15
1202 150     val_150 val_150 val_150 val_150 val_150 val_150 val_150 val_150
1203 152     val_152 val_152 val_152 val_152 val_152 val_152 val_152 val_152
1204 152     val_152 val_152 val_152 val_152 val_152 val_152 val_152 val_152
1205 153     val_153 val_153 val_153 val_153 val_153 val_153 val_153 val_153
1206 155     val_155 val_155 val_155 val_155 val_155 val_155 val_155 val_155
1207 156     val_156 val_156 val_156 val_156 val_156 val_156 val_156 val_156
1208 157     val_157 val_157 val_157 val_157 val_157 val_157 val_157 val_157
1209 158     val_158 val_158 val_158 val_158 val_158 val_158 val_158 val_158
1210 160     val_160 val_160 val_160 val_160 val_160 val_160 val_160 val_160
1211 162     val_162 val_162 val_162 val_162 val_162 val_162 val_162 val_162
1212 163     val_163 val_163 val_163 val_163 val_163 val_163 val_163 val_163
1213 164     val_164 val_164 val_164 val_164 val_164 val_164 val_164 val_164
1214 164     val_164 val_164 val_164 val_164 val_164 val_164 val_164 val_164
1215 165     val_165 val_165 val_165 val_165 val_165 val_165 val_165 val_165
1216 165     val_165 val_165 val_165 val_165 val_165 val_165 val_165 val_165
1217 166     val_166 val_166 val_166 val_166 val_166 val_166 val_166 val_166
1218 167     val_167 val_167 val_167 val_167 val_167 val_167 val_167 val_167
1219 167     val_167 val_167 val_167 val_167 val_167 val_167 val_167 val_167
1220 167     val_167 val_167 val_167 val_167 val_167 val_167 val_167 val_167
1221 168     val_168 val_168 val_168 val_168 val_168 val_168 val_168 val_168
1222 169     val_169 val_169 val_169 val_169 val_169 val_169 val_169 val_169
1223 169     val_169 val_169 val_169 val_169 val_169 val_169 val_169 val_169
1224 169     val_169 val_169 val_169 val_169 val_169 val_169 val_169 val_169
1225 169     val_169 val_169 val_169 val_169 val_169 val_169 val_169 val_169
1226 17      val_17  val_17  val_17  val_17  val_17  val_17  val_17  val_17
1227 170     val_170 val_170 val_170 val_170 val_170 val_170 val_170 val_170
1228 172     val_172 val_172 val_172 val_172 val_172 val_172 val_172 val_172
1229 172     val_172 val_172 val_172 val_172 val_172 val_172 val_172 val_172
1230 174     val_174 val_174 val_174 val_174 val_174 val_174 val_174 val_174
1231 174     val_174 val_174 val_174 val_174 val_174 val_174 val_174 val_174
1232 175     val_175 val_175 val_175 val_175 val_175 val_175 val_175 val_175
1233 175     val_175 val_175 val_175 val_175 val_175 val_175 val_175 val_175
1234 176     val_176 val_176 val_176 val_176 val_176 val_176 val_176 val_176
1235 176     val_176 val_176 val_176 val_176 val_176 val_176 val_176 val_176
1236 177     val_177 val_177 val_177 val_177 val_177 val_177 val_177 val_177
1237 178     val_178 val_178 val_178 val_178 val_178 val_178 val_178 val_178
1238 179     val_179 val_179 val_179 val_179 val_179 val_179 val_179 val_179
1239 179     val_179 val_179 val_179 val_179 val_179 val_179 val_179 val_179
1240 18      val_18  val_18  val_18  val_18  val_18  val_18  val_18  val_18
1241 18      val_18  val_18  val_18  val_18  val_18  val_18  val_18  val_18
1242 180     val_180 val_180 val_180 val_180 val_180 val_180 val_180 val_180
1243 181     val_181 val_181 val_181 val_181 val_181 val_181 val_181 val_181
1244 183     val_183 val_183 val_183 val_183 val_183 val_183 val_183 val_183
1245 186     val_186 val_186 val_186 val_186 val_186 val_186 val_186 val_186
1246 187     val_187 val_187 val_187 val_187 val_187 val_187 val_187 val_187
1247 187     val_187 val_187 val_187 val_187 val_187 val_187 val_187 val_187
1248 187     val_187 val_187 val_187 val_187 val_187 val_187 val_187 val_187
1249 PREHOOK: query: explain
1250 select sum(key) as sum from src group by concat(key,value,value,value,value,value,value,value,value,value) order by sum limit 100
1251 PREHOOK: type: QUERY
1252 POSTHOOK: query: explain
1253 select sum(key) as sum from src group by concat(key,value,value,value,value,value,value,value,value,value) order by sum limit 100
1254 POSTHOOK: type: QUERY
1255 STAGE DEPENDENCIES:
1256   Stage-1 is a root stage
1257   Stage-0 depends on stages: Stage-1
1258
1259 STAGE PLANS:
1260   Stage: Stage-1
1261     Spark
1262       Edges:
1263         Reducer 2 <- Map 1 (GROUP, 2)
1264         Reducer 3 <- Reducer 2 (SORT, 1)
1265 #### A masked pattern was here ####
1266       Vertices:
1267         Map 1 
1268             Map Operator Tree:
1269                 TableScan
1270                   alias: src
1271                   Statistics: Num rows: 500 Data size: 5312 Basic stats: COMPLETE Column stats: NONE
1272                   Select Operator
1273                     expressions: concat(key, value, value, value, value, value, value, value, value, value) (type: string), key (type: string)
1274                     outputColumnNames: _col0, _col1
1275                     Statistics: Num rows: 500 Data size: 5312 Basic stats: COMPLETE Column stats: NONE
1276                     Reduce Output Operator
1277                       key expressions: _col0 (type: string)
1278                       sort order: +
1279                       Map-reduce partition columns: _col0 (type: string)
1280                       Statistics: Num rows: 500 Data size: 5312 Basic stats: COMPLETE Column stats: NONE
1281                       value expressions: _col1 (type: string)
1282         Reducer 2 
1283             Reduce Operator Tree:
1284               Group By Operator
1285                 aggregations: sum(VALUE._col0)
1286                 keys: KEY._col0 (type: string)
1287                 mode: complete
1288                 outputColumnNames: _col0, _col1
1289                 Statistics: Num rows: 250 Data size: 2656 Basic stats: COMPLETE Column stats: NONE
1290                 Select Operator
1291                   expressions: _col1 (type: double)
1292                   outputColumnNames: _col0
1293                   Statistics: Num rows: 250 Data size: 2656 Basic stats: COMPLETE Column stats: NONE
1294                   Reduce Output Operator
1295                     key expressions: _col0 (type: double)
1296                     sort order: +
1297                     Statistics: Num rows: 250 Data size: 2656 Basic stats: COMPLETE Column stats: NONE
1298                     TopN Hash Memory Usage: 2.0E-5
1299         Reducer 3 
1300             Reduce Operator Tree:
1301               Select Operator
1302                 expressions: KEY.reducesinkkey0 (type: double)
1303                 outputColumnNames: _col0
1304                 Statistics: Num rows: 250 Data size: 2656 Basic stats: COMPLETE Column stats: NONE
1305                 Limit
1306                   Number of rows: 100
1307                   Statistics: Num rows: 100 Data size: 1000 Basic stats: COMPLETE Column stats: NONE
1308                   File Output Operator
1309                     compressed: false
1310                     Statistics: Num rows: 100 Data size: 1000 Basic stats: COMPLETE Column stats: NONE
1311                     table:
1312                         input format: org.apache.hadoop.mapred.SequenceFileInputFormat
1313                         output format: org.apache.hadoop.hive.ql.io.HiveSequenceFileOutputFormat
1314                         serde: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
1315
1316   Stage: Stage-0
1317     Fetch Operator
1318       limit: 100
1319       Processor Tree:
1320         ListSink
1321
1322 PREHOOK: query: select sum(key) as sum from src group by concat(key,value,value,value,value,value,value,value,value,value) order by sum limit 100
1323 PREHOOK: type: QUERY
1324 PREHOOK: Input: default@src
1325 #### A masked pattern was here ####
1326 POSTHOOK: query: select sum(key) as sum from src group by concat(key,value,value,value,value,value,value,value,value,value) order by sum limit 100
1327 POSTHOOK: type: QUERY
1328 POSTHOOK: Input: default@src
1329 #### A masked pattern was here ####
1330 0.0
1331 10.0
1332 102.0
1333 105.0
1334 105.0
1335 11.0
1336 111.0
1337 114.0
1338 116.0
1339 116.0
1340 126.0
1341 131.0
1342 133.0
1343 134.0
1344 136.0
1345 143.0
1346 144.0
1347 145.0
1348 15.0
1349 150.0
1350 152.0
1351 153.0
1352 155.0
1353 156.0
1354 157.0
1355 158.0
1356 160.0
1357 162.0
1358 163.0
1359 166.0
1360 166.0
1361 168.0
1362 168.0
1363 17.0
1364 170.0
1365 177.0
1366 178.0
1367 180.0
1368 181.0
1369 183.0
1370 186.0
1371 189.0
1372 19.0
1373 190.0
1374 190.0
1375 192.0
1376 194.0
1377 194.0
1378 196.0
1379 196.0
1380 2.0
1381 20.0
1382 200.0
1383 201.0
1384 202.0
1385 206.0
1386 208.0
1387 210.0
1388 214.0
1389 218.0
1390 222.0
1391 226.0
1392 226.0
1393 228.0
1394 24.0
1395 27.0
1396 28.0
1397 30.0
1398 30.0
1399 33.0
1400 34.0
1401 36.0
1402 4.0
1403 41.0
1404 43.0
1405 44.0
1406 47.0
1407 48.0
1408 52.0
1409 53.0
1410 54.0
1411 57.0
1412 64.0
1413 65.0
1414 66.0
1415 69.0
1416 74.0
1417 74.0
1418 77.0
1419 78.0
1420 8.0
1421 80.0
1422 82.0
1423 84.0
1424 85.0
1425 86.0
1426 87.0
1427 9.0
1428 92.0
1429 96.0