HIVE-18797 : ExprConstNodeDesc's getExprString should put appropriate qualifier with...
[hive.git] / ql / src / test / results / clientpositive / spark / spark_dynamic_partition_pruning.q.out
1 PREHOOK: query: select distinct ds from srcpart
2 PREHOOK: type: QUERY
3 PREHOOK: Input: default@srcpart
4 PREHOOK: Input: default@srcpart@ds=2008-04-08/hr=11
5 PREHOOK: Input: default@srcpart@ds=2008-04-08/hr=12
6 PREHOOK: Input: default@srcpart@ds=2008-04-09/hr=11
7 PREHOOK: Input: default@srcpart@ds=2008-04-09/hr=12
8 PREHOOK: Output: hdfs://### HDFS PATH ###
9 POSTHOOK: query: select distinct ds from srcpart
10 POSTHOOK: type: QUERY
11 POSTHOOK: Input: default@srcpart
12 POSTHOOK: Input: default@srcpart@ds=2008-04-08/hr=11
13 POSTHOOK: Input: default@srcpart@ds=2008-04-08/hr=12
14 POSTHOOK: Input: default@srcpart@ds=2008-04-09/hr=11
15 POSTHOOK: Input: default@srcpart@ds=2008-04-09/hr=12
16 POSTHOOK: Output: hdfs://### HDFS PATH ###
17 2008-04-08
18 2008-04-09
19 PREHOOK: query: select distinct hr from srcpart
20 PREHOOK: type: QUERY
21 PREHOOK: Input: default@srcpart
22 PREHOOK: Input: default@srcpart@ds=2008-04-08/hr=11
23 PREHOOK: Input: default@srcpart@ds=2008-04-08/hr=12
24 PREHOOK: Input: default@srcpart@ds=2008-04-09/hr=11
25 PREHOOK: Input: default@srcpart@ds=2008-04-09/hr=12
26 PREHOOK: Output: hdfs://### HDFS PATH ###
27 POSTHOOK: query: select distinct hr from srcpart
28 POSTHOOK: type: QUERY
29 POSTHOOK: Input: default@srcpart
30 POSTHOOK: Input: default@srcpart@ds=2008-04-08/hr=11
31 POSTHOOK: Input: default@srcpart@ds=2008-04-08/hr=12
32 POSTHOOK: Input: default@srcpart@ds=2008-04-09/hr=11
33 POSTHOOK: Input: default@srcpart@ds=2008-04-09/hr=12
34 POSTHOOK: Output: hdfs://### HDFS PATH ###
35 11
36 12
37 PREHOOK: query: EXPLAIN create table srcpart_date as select ds as ds, ds as `date` from srcpart group by ds
38 PREHOOK: type: CREATETABLE_AS_SELECT
39 POSTHOOK: query: EXPLAIN create table srcpart_date as select ds as ds, ds as `date` from srcpart group by ds
40 POSTHOOK: type: CREATETABLE_AS_SELECT
41 STAGE DEPENDENCIES:
42   Stage-1 is a root stage
43   Stage-0 depends on stages: Stage-1
44   Stage-3 depends on stages: Stage-0
45   Stage-2 depends on stages: Stage-3
46
47 STAGE PLANS:
48   Stage: Stage-1
49     Spark
50       Edges:
51         Reducer 2 <- Map 1 (GROUP, 4)
52 #### A masked pattern was here ####
53       Vertices:
54         Map 1 
55             Map Operator Tree:
56                 TableScan
57                   alias: srcpart
58                   Statistics: Num rows: 2000 Data size: 21248 Basic stats: COMPLETE Column stats: NONE
59                   Select Operator
60                     expressions: ds (type: string)
61                     outputColumnNames: ds
62                     Statistics: Num rows: 2000 Data size: 21248 Basic stats: COMPLETE Column stats: NONE
63                     Group By Operator
64                       keys: ds (type: string)
65                       mode: hash
66                       outputColumnNames: _col0
67                       Statistics: Num rows: 2000 Data size: 21248 Basic stats: COMPLETE Column stats: NONE
68                       Reduce Output Operator
69                         key expressions: _col0 (type: string)
70                         sort order: +
71                         Map-reduce partition columns: _col0 (type: string)
72                         Statistics: Num rows: 2000 Data size: 21248 Basic stats: COMPLETE Column stats: NONE
73         Reducer 2 
74             Reduce Operator Tree:
75               Group By Operator
76                 keys: KEY._col0 (type: string)
77                 mode: mergepartial
78                 outputColumnNames: _col0
79                 Statistics: Num rows: 1000 Data size: 10624 Basic stats: COMPLETE Column stats: NONE
80                 Select Operator
81                   expressions: _col0 (type: string), _col0 (type: string)
82                   outputColumnNames: _col0, _col1
83                   Statistics: Num rows: 1000 Data size: 10624 Basic stats: COMPLETE Column stats: NONE
84                   File Output Operator
85                     compressed: false
86                     Statistics: Num rows: 1000 Data size: 10624 Basic stats: COMPLETE Column stats: NONE
87                     table:
88                         input format: org.apache.hadoop.mapred.TextInputFormat
89                         output format: org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat
90                         serde: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
91                         name: default.srcpart_date
92
93   Stage: Stage-0
94     Move Operator
95       files:
96           hdfs directory: true
97           destination: hdfs://### HDFS PATH ###
98
99   Stage: Stage-3
100       Create Table Operator:
101         Create Table
102           columns: ds string, date string
103           input format: org.apache.hadoop.mapred.TextInputFormat
104           output format: org.apache.hadoop.hive.ql.io.IgnoreKeyTextOutputFormat
105           serde name: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
106           name: default.srcpart_date
107
108   Stage: Stage-2
109     Stats Work
110       Basic Stats Work:
111
112 PREHOOK: query: create table srcpart_date as select ds as ds, ds as `date` from srcpart group by ds
113 PREHOOK: type: CREATETABLE_AS_SELECT
114 PREHOOK: Input: default@srcpart
115 PREHOOK: Input: default@srcpart@ds=2008-04-08/hr=11
116 PREHOOK: Input: default@srcpart@ds=2008-04-08/hr=12
117 PREHOOK: Input: default@srcpart@ds=2008-04-09/hr=11
118 PREHOOK: Input: default@srcpart@ds=2008-04-09/hr=12
119 PREHOOK: Output: database:default
120 PREHOOK: Output: default@srcpart_date
121 POSTHOOK: query: create table srcpart_date as select ds as ds, ds as `date` from srcpart group by ds
122 POSTHOOK: type: CREATETABLE_AS_SELECT
123 POSTHOOK: Input: default@srcpart
124 POSTHOOK: Input: default@srcpart@ds=2008-04-08/hr=11
125 POSTHOOK: Input: default@srcpart@ds=2008-04-08/hr=12
126 POSTHOOK: Input: default@srcpart@ds=2008-04-09/hr=11
127 POSTHOOK: Input: default@srcpart@ds=2008-04-09/hr=12
128 POSTHOOK: Output: database:default
129 POSTHOOK: Output: default@srcpart_date
130 POSTHOOK: Lineage: srcpart_date.date SIMPLE [(srcpart)srcpart.FieldSchema(name:ds, type:string, comment:null), ]
131 POSTHOOK: Lineage: srcpart_date.ds SIMPLE [(srcpart)srcpart.FieldSchema(name:ds, type:string, comment:null), ]
132 PREHOOK: query: create table srcpart_hour as select hr as hr, hr as hour from srcpart group by hr
133 PREHOOK: type: CREATETABLE_AS_SELECT
134 PREHOOK: Input: default@srcpart
135 PREHOOK: Input: default@srcpart@ds=2008-04-08/hr=11
136 PREHOOK: Input: default@srcpart@ds=2008-04-08/hr=12
137 PREHOOK: Input: default@srcpart@ds=2008-04-09/hr=11
138 PREHOOK: Input: default@srcpart@ds=2008-04-09/hr=12
139 PREHOOK: Output: database:default
140 PREHOOK: Output: default@srcpart_hour
141 POSTHOOK: query: create table srcpart_hour as select hr as hr, hr as hour from srcpart group by hr
142 POSTHOOK: type: CREATETABLE_AS_SELECT
143 POSTHOOK: Input: default@srcpart
144 POSTHOOK: Input: default@srcpart@ds=2008-04-08/hr=11
145 POSTHOOK: Input: default@srcpart@ds=2008-04-08/hr=12
146 POSTHOOK: Input: default@srcpart@ds=2008-04-09/hr=11
147 POSTHOOK: Input: default@srcpart@ds=2008-04-09/hr=12
148 POSTHOOK: Output: database:default
149 POSTHOOK: Output: default@srcpart_hour
150 POSTHOOK: Lineage: srcpart_hour.hour SIMPLE [(srcpart)srcpart.FieldSchema(name:hr, type:string, comment:null), ]
151 POSTHOOK: Lineage: srcpart_hour.hr SIMPLE [(srcpart)srcpart.FieldSchema(name:hr, type:string, comment:null), ]
152 PREHOOK: query: create table srcpart_date_hour as select ds as ds, ds as `date`, hr as hr, hr as hour from srcpart group by ds, hr
153 PREHOOK: type: CREATETABLE_AS_SELECT
154 PREHOOK: Input: default@srcpart
155 PREHOOK: Input: default@srcpart@ds=2008-04-08/hr=11
156 PREHOOK: Input: default@srcpart@ds=2008-04-08/hr=12
157 PREHOOK: Input: default@srcpart@ds=2008-04-09/hr=11
158 PREHOOK: Input: default@srcpart@ds=2008-04-09/hr=12
159 PREHOOK: Output: database:default
160 PREHOOK: Output: default@srcpart_date_hour
161 POSTHOOK: query: create table srcpart_date_hour as select ds as ds, ds as `date`, hr as hr, hr as hour from srcpart group by ds, hr
162 POSTHOOK: type: CREATETABLE_AS_SELECT
163 POSTHOOK: Input: default@srcpart
164 POSTHOOK: Input: default@srcpart@ds=2008-04-08/hr=11
165 POSTHOOK: Input: default@srcpart@ds=2008-04-08/hr=12
166 POSTHOOK: Input: default@srcpart@ds=2008-04-09/hr=11
167 POSTHOOK: Input: default@srcpart@ds=2008-04-09/hr=12
168 POSTHOOK: Output: database:default
169 POSTHOOK: Output: default@srcpart_date_hour
170 POSTHOOK: Lineage: srcpart_date_hour.date SIMPLE [(srcpart)srcpart.FieldSchema(name:ds, type:string, comment:null), ]
171 POSTHOOK: Lineage: srcpart_date_hour.ds SIMPLE [(srcpart)srcpart.FieldSchema(name:ds, type:string, comment:null), ]
172 POSTHOOK: Lineage: srcpart_date_hour.hour SIMPLE [(srcpart)srcpart.FieldSchema(name:hr, type:string, comment:null), ]
173 POSTHOOK: Lineage: srcpart_date_hour.hr SIMPLE [(srcpart)srcpart.FieldSchema(name:hr, type:string, comment:null), ]
174 PREHOOK: query: create table srcpart_double_hour as select (hr*2) as hr, hr as hour from srcpart group by hr
175 PREHOOK: type: CREATETABLE_AS_SELECT
176 PREHOOK: Input: default@srcpart
177 PREHOOK: Input: default@srcpart@ds=2008-04-08/hr=11
178 PREHOOK: Input: default@srcpart@ds=2008-04-08/hr=12
179 PREHOOK: Input: default@srcpart@ds=2008-04-09/hr=11
180 PREHOOK: Input: default@srcpart@ds=2008-04-09/hr=12
181 PREHOOK: Output: database:default
182 PREHOOK: Output: default@srcpart_double_hour
183 POSTHOOK: query: create table srcpart_double_hour as select (hr*2) as hr, hr as hour from srcpart group by hr
184 POSTHOOK: type: CREATETABLE_AS_SELECT
185 POSTHOOK: Input: default@srcpart
186 POSTHOOK: Input: default@srcpart@ds=2008-04-08/hr=11
187 POSTHOOK: Input: default@srcpart@ds=2008-04-08/hr=12
188 POSTHOOK: Input: default@srcpart@ds=2008-04-09/hr=11
189 POSTHOOK: Input: default@srcpart@ds=2008-04-09/hr=12
190 POSTHOOK: Output: database:default
191 POSTHOOK: Output: default@srcpart_double_hour
192 POSTHOOK: Lineage: srcpart_double_hour.hour SIMPLE [(srcpart)srcpart.FieldSchema(name:hr, type:string, comment:null), ]
193 POSTHOOK: Lineage: srcpart_double_hour.hr EXPRESSION [(srcpart)srcpart.FieldSchema(name:hr, type:string, comment:null), ]
194 PREHOOK: query: EXPLAIN select count(*) from srcpart join srcpart_date on (srcpart.ds = srcpart_date.ds) where srcpart_date.`date` = '2008-04-08'
195 PREHOOK: type: QUERY
196 POSTHOOK: query: EXPLAIN select count(*) from srcpart join srcpart_date on (srcpart.ds = srcpart_date.ds) where srcpart_date.`date` = '2008-04-08'
197 POSTHOOK: type: QUERY
198 STAGE DEPENDENCIES:
199   Stage-2 is a root stage
200   Stage-1 depends on stages: Stage-2
201   Stage-0 depends on stages: Stage-1
202
203 STAGE PLANS:
204   Stage: Stage-2
205     Spark
206 #### A masked pattern was here ####
207       Vertices:
208         Map 5 
209             Map Operator Tree:
210                 TableScan
211                   alias: srcpart_date
212                   filterExpr: ((date = '2008-04-08') and ds is not null) (type: boolean)
213                   Statistics: Num rows: 2 Data size: 42 Basic stats: COMPLETE Column stats: NONE
214                   Filter Operator
215                     predicate: ((date = '2008-04-08') and ds is not null) (type: boolean)
216                     Statistics: Num rows: 1 Data size: 21 Basic stats: COMPLETE Column stats: NONE
217                     Select Operator
218                       expressions: ds (type: string)
219                       outputColumnNames: _col0
220                       Statistics: Num rows: 1 Data size: 21 Basic stats: COMPLETE Column stats: NONE
221                       Select Operator
222                         expressions: _col0 (type: string)
223                         outputColumnNames: _col0
224                         Statistics: Num rows: 1 Data size: 21 Basic stats: COMPLETE Column stats: NONE
225                         Group By Operator
226                           keys: _col0 (type: string)
227                           mode: hash
228                           outputColumnNames: _col0
229                           Statistics: Num rows: 1 Data size: 21 Basic stats: COMPLETE Column stats: NONE
230                           Spark Partition Pruning Sink Operator
231                             Target column: [1:ds (string)]
232                             partition key expr: [ds]
233                             Statistics: Num rows: 1 Data size: 21 Basic stats: COMPLETE Column stats: NONE
234                             target works: [Map 1]
235
236   Stage: Stage-1
237     Spark
238       Edges:
239         Reducer 2 <- Map 1 (PARTITION-LEVEL SORT, 4), Map 4 (PARTITION-LEVEL SORT, 4)
240         Reducer 3 <- Reducer 2 (GROUP, 1)
241 #### A masked pattern was here ####
242       Vertices:
243         Map 1 
244             Map Operator Tree:
245                 TableScan
246                   alias: srcpart
247                   filterExpr: ds is not null (type: boolean)
248                   Statistics: Num rows: 2000 Data size: 21248 Basic stats: COMPLETE Column stats: NONE
249                   Select Operator
250                     expressions: ds (type: string)
251                     outputColumnNames: _col0
252                     Statistics: Num rows: 2000 Data size: 21248 Basic stats: COMPLETE Column stats: NONE
253                     Reduce Output Operator
254                       key expressions: _col0 (type: string)
255                       sort order: +
256                       Map-reduce partition columns: _col0 (type: string)
257                       Statistics: Num rows: 2000 Data size: 21248 Basic stats: COMPLETE Column stats: NONE
258         Map 4 
259             Map Operator Tree:
260                 TableScan
261                   alias: srcpart_date
262                   filterExpr: ((date = '2008-04-08') and ds is not null) (type: boolean)
263                   Statistics: Num rows: 2 Data size: 42 Basic stats: COMPLETE Column stats: NONE
264                   Filter Operator
265                     predicate: ((date = '2008-04-08') and ds is not null) (type: boolean)
266                     Statistics: Num rows: 1 Data size: 21 Basic stats: COMPLETE Column stats: NONE
267                     Select Operator
268                       expressions: ds (type: string)
269                       outputColumnNames: _col0
270                       Statistics: Num rows: 1 Data size: 21 Basic stats: COMPLETE Column stats: NONE
271                       Reduce Output Operator
272                         key expressions: _col0 (type: string)
273                         sort order: +
274                         Map-reduce partition columns: _col0 (type: string)
275                         Statistics: Num rows: 1 Data size: 21 Basic stats: COMPLETE Column stats: NONE
276         Reducer 2 
277             Reduce Operator Tree:
278               Join Operator
279                 condition map:
280                      Inner Join 0 to 1
281                 keys:
282                   0 _col0 (type: string)
283                   1 _col0 (type: string)
284                 Statistics: Num rows: 2200 Data size: 23372 Basic stats: COMPLETE Column stats: NONE
285                 Group By Operator
286                   aggregations: count()
287                   mode: hash
288                   outputColumnNames: _col0
289                   Statistics: Num rows: 1 Data size: 8 Basic stats: COMPLETE Column stats: NONE
290                   Reduce Output Operator
291                     sort order: 
292                     Statistics: Num rows: 1 Data size: 8 Basic stats: COMPLETE Column stats: NONE
293                     value expressions: _col0 (type: bigint)
294         Reducer 3 
295             Reduce Operator Tree:
296               Group By Operator
297                 aggregations: count(VALUE._col0)
298                 mode: mergepartial
299                 outputColumnNames: _col0
300                 Statistics: Num rows: 1 Data size: 8 Basic stats: COMPLETE Column stats: NONE
301                 File Output Operator
302                   compressed: false
303                   Statistics: Num rows: 1 Data size: 8 Basic stats: COMPLETE Column stats: NONE
304                   table:
305                       input format: org.apache.hadoop.mapred.SequenceFileInputFormat
306                       output format: org.apache.hadoop.hive.ql.io.HiveSequenceFileOutputFormat
307                       serde: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
308
309   Stage: Stage-0
310     Fetch Operator
311       limit: -1
312       Processor Tree:
313         ListSink
314
315 PREHOOK: query: select count(*) from srcpart join srcpart_date on (srcpart.ds = srcpart_date.ds) where srcpart_date.`date` = '2008-04-08'
316 PREHOOK: type: QUERY
317 PREHOOK: Input: default@srcpart
318 PREHOOK: Input: default@srcpart@ds=2008-04-08/hr=11
319 PREHOOK: Input: default@srcpart@ds=2008-04-08/hr=12
320 PREHOOK: Input: default@srcpart@ds=2008-04-09/hr=11
321 PREHOOK: Input: default@srcpart@ds=2008-04-09/hr=12
322 PREHOOK: Input: default@srcpart_date
323 PREHOOK: Output: hdfs://### HDFS PATH ###
324 POSTHOOK: query: select count(*) from srcpart join srcpart_date on (srcpart.ds = srcpart_date.ds) where srcpart_date.`date` = '2008-04-08'
325 POSTHOOK: type: QUERY
326 POSTHOOK: Input: default@srcpart
327 POSTHOOK: Input: default@srcpart@ds=2008-04-08/hr=11
328 POSTHOOK: Input: default@srcpart@ds=2008-04-08/hr=12
329 POSTHOOK: Input: default@srcpart@ds=2008-04-09/hr=11
330 POSTHOOK: Input: default@srcpart@ds=2008-04-09/hr=12
331 POSTHOOK: Input: default@srcpart_date
332 POSTHOOK: Output: hdfs://### HDFS PATH ###
333 1000
334 PREHOOK: query: EXPLAIN select count(*) from srcpart join srcpart_date on (srcpart.ds = srcpart_date.ds) where srcpart_date.`date` = '2008-04-08'
335 PREHOOK: type: QUERY
336 POSTHOOK: query: EXPLAIN select count(*) from srcpart join srcpart_date on (srcpart.ds = srcpart_date.ds) where srcpart_date.`date` = '2008-04-08'
337 POSTHOOK: type: QUERY
338 STAGE DEPENDENCIES:
339   Stage-1 is a root stage
340   Stage-0 depends on stages: Stage-1
341
342 STAGE PLANS:
343   Stage: Stage-1
344     Spark
345       Edges:
346         Reducer 2 <- Map 1 (PARTITION-LEVEL SORT, 4), Map 4 (PARTITION-LEVEL SORT, 4)
347         Reducer 3 <- Reducer 2 (GROUP, 1)
348 #### A masked pattern was here ####
349       Vertices:
350         Map 1 
351             Map Operator Tree:
352                 TableScan
353                   alias: srcpart
354                   filterExpr: ds is not null (type: boolean)
355                   Statistics: Num rows: 2000 Data size: 21248 Basic stats: COMPLETE Column stats: NONE
356                   Select Operator
357                     expressions: ds (type: string)
358                     outputColumnNames: _col0
359                     Statistics: Num rows: 2000 Data size: 21248 Basic stats: COMPLETE Column stats: NONE
360                     Reduce Output Operator
361                       key expressions: _col0 (type: string)
362                       sort order: +
363                       Map-reduce partition columns: _col0 (type: string)
364                       Statistics: Num rows: 2000 Data size: 21248 Basic stats: COMPLETE Column stats: NONE
365         Map 4 
366             Map Operator Tree:
367                 TableScan
368                   alias: srcpart_date
369                   filterExpr: ((date = '2008-04-08') and ds is not null) (type: boolean)
370                   Statistics: Num rows: 2 Data size: 42 Basic stats: COMPLETE Column stats: NONE
371                   Filter Operator
372                     predicate: ((date = '2008-04-08') and ds is not null) (type: boolean)
373                     Statistics: Num rows: 1 Data size: 21 Basic stats: COMPLETE Column stats: NONE
374                     Select Operator
375                       expressions: ds (type: string)
376                       outputColumnNames: _col0
377                       Statistics: Num rows: 1 Data size: 21 Basic stats: COMPLETE Column stats: NONE
378                       Reduce Output Operator
379                         key expressions: _col0 (type: string)
380                         sort order: +
381                         Map-reduce partition columns: _col0 (type: string)
382                         Statistics: Num rows: 1 Data size: 21 Basic stats: COMPLETE Column stats: NONE
383         Reducer 2 
384             Reduce Operator Tree:
385               Join Operator
386                 condition map:
387                      Inner Join 0 to 1
388                 keys:
389                   0 _col0 (type: string)
390                   1 _col0 (type: string)
391                 Statistics: Num rows: 2200 Data size: 23372 Basic stats: COMPLETE Column stats: NONE
392                 Group By Operator
393                   aggregations: count()
394                   mode: hash
395                   outputColumnNames: _col0
396                   Statistics: Num rows: 1 Data size: 8 Basic stats: COMPLETE Column stats: NONE
397                   Reduce Output Operator
398                     sort order: 
399                     Statistics: Num rows: 1 Data size: 8 Basic stats: COMPLETE Column stats: NONE
400                     value expressions: _col0 (type: bigint)
401         Reducer 3 
402             Reduce Operator Tree:
403               Group By Operator
404                 aggregations: count(VALUE._col0)
405                 mode: mergepartial
406                 outputColumnNames: _col0
407                 Statistics: Num rows: 1 Data size: 8 Basic stats: COMPLETE Column stats: NONE
408                 File Output Operator
409                   compressed: false
410                   Statistics: Num rows: 1 Data size: 8 Basic stats: COMPLETE Column stats: NONE
411                   table:
412                       input format: org.apache.hadoop.mapred.SequenceFileInputFormat
413                       output format: org.apache.hadoop.hive.ql.io.HiveSequenceFileOutputFormat
414                       serde: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
415
416   Stage: Stage-0
417     Fetch Operator
418       limit: -1
419       Processor Tree:
420         ListSink
421
422 PREHOOK: query: select count(*) from srcpart join srcpart_date on (srcpart.ds = srcpart_date.ds) where srcpart_date.`date` = '2008-04-08'
423 PREHOOK: type: QUERY
424 PREHOOK: Input: default@srcpart
425 PREHOOK: Input: default@srcpart@ds=2008-04-08/hr=11
426 PREHOOK: Input: default@srcpart@ds=2008-04-08/hr=12
427 PREHOOK: Input: default@srcpart@ds=2008-04-09/hr=11
428 PREHOOK: Input: default@srcpart@ds=2008-04-09/hr=12
429 PREHOOK: Input: default@srcpart_date
430 PREHOOK: Output: hdfs://### HDFS PATH ###
431 POSTHOOK: query: select count(*) from srcpart join srcpart_date on (srcpart.ds = srcpart_date.ds) where srcpart_date.`date` = '2008-04-08'
432 POSTHOOK: type: QUERY
433 POSTHOOK: Input: default@srcpart
434 POSTHOOK: Input: default@srcpart@ds=2008-04-08/hr=11
435 POSTHOOK: Input: default@srcpart@ds=2008-04-08/hr=12
436 POSTHOOK: Input: default@srcpart@ds=2008-04-09/hr=11
437 POSTHOOK: Input: default@srcpart@ds=2008-04-09/hr=12
438 POSTHOOK: Input: default@srcpart_date
439 POSTHOOK: Output: hdfs://### HDFS PATH ###
440 1000
441 PREHOOK: query: select count(*) from srcpart where ds = '2008-04-08'
442 PREHOOK: type: QUERY
443 PREHOOK: Input: default@srcpart
444 PREHOOK: Output: hdfs://### HDFS PATH ###
445 POSTHOOK: query: select count(*) from srcpart where ds = '2008-04-08'
446 POSTHOOK: type: QUERY
447 POSTHOOK: Input: default@srcpart
448 POSTHOOK: Output: hdfs://### HDFS PATH ###
449 1000
450 PREHOOK: query: EXPLAIN select count(*) from srcpart join srcpart_date on (day(srcpart.ds) = day(srcpart_date.ds)) where srcpart_date.`date` = '2008-04-08'
451 PREHOOK: type: QUERY
452 POSTHOOK: query: EXPLAIN select count(*) from srcpart join srcpart_date on (day(srcpart.ds) = day(srcpart_date.ds)) where srcpart_date.`date` = '2008-04-08'
453 POSTHOOK: type: QUERY
454 STAGE DEPENDENCIES:
455   Stage-2 is a root stage
456   Stage-1 depends on stages: Stage-2
457   Stage-0 depends on stages: Stage-1
458
459 STAGE PLANS:
460   Stage: Stage-2
461     Spark
462 #### A masked pattern was here ####
463       Vertices:
464         Map 5 
465             Map Operator Tree:
466                 TableScan
467                   alias: srcpart_date
468                   filterExpr: ((date = '2008-04-08') and ds is not null) (type: boolean)
469                   Statistics: Num rows: 2 Data size: 42 Basic stats: COMPLETE Column stats: NONE
470                   Filter Operator
471                     predicate: ((date = '2008-04-08') and ds is not null) (type: boolean)
472                     Statistics: Num rows: 1 Data size: 21 Basic stats: COMPLETE Column stats: NONE
473                     Select Operator
474                       expressions: ds (type: string)
475                       outputColumnNames: _col0
476                       Statistics: Num rows: 1 Data size: 21 Basic stats: COMPLETE Column stats: NONE
477                       Select Operator
478                         expressions: day(_col0) (type: int)
479                         outputColumnNames: _col0
480                         Statistics: Num rows: 1 Data size: 21 Basic stats: COMPLETE Column stats: NONE
481                         Group By Operator
482                           keys: _col0 (type: int)
483                           mode: hash
484                           outputColumnNames: _col0
485                           Statistics: Num rows: 1 Data size: 21 Basic stats: COMPLETE Column stats: NONE
486                           Spark Partition Pruning Sink Operator
487                             Target column: [1:ds (string)]
488                             partition key expr: [day(ds)]
489                             Statistics: Num rows: 1 Data size: 21 Basic stats: COMPLETE Column stats: NONE
490                             target works: [Map 1]
491
492   Stage: Stage-1
493     Spark
494       Edges:
495         Reducer 2 <- Map 1 (PARTITION-LEVEL SORT, 4), Map 4 (PARTITION-LEVEL SORT, 4)
496         Reducer 3 <- Reducer 2 (GROUP, 1)
497 #### A masked pattern was here ####
498       Vertices:
499         Map 1 
500             Map Operator Tree:
501                 TableScan
502                   alias: srcpart
503                   filterExpr: ds is not null (type: boolean)
504                   Statistics: Num rows: 2000 Data size: 21248 Basic stats: COMPLETE Column stats: NONE
505                   Select Operator
506                     expressions: ds (type: string)
507                     outputColumnNames: _col0
508                     Statistics: Num rows: 2000 Data size: 21248 Basic stats: COMPLETE Column stats: NONE
509                     Reduce Output Operator
510                       key expressions: day(_col0) (type: int)
511                       sort order: +
512                       Map-reduce partition columns: day(_col0) (type: int)
513                       Statistics: Num rows: 2000 Data size: 21248 Basic stats: COMPLETE Column stats: NONE
514         Map 4 
515             Map Operator Tree:
516                 TableScan
517                   alias: srcpart_date
518                   filterExpr: ((date = '2008-04-08') and ds is not null) (type: boolean)
519                   Statistics: Num rows: 2 Data size: 42 Basic stats: COMPLETE Column stats: NONE
520                   Filter Operator
521                     predicate: ((date = '2008-04-08') and ds is not null) (type: boolean)
522                     Statistics: Num rows: 1 Data size: 21 Basic stats: COMPLETE Column stats: NONE
523                     Select Operator
524                       expressions: ds (type: string)
525                       outputColumnNames: _col0
526                       Statistics: Num rows: 1 Data size: 21 Basic stats: COMPLETE Column stats: NONE
527                       Reduce Output Operator
528                         key expressions: day(_col0) (type: int)
529                         sort order: +
530                         Map-reduce partition columns: day(_col0) (type: int)
531                         Statistics: Num rows: 1 Data size: 21 Basic stats: COMPLETE Column stats: NONE
532         Reducer 2 
533             Reduce Operator Tree:
534               Join Operator
535                 condition map:
536                      Inner Join 0 to 1
537                 keys:
538                   0 day(_col0) (type: int)
539                   1 day(_col0) (type: int)
540                 Statistics: Num rows: 2200 Data size: 23372 Basic stats: COMPLETE Column stats: NONE
541                 Group By Operator
542                   aggregations: count()
543                   mode: hash
544                   outputColumnNames: _col0
545                   Statistics: Num rows: 1 Data size: 8 Basic stats: COMPLETE Column stats: NONE
546                   Reduce Output Operator
547                     sort order: 
548                     Statistics: Num rows: 1 Data size: 8 Basic stats: COMPLETE Column stats: NONE
549                     value expressions: _col0 (type: bigint)
550         Reducer 3 
551             Reduce Operator Tree:
552               Group By Operator
553                 aggregations: count(VALUE._col0)
554                 mode: mergepartial
555                 outputColumnNames: _col0
556                 Statistics: Num rows: 1 Data size: 8 Basic stats: COMPLETE Column stats: NONE
557                 File Output Operator
558                   compressed: false
559                   Statistics: Num rows: 1 Data size: 8 Basic stats: COMPLETE Column stats: NONE
560                   table:
561                       input format: org.apache.hadoop.mapred.SequenceFileInputFormat
562                       output format: org.apache.hadoop.hive.ql.io.HiveSequenceFileOutputFormat
563                       serde: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
564
565   Stage: Stage-0
566     Fetch Operator
567       limit: -1
568       Processor Tree:
569         ListSink
570
571 PREHOOK: query: select count(*) from srcpart join srcpart_date on (day(srcpart.ds) = day(srcpart_date.ds)) where srcpart_date.`date` = '2008-04-08'
572 PREHOOK: type: QUERY
573 PREHOOK: Input: default@srcpart
574 PREHOOK: Input: default@srcpart@ds=2008-04-08/hr=11
575 PREHOOK: Input: default@srcpart@ds=2008-04-08/hr=12
576 PREHOOK: Input: default@srcpart@ds=2008-04-09/hr=11
577 PREHOOK: Input: default@srcpart@ds=2008-04-09/hr=12
578 PREHOOK: Input: default@srcpart_date
579 PREHOOK: Output: hdfs://### HDFS PATH ###
580 POSTHOOK: query: select count(*) from srcpart join srcpart_date on (day(srcpart.ds) = day(srcpart_date.ds)) where srcpart_date.`date` = '2008-04-08'
581 POSTHOOK: type: QUERY
582 POSTHOOK: Input: default@srcpart
583 POSTHOOK: Input: default@srcpart@ds=2008-04-08/hr=11
584 POSTHOOK: Input: default@srcpart@ds=2008-04-08/hr=12
585 POSTHOOK: Input: default@srcpart@ds=2008-04-09/hr=11
586 POSTHOOK: Input: default@srcpart@ds=2008-04-09/hr=12
587 POSTHOOK: Input: default@srcpart_date
588 POSTHOOK: Output: hdfs://### HDFS PATH ###
589 1000
590 PREHOOK: query: EXPLAIN select count(*) from srcpart join srcpart_date on (day(srcpart.ds) = day(srcpart_date.ds)) where srcpart_date.`date` = '2008-04-08'
591 PREHOOK: type: QUERY
592 POSTHOOK: query: EXPLAIN select count(*) from srcpart join srcpart_date on (day(srcpart.ds) = day(srcpart_date.ds)) where srcpart_date.`date` = '2008-04-08'
593 POSTHOOK: type: QUERY
594 STAGE DEPENDENCIES:
595   Stage-1 is a root stage
596   Stage-0 depends on stages: Stage-1
597
598 STAGE PLANS:
599   Stage: Stage-1
600     Spark
601       Edges:
602         Reducer 2 <- Map 1 (PARTITION-LEVEL SORT, 4), Map 4 (PARTITION-LEVEL SORT, 4)
603         Reducer 3 <- Reducer 2 (GROUP, 1)
604 #### A masked pattern was here ####
605       Vertices:
606         Map 1 
607             Map Operator Tree:
608                 TableScan
609                   alias: srcpart
610                   filterExpr: ds is not null (type: boolean)
611                   Statistics: Num rows: 2000 Data size: 21248 Basic stats: COMPLETE Column stats: NONE
612                   Select Operator
613                     expressions: ds (type: string)
614                     outputColumnNames: _col0
615                     Statistics: Num rows: 2000 Data size: 21248 Basic stats: COMPLETE Column stats: NONE
616                     Reduce Output Operator
617                       key expressions: day(_col0) (type: int)
618                       sort order: +
619                       Map-reduce partition columns: day(_col0) (type: int)
620                       Statistics: Num rows: 2000 Data size: 21248 Basic stats: COMPLETE Column stats: NONE
621         Map 4 
622             Map Operator Tree:
623                 TableScan
624                   alias: srcpart_date
625                   filterExpr: ((date = '2008-04-08') and ds is not null) (type: boolean)
626                   Statistics: Num rows: 2 Data size: 42 Basic stats: COMPLETE Column stats: NONE
627                   Filter Operator
628                     predicate: ((date = '2008-04-08') and ds is not null) (type: boolean)
629                     Statistics: Num rows: 1 Data size: 21 Basic stats: COMPLETE Column stats: NONE
630                     Select Operator
631                       expressions: ds (type: string)
632                       outputColumnNames: _col0
633                       Statistics: Num rows: 1 Data size: 21 Basic stats: COMPLETE Column stats: NONE
634                       Reduce Output Operator
635                         key expressions: day(_col0) (type: int)
636                         sort order: +
637                         Map-reduce partition columns: day(_col0) (type: int)
638                         Statistics: Num rows: 1 Data size: 21 Basic stats: COMPLETE Column stats: NONE
639         Reducer 2 
640             Reduce Operator Tree:
641               Join Operator
642                 condition map:
643                      Inner Join 0 to 1
644                 keys:
645                   0 day(_col0) (type: int)
646                   1 day(_col0) (type: int)
647                 Statistics: Num rows: 2200 Data size: 23372 Basic stats: COMPLETE Column stats: NONE
648                 Group By Operator
649                   aggregations: count()
650                   mode: hash
651                   outputColumnNames: _col0
652                   Statistics: Num rows: 1 Data size: 8 Basic stats: COMPLETE Column stats: NONE
653                   Reduce Output Operator
654                     sort order: 
655                     Statistics: Num rows: 1 Data size: 8 Basic stats: COMPLETE Column stats: NONE
656                     value expressions: _col0 (type: bigint)
657         Reducer 3 
658             Reduce Operator Tree:
659               Group By Operator
660                 aggregations: count(VALUE._col0)
661                 mode: mergepartial
662                 outputColumnNames: _col0
663                 Statistics: Num rows: 1 Data size: 8 Basic stats: COMPLETE Column stats: NONE
664                 File Output Operator
665                   compressed: false
666                   Statistics: Num rows: 1 Data size: 8 Basic stats: COMPLETE Column stats: NONE
667                   table:
668                       input format: org.apache.hadoop.mapred.SequenceFileInputFormat
669                       output format: org.apache.hadoop.hive.ql.io.HiveSequenceFileOutputFormat
670                       serde: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
671
672   Stage: Stage-0
673     Fetch Operator
674       limit: -1
675       Processor Tree:
676         ListSink
677
678 PREHOOK: query: select count(*) from srcpart join srcpart_date on (day(srcpart.ds) = day(srcpart_date.ds)) where srcpart_date.`date` = '2008-04-08'
679 PREHOOK: type: QUERY
680 PREHOOK: Input: default@srcpart
681 PREHOOK: Input: default@srcpart@ds=2008-04-08/hr=11
682 PREHOOK: Input: default@srcpart@ds=2008-04-08/hr=12
683 PREHOOK: Input: default@srcpart@ds=2008-04-09/hr=11
684 PREHOOK: Input: default@srcpart@ds=2008-04-09/hr=12
685 PREHOOK: Input: default@srcpart_date
686 PREHOOK: Output: hdfs://### HDFS PATH ###
687 POSTHOOK: query: select count(*) from srcpart join srcpart_date on (day(srcpart.ds) = day(srcpart_date.ds)) where srcpart_date.`date` = '2008-04-08'
688 POSTHOOK: type: QUERY
689 POSTHOOK: Input: default@srcpart
690 POSTHOOK: Input: default@srcpart@ds=2008-04-08/hr=11
691 POSTHOOK: Input: default@srcpart@ds=2008-04-08/hr=12
692 POSTHOOK: Input: default@srcpart@ds=2008-04-09/hr=11
693 POSTHOOK: Input: default@srcpart@ds=2008-04-09/hr=12
694 POSTHOOK: Input: default@srcpart_date
695 POSTHOOK: Output: hdfs://### HDFS PATH ###
696 1000
697 PREHOOK: query: EXPLAIN select count(*) from srcpart join srcpart_date on abs(negative(cast(concat(cast(day(srcpart.ds) as string), "0") as bigint)) + 10) = abs(negative(cast(concat(cast(day(srcpart_date.ds) as string), "0") as bigint)) + 10) where srcpart_date.`date` = '2008-04-08'
698 PREHOOK: type: QUERY
699 POSTHOOK: query: EXPLAIN select count(*) from srcpart join srcpart_date on abs(negative(cast(concat(cast(day(srcpart.ds) as string), "0") as bigint)) + 10) = abs(negative(cast(concat(cast(day(srcpart_date.ds) as string), "0") as bigint)) + 10) where srcpart_date.`date` = '2008-04-08'
700 POSTHOOK: type: QUERY
701 STAGE DEPENDENCIES:
702   Stage-2 is a root stage
703   Stage-1 depends on stages: Stage-2
704   Stage-0 depends on stages: Stage-1
705
706 STAGE PLANS:
707   Stage: Stage-2
708     Spark
709 #### A masked pattern was here ####
710       Vertices:
711         Map 5 
712             Map Operator Tree:
713                 TableScan
714                   alias: srcpart_date
715                   filterExpr: ((date = '2008-04-08') and abs(((- UDFToLong(concat(UDFToString(day(ds)), '0'))) + 10)) is not null) (type: boolean)
716                   Statistics: Num rows: 2 Data size: 42 Basic stats: COMPLETE Column stats: NONE
717                   Filter Operator
718                     predicate: ((date = '2008-04-08') and abs(((- UDFToLong(concat(UDFToString(day(ds)), '0'))) + 10)) is not null) (type: boolean)
719                     Statistics: Num rows: 1 Data size: 21 Basic stats: COMPLETE Column stats: NONE
720                     Select Operator
721                       expressions: ds (type: string)
722                       outputColumnNames: _col0
723                       Statistics: Num rows: 1 Data size: 21 Basic stats: COMPLETE Column stats: NONE
724                       Select Operator
725                         expressions: abs(((- UDFToLong(concat(UDFToString(day(_col0)), '0'))) + 10)) (type: bigint)
726                         outputColumnNames: _col0
727                         Statistics: Num rows: 1 Data size: 21 Basic stats: COMPLETE Column stats: NONE
728                         Group By Operator
729                           keys: _col0 (type: bigint)
730                           mode: hash
731                           outputColumnNames: _col0
732                           Statistics: Num rows: 1 Data size: 21 Basic stats: COMPLETE Column stats: NONE
733                           Spark Partition Pruning Sink Operator
734                             Target column: [1:ds (string)]
735                             partition key expr: [abs(((- UDFToLong(concat(UDFToString(day(ds)), '0'))) + 10))]
736                             Statistics: Num rows: 1 Data size: 21 Basic stats: COMPLETE Column stats: NONE
737                             target works: [Map 1]
738
739   Stage: Stage-1
740     Spark
741       Edges:
742         Reducer 2 <- Map 1 (PARTITION-LEVEL SORT, 4), Map 4 (PARTITION-LEVEL SORT, 4)
743         Reducer 3 <- Reducer 2 (GROUP, 1)
744 #### A masked pattern was here ####
745       Vertices:
746         Map 1 
747             Map Operator Tree:
748                 TableScan
749                   alias: srcpart
750                   filterExpr: abs(((- UDFToLong(concat(UDFToString(day(ds)), '0'))) + 10)) is not null (type: boolean)
751                   Statistics: Num rows: 2000 Data size: 21248 Basic stats: COMPLETE Column stats: NONE
752                   Filter Operator
753                     predicate: abs(((- UDFToLong(concat(UDFToString(day(ds)), '0'))) + 10)) is not null (type: boolean)
754                     Statistics: Num rows: 2000 Data size: 21248 Basic stats: COMPLETE Column stats: NONE
755                     Select Operator
756                       expressions: ds (type: string)
757                       outputColumnNames: _col0
758                       Statistics: Num rows: 2000 Data size: 21248 Basic stats: COMPLETE Column stats: NONE
759                       Reduce Output Operator
760                         key expressions: abs(((- UDFToLong(concat(UDFToString(day(_col0)), '0'))) + 10)) (type: bigint)
761                         sort order: +
762                         Map-reduce partition columns: abs(((- UDFToLong(concat(UDFToString(day(_col0)), '0'))) + 10)) (type: bigint)
763                         Statistics: Num rows: 2000 Data size: 21248 Basic stats: COMPLETE Column stats: NONE
764         Map 4 
765             Map Operator Tree:
766                 TableScan
767                   alias: srcpart_date
768                   filterExpr: ((date = '2008-04-08') and abs(((- UDFToLong(concat(UDFToString(day(ds)), '0'))) + 10)) is not null) (type: boolean)
769                   Statistics: Num rows: 2 Data size: 42 Basic stats: COMPLETE Column stats: NONE
770                   Filter Operator
771                     predicate: ((date = '2008-04-08') and abs(((- UDFToLong(concat(UDFToString(day(ds)), '0'))) + 10)) is not null) (type: boolean)
772                     Statistics: Num rows: 1 Data size: 21 Basic stats: COMPLETE Column stats: NONE
773                     Select Operator
774                       expressions: ds (type: string)
775                       outputColumnNames: _col0
776                       Statistics: Num rows: 1 Data size: 21 Basic stats: COMPLETE Column stats: NONE
777                       Reduce Output Operator
778                         key expressions: abs(((- UDFToLong(concat(UDFToString(day(_col0)), '0'))) + 10)) (type: bigint)
779                         sort order: +
780                         Map-reduce partition columns: abs(((- UDFToLong(concat(UDFToString(day(_col0)), '0'))) + 10)) (type: bigint)
781                         Statistics: Num rows: 1 Data size: 21 Basic stats: COMPLETE Column stats: NONE
782         Reducer 2 
783             Reduce Operator Tree:
784               Join Operator
785                 condition map:
786                      Inner Join 0 to 1
787                 keys:
788                   0 abs(((- UDFToLong(concat(UDFToString(day(_col0)), '0'))) + 10)) (type: bigint)
789                   1 abs(((- UDFToLong(concat(UDFToString(day(_col0)), '0'))) + 10)) (type: bigint)
790                 Statistics: Num rows: 2200 Data size: 23372 Basic stats: COMPLETE Column stats: NONE
791                 Group By Operator
792                   aggregations: count()
793                   mode: hash
794                   outputColumnNames: _col0
795                   Statistics: Num rows: 1 Data size: 8 Basic stats: COMPLETE Column stats: NONE
796                   Reduce Output Operator
797                     sort order: 
798                     Statistics: Num rows: 1 Data size: 8 Basic stats: COMPLETE Column stats: NONE
799                     value expressions: _col0 (type: bigint)
800         Reducer 3 
801             Reduce Operator Tree:
802               Group By Operator
803                 aggregations: count(VALUE._col0)
804                 mode: mergepartial
805                 outputColumnNames: _col0
806                 Statistics: Num rows: 1 Data size: 8 Basic stats: COMPLETE Column stats: NONE
807                 File Output Operator
808                   compressed: false
809                   Statistics: Num rows: 1 Data size: 8 Basic stats: COMPLETE Column stats: NONE
810                   table:
811                       input format: org.apache.hadoop.mapred.SequenceFileInputFormat
812                       output format: org.apache.hadoop.hive.ql.io.HiveSequenceFileOutputFormat
813                       serde: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
814
815   Stage: Stage-0
816     Fetch Operator
817       limit: -1
818       Processor Tree:
819         ListSink
820
821 PREHOOK: query: select count(*) from srcpart join srcpart_date on abs(negative(cast(concat(cast(day(srcpart.ds) as string), "0") as bigint)) + 10) = abs(negative(cast(concat(cast(day(srcpart_date.ds) as string), "0") as bigint)) + 10) where srcpart_date.`date` = '2008-04-08'
822 PREHOOK: type: QUERY
823 PREHOOK: Input: default@srcpart
824 PREHOOK: Input: default@srcpart@ds=2008-04-08/hr=11
825 PREHOOK: Input: default@srcpart@ds=2008-04-08/hr=12
826 PREHOOK: Input: default@srcpart@ds=2008-04-09/hr=11
827 PREHOOK: Input: default@srcpart@ds=2008-04-09/hr=12
828 PREHOOK: Input: default@srcpart_date
829 PREHOOK: Output: hdfs://### HDFS PATH ###
830 POSTHOOK: query: select count(*) from srcpart join srcpart_date on abs(negative(cast(concat(cast(day(srcpart.ds) as string), "0") as bigint)) + 10) = abs(negative(cast(concat(cast(day(srcpart_date.ds) as string), "0") as bigint)) + 10) where srcpart_date.`date` = '2008-04-08'
831 POSTHOOK: type: QUERY
832 POSTHOOK: Input: default@srcpart
833 POSTHOOK: Input: default@srcpart@ds=2008-04-08/hr=11
834 POSTHOOK: Input: default@srcpart@ds=2008-04-08/hr=12
835 POSTHOOK: Input: default@srcpart@ds=2008-04-09/hr=11
836 POSTHOOK: Input: default@srcpart@ds=2008-04-09/hr=12
837 POSTHOOK: Input: default@srcpart_date
838 POSTHOOK: Output: hdfs://### HDFS PATH ###
839 1000
840 PREHOOK: query: EXPLAIN select count(*) from srcpart join srcpart_date on cast(day(srcpart.ds) as smallint) = cast(day(srcpart_date.ds) as decimal) where srcpart_date.`date` = '2008-04-08'
841 PREHOOK: type: QUERY
842 POSTHOOK: query: EXPLAIN select count(*) from srcpart join srcpart_date on cast(day(srcpart.ds) as smallint) = cast(day(srcpart_date.ds) as decimal) where srcpart_date.`date` = '2008-04-08'
843 POSTHOOK: type: QUERY
844 STAGE DEPENDENCIES:
845   Stage-2 is a root stage
846   Stage-1 depends on stages: Stage-2
847   Stage-0 depends on stages: Stage-1
848
849 STAGE PLANS:
850   Stage: Stage-2
851     Spark
852 #### A masked pattern was here ####
853       Vertices:
854         Map 5 
855             Map Operator Tree:
856                 TableScan
857                   alias: srcpart_date
858                   filterExpr: ((date = '2008-04-08') and ds is not null) (type: boolean)
859                   Statistics: Num rows: 2 Data size: 42 Basic stats: COMPLETE Column stats: NONE
860                   Filter Operator
861                     predicate: ((date = '2008-04-08') and ds is not null) (type: boolean)
862                     Statistics: Num rows: 1 Data size: 21 Basic stats: COMPLETE Column stats: NONE
863                     Select Operator
864                       expressions: ds (type: string)
865                       outputColumnNames: _col0
866                       Statistics: Num rows: 1 Data size: 21 Basic stats: COMPLETE Column stats: NONE
867                       Select Operator
868                         expressions: CAST( day(_col0) AS decimal(10,0)) (type: decimal(10,0))
869                         outputColumnNames: _col0
870                         Statistics: Num rows: 1 Data size: 21 Basic stats: COMPLETE Column stats: NONE
871                         Group By Operator
872                           keys: _col0 (type: decimal(10,0))
873                           mode: hash
874                           outputColumnNames: _col0
875                           Statistics: Num rows: 1 Data size: 21 Basic stats: COMPLETE Column stats: NONE
876                           Spark Partition Pruning Sink Operator
877                             Target column: [1:ds (string)]
878                             partition key expr: [CAST( UDFToShort(day(ds)) AS decimal(10,0))]
879                             Statistics: Num rows: 1 Data size: 21 Basic stats: COMPLETE Column stats: NONE
880                             target works: [Map 1]
881
882   Stage: Stage-1
883     Spark
884       Edges:
885         Reducer 2 <- Map 1 (PARTITION-LEVEL SORT, 4), Map 4 (PARTITION-LEVEL SORT, 4)
886         Reducer 3 <- Reducer 2 (GROUP, 1)
887 #### A masked pattern was here ####
888       Vertices:
889         Map 1 
890             Map Operator Tree:
891                 TableScan
892                   alias: srcpart
893                   filterExpr: ds is not null (type: boolean)
894                   Statistics: Num rows: 2000 Data size: 21248 Basic stats: COMPLETE Column stats: NONE
895                   Select Operator
896                     expressions: ds (type: string)
897                     outputColumnNames: _col0
898                     Statistics: Num rows: 2000 Data size: 21248 Basic stats: COMPLETE Column stats: NONE
899                     Reduce Output Operator
900                       key expressions: CAST( UDFToShort(day(_col0)) AS decimal(10,0)) (type: decimal(10,0))
901                       sort order: +
902                       Map-reduce partition columns: CAST( UDFToShort(day(_col0)) AS decimal(10,0)) (type: decimal(10,0))
903                       Statistics: Num rows: 2000 Data size: 21248 Basic stats: COMPLETE Column stats: NONE
904         Map 4 
905             Map Operator Tree:
906                 TableScan
907                   alias: srcpart_date
908                   filterExpr: ((date = '2008-04-08') and ds is not null) (type: boolean)
909                   Statistics: Num rows: 2 Data size: 42 Basic stats: COMPLETE Column stats: NONE
910                   Filter Operator
911                     predicate: ((date = '2008-04-08') and ds is not null) (type: boolean)
912                     Statistics: Num rows: 1 Data size: 21 Basic stats: COMPLETE Column stats: NONE
913                     Select Operator
914                       expressions: ds (type: string)
915                       outputColumnNames: _col0
916                       Statistics: Num rows: 1 Data size: 21 Basic stats: COMPLETE Column stats: NONE
917                       Reduce Output Operator
918                         key expressions: CAST( day(_col0) AS decimal(10,0)) (type: decimal(10,0))
919                         sort order: +
920                         Map-reduce partition columns: CAST( day(_col0) AS decimal(10,0)) (type: decimal(10,0))
921                         Statistics: Num rows: 1 Data size: 21 Basic stats: COMPLETE Column stats: NONE
922         Reducer 2 
923             Reduce Operator Tree:
924               Join Operator
925                 condition map:
926                      Inner Join 0 to 1
927                 keys:
928                   0 CAST( UDFToShort(day(_col0)) AS decimal(10,0)) (type: decimal(10,0))
929                   1 CAST( day(_col0) AS decimal(10,0)) (type: decimal(10,0))
930                 Statistics: Num rows: 2200 Data size: 23372 Basic stats: COMPLETE Column stats: NONE
931                 Group By Operator
932                   aggregations: count()
933                   mode: hash
934                   outputColumnNames: _col0
935                   Statistics: Num rows: 1 Data size: 8 Basic stats: COMPLETE Column stats: NONE
936                   Reduce Output Operator
937                     sort order: 
938                     Statistics: Num rows: 1 Data size: 8 Basic stats: COMPLETE Column stats: NONE
939                     value expressions: _col0 (type: bigint)
940         Reducer 3 
941             Reduce Operator Tree:
942               Group By Operator
943                 aggregations: count(VALUE._col0)
944                 mode: mergepartial
945                 outputColumnNames: _col0
946                 Statistics: Num rows: 1 Data size: 8 Basic stats: COMPLETE Column stats: NONE
947                 File Output Operator
948                   compressed: false
949                   Statistics: Num rows: 1 Data size: 8 Basic stats: COMPLETE Column stats: NONE
950                   table:
951                       input format: org.apache.hadoop.mapred.SequenceFileInputFormat
952                       output format: org.apache.hadoop.hive.ql.io.HiveSequenceFileOutputFormat
953                       serde: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
954
955   Stage: Stage-0
956     Fetch Operator
957       limit: -1
958       Processor Tree:
959         ListSink
960
961 PREHOOK: query: select count(*) from srcpart join srcpart_date on cast(day(srcpart.ds) as smallint) = cast(day(srcpart_date.ds) as decimal) where srcpart_date.`date` = '2008-04-08'
962 PREHOOK: type: QUERY
963 PREHOOK: Input: default@srcpart
964 PREHOOK: Input: default@srcpart@ds=2008-04-08/hr=11
965 PREHOOK: Input: default@srcpart@ds=2008-04-08/hr=12
966 PREHOOK: Input: default@srcpart@ds=2008-04-09/hr=11
967 PREHOOK: Input: default@srcpart@ds=2008-04-09/hr=12
968 PREHOOK: Input: default@srcpart_date
969 PREHOOK: Output: hdfs://### HDFS PATH ###
970 POSTHOOK: query: select count(*) from srcpart join srcpart_date on cast(day(srcpart.ds) as smallint) = cast(day(srcpart_date.ds) as decimal) where srcpart_date.`date` = '2008-04-08'
971 POSTHOOK: type: QUERY
972 POSTHOOK: Input: default@srcpart
973 POSTHOOK: Input: default@srcpart@ds=2008-04-08/hr=11
974 POSTHOOK: Input: default@srcpart@ds=2008-04-08/hr=12
975 POSTHOOK: Input: default@srcpart@ds=2008-04-09/hr=11
976 POSTHOOK: Input: default@srcpart@ds=2008-04-09/hr=12
977 POSTHOOK: Input: default@srcpart_date
978 POSTHOOK: Output: hdfs://### HDFS PATH ###
979 1000
980 PREHOOK: query: EXPLAIN select count(*) from srcpart join srcpart_date on (srcpart.ds = srcpart_date.ds) join srcpart_hour on (srcpart.hr = srcpart_hour.hr)
981 where srcpart_date.`date` = '2008-04-08' and srcpart_hour.hour = 11
982 PREHOOK: type: QUERY
983 POSTHOOK: query: EXPLAIN select count(*) from srcpart join srcpart_date on (srcpart.ds = srcpart_date.ds) join srcpart_hour on (srcpart.hr = srcpart_hour.hr)
984 where srcpart_date.`date` = '2008-04-08' and srcpart_hour.hour = 11
985 POSTHOOK: type: QUERY
986 STAGE DEPENDENCIES:
987   Stage-2 is a root stage
988   Stage-1 depends on stages: Stage-2
989   Stage-0 depends on stages: Stage-1
990
991 STAGE PLANS:
992   Stage: Stage-2
993     Spark
994 #### A masked pattern was here ####
995       Vertices:
996         Map 7 
997             Map Operator Tree:
998                 TableScan
999                   alias: srcpart_date
1000                   filterExpr: ((date = '2008-04-08') and ds is not null) (type: boolean)
1001                   Statistics: Num rows: 2 Data size: 42 Basic stats: COMPLETE Column stats: NONE
1002                   Filter Operator
1003                     predicate: ((date = '2008-04-08') and ds is not null) (type: boolean)
1004                     Statistics: Num rows: 1 Data size: 21 Basic stats: COMPLETE Column stats: NONE
1005                     Select Operator
1006                       expressions: ds (type: string)
1007                       outputColumnNames: _col0
1008                       Statistics: Num rows: 1 Data size: 21 Basic stats: COMPLETE Column stats: NONE
1009                       Select Operator
1010                         expressions: _col0 (type: string)
1011                         outputColumnNames: _col0
1012                         Statistics: Num rows: 1 Data size: 21 Basic stats: COMPLETE Column stats: NONE
1013                         Group By Operator
1014                           keys: _col0 (type: string)
1015                           mode: hash
1016                           outputColumnNames: _col0
1017                           Statistics: Num rows: 1 Data size: 21 Basic stats: COMPLETE Column stats: NONE
1018                           Spark Partition Pruning Sink Operator
1019                             Target column: [1:ds (string)]
1020                             partition key expr: [ds]
1021                             Statistics: Num rows: 1 Data size: 21 Basic stats: COMPLETE Column stats: NONE
1022                             target works: [Map 1]
1023         Map 8 
1024             Map Operator Tree:
1025                 TableScan
1026                   alias: srcpart_hour
1027                   filterExpr: ((UDFToDouble(hour) = 11.0D) and hr is not null) (type: boolean)
1028                   Statistics: Num rows: 2 Data size: 10 Basic stats: COMPLETE Column stats: NONE
1029                   Filter Operator
1030                     predicate: ((UDFToDouble(hour) = 11.0D) and hr is not null) (type: boolean)
1031                     Statistics: Num rows: 1 Data size: 5 Basic stats: COMPLETE Column stats: NONE
1032                     Select Operator
1033                       expressions: hr (type: string)
1034                       outputColumnNames: _col0
1035                       Statistics: Num rows: 1 Data size: 5 Basic stats: COMPLETE Column stats: NONE
1036                       Select Operator
1037                         expressions: _col0 (type: string)
1038                         outputColumnNames: _col0
1039                         Statistics: Num rows: 1 Data size: 5 Basic stats: COMPLETE Column stats: NONE
1040                         Group By Operator
1041                           keys: _col0 (type: string)
1042                           mode: hash
1043                           outputColumnNames: _col0
1044                           Statistics: Num rows: 1 Data size: 5 Basic stats: COMPLETE Column stats: NONE
1045                           Spark Partition Pruning Sink Operator
1046                             Target column: [1:hr (string)]
1047                             partition key expr: [hr]
1048                             Statistics: Num rows: 1 Data size: 5 Basic stats: COMPLETE Column stats: NONE
1049                             target works: [Map 1]
1050
1051   Stage: Stage-1
1052     Spark
1053       Edges:
1054         Reducer 2 <- Map 1 (PARTITION-LEVEL SORT, 4), Map 5 (PARTITION-LEVEL SORT, 4)
1055         Reducer 3 <- Map 6 (PARTITION-LEVEL SORT, 4), Reducer 2 (PARTITION-LEVEL SORT, 4)
1056         Reducer 4 <- Reducer 3 (GROUP, 1)
1057 #### A masked pattern was here ####
1058       Vertices:
1059         Map 1 
1060             Map Operator Tree:
1061                 TableScan
1062                   alias: srcpart
1063                   Statistics: Num rows: 2000 Data size: 21248 Basic stats: COMPLETE Column stats: NONE
1064                   Select Operator
1065                     expressions: ds (type: string), hr (type: string)
1066                     outputColumnNames: _col0, _col1
1067                     Statistics: Num rows: 2000 Data size: 21248 Basic stats: COMPLETE Column stats: NONE
1068                     Reduce Output Operator
1069                       key expressions: _col0 (type: string)
1070                       sort order: +
1071                       Map-reduce partition columns: _col0 (type: string)
1072                       Statistics: Num rows: 2000 Data size: 21248 Basic stats: COMPLETE Column stats: NONE
1073                       value expressions: _col1 (type: string)
1074         Map 5 
1075             Map Operator Tree:
1076                 TableScan
1077                   alias: srcpart_date
1078                   filterExpr: ((date = '2008-04-08') and ds is not null) (type: boolean)
1079                   Statistics: Num rows: 2 Data size: 42 Basic stats: COMPLETE Column stats: NONE
1080                   Filter Operator
1081                     predicate: ((date = '2008-04-08') and ds is not null) (type: boolean)
1082                     Statistics: Num rows: 1 Data size: 21 Basic stats: COMPLETE Column stats: NONE
1083                     Select Operator
1084                       expressions: ds (type: string)
1085                       outputColumnNames: _col0
1086                       Statistics: Num rows: 1 Data size: 21 Basic stats: COMPLETE Column stats: NONE
1087                       Reduce Output Operator
1088                         key expressions: _col0 (type: string)
1089                         sort order: +
1090                         Map-reduce partition columns: _col0 (type: string)
1091                         Statistics: Num rows: 1 Data size: 21 Basic stats: COMPLETE Column stats: NONE
1092         Map 6 
1093             Map Operator Tree:
1094                 TableScan
1095                   alias: srcpart_hour
1096                   filterExpr: ((UDFToDouble(hour) = 11.0D) and hr is not null) (type: boolean)
1097                   Statistics: Num rows: 2 Data size: 10 Basic stats: COMPLETE Column stats: NONE
1098                   Filter Operator
1099                     predicate: ((UDFToDouble(hour) = 11.0D) and hr is not null) (type: boolean)
1100                     Statistics: Num rows: 1 Data size: 5 Basic stats: COMPLETE Column stats: NONE
1101                     Select Operator
1102                       expressions: hr (type: string)
1103                       outputColumnNames: _col0
1104                       Statistics: Num rows: 1 Data size: 5 Basic stats: COMPLETE Column stats: NONE
1105                       Reduce Output Operator
1106                         key expressions: _col0 (type: string)
1107                         sort order: +
1108                         Map-reduce partition columns: _col0 (type: string)
1109                         Statistics: Num rows: 1 Data size: 5 Basic stats: COMPLETE Column stats: NONE
1110         Reducer 2 
1111             Reduce Operator Tree:
1112               Join Operator
1113                 condition map:
1114                      Inner Join 0 to 1
1115                 keys:
1116                   0 _col0 (type: string)
1117                   1 _col0 (type: string)
1118                 outputColumnNames: _col1
1119                 Statistics: Num rows: 2200 Data size: 23372 Basic stats: COMPLETE Column stats: NONE
1120                 Reduce Output Operator
1121                   key expressions: _col1 (type: string)
1122                   sort order: +
1123                   Map-reduce partition columns: _col1 (type: string)
1124                   Statistics: Num rows: 2200 Data size: 23372 Basic stats: COMPLETE Column stats: NONE
1125         Reducer 3 
1126             Reduce Operator Tree:
1127               Join Operator
1128                 condition map:
1129                      Inner Join 0 to 1
1130                 keys:
1131                   0 _col1 (type: string)
1132                   1 _col0 (type: string)
1133                 Statistics: Num rows: 2420 Data size: 25709 Basic stats: COMPLETE Column stats: NONE
1134                 Group By Operator
1135                   aggregations: count()
1136                   mode: hash
1137                   outputColumnNames: _col0
1138                   Statistics: Num rows: 1 Data size: 8 Basic stats: COMPLETE Column stats: NONE
1139                   Reduce Output Operator
1140                     sort order: 
1141                     Statistics: Num rows: 1 Data size: 8 Basic stats: COMPLETE Column stats: NONE
1142                     value expressions: _col0 (type: bigint)
1143         Reducer 4 
1144             Reduce Operator Tree:
1145               Group By Operator
1146                 aggregations: count(VALUE._col0)
1147                 mode: mergepartial
1148                 outputColumnNames: _col0
1149                 Statistics: Num rows: 1 Data size: 8 Basic stats: COMPLETE Column stats: NONE
1150                 File Output Operator
1151                   compressed: false
1152                   Statistics: Num rows: 1 Data size: 8 Basic stats: COMPLETE Column stats: NONE
1153                   table:
1154                       input format: org.apache.hadoop.mapred.SequenceFileInputFormat
1155                       output format: org.apache.hadoop.hive.ql.io.HiveSequenceFileOutputFormat
1156                       serde: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
1157
1158   Stage: Stage-0
1159     Fetch Operator
1160       limit: -1
1161       Processor Tree:
1162         ListSink
1163
1164 PREHOOK: query: select count(*) from srcpart join srcpart_date on (srcpart.ds = srcpart_date.ds) join srcpart_hour on (srcpart.hr = srcpart_hour.hr) 
1165 where srcpart_date.`date` = '2008-04-08' and srcpart_hour.hour = 11
1166 PREHOOK: type: QUERY
1167 PREHOOK: Input: default@srcpart
1168 PREHOOK: Input: default@srcpart@ds=2008-04-08/hr=11
1169 PREHOOK: Input: default@srcpart@ds=2008-04-08/hr=12
1170 PREHOOK: Input: default@srcpart@ds=2008-04-09/hr=11
1171 PREHOOK: Input: default@srcpart@ds=2008-04-09/hr=12
1172 PREHOOK: Input: default@srcpart_date
1173 PREHOOK: Input: default@srcpart_hour
1174 PREHOOK: Output: hdfs://### HDFS PATH ###
1175 POSTHOOK: query: select count(*) from srcpart join srcpart_date on (srcpart.ds = srcpart_date.ds) join srcpart_hour on (srcpart.hr = srcpart_hour.hr) 
1176 where srcpart_date.`date` = '2008-04-08' and srcpart_hour.hour = 11
1177 POSTHOOK: type: QUERY
1178 POSTHOOK: Input: default@srcpart
1179 POSTHOOK: Input: default@srcpart@ds=2008-04-08/hr=11
1180 POSTHOOK: Input: default@srcpart@ds=2008-04-08/hr=12
1181 POSTHOOK: Input: default@srcpart@ds=2008-04-09/hr=11
1182 POSTHOOK: Input: default@srcpart@ds=2008-04-09/hr=12
1183 POSTHOOK: Input: default@srcpart_date
1184 POSTHOOK: Input: default@srcpart_hour
1185 POSTHOOK: Output: hdfs://### HDFS PATH ###
1186 500
1187 PREHOOK: query: EXPLAIN select count(*) from srcpart join srcpart_date on (srcpart.ds = srcpart_date.ds) join srcpart_hour on (srcpart.hr = srcpart_hour.hr) 
1188 where srcpart_date.`date` = '2008-04-08' and srcpart_hour.hour = 11
1189 PREHOOK: type: QUERY
1190 POSTHOOK: query: EXPLAIN select count(*) from srcpart join srcpart_date on (srcpart.ds = srcpart_date.ds) join srcpart_hour on (srcpart.hr = srcpart_hour.hr) 
1191 where srcpart_date.`date` = '2008-04-08' and srcpart_hour.hour = 11
1192 POSTHOOK: type: QUERY
1193 STAGE DEPENDENCIES:
1194   Stage-1 is a root stage
1195   Stage-0 depends on stages: Stage-1
1196
1197 STAGE PLANS:
1198   Stage: Stage-1
1199     Spark
1200       Edges:
1201         Reducer 2 <- Map 1 (PARTITION-LEVEL SORT, 4), Map 5 (PARTITION-LEVEL SORT, 4)
1202         Reducer 3 <- Map 6 (PARTITION-LEVEL SORT, 4), Reducer 2 (PARTITION-LEVEL SORT, 4)
1203         Reducer 4 <- Reducer 3 (GROUP, 1)
1204 #### A masked pattern was here ####
1205       Vertices:
1206         Map 1 
1207             Map Operator Tree:
1208                 TableScan
1209                   alias: srcpart
1210                   filterExpr: (ds is not null and hr is not null) (type: boolean)
1211                   Statistics: Num rows: 2000 Data size: 21248 Basic stats: COMPLETE Column stats: NONE
1212                   Select Operator
1213                     expressions: ds (type: string), hr (type: string)
1214                     outputColumnNames: _col0, _col1
1215                     Statistics: Num rows: 2000 Data size: 21248 Basic stats: COMPLETE Column stats: NONE
1216                     Reduce Output Operator
1217                       key expressions: _col0 (type: string)
1218                       sort order: +
1219                       Map-reduce partition columns: _col0 (type: string)
1220                       Statistics: Num rows: 2000 Data size: 21248 Basic stats: COMPLETE Column stats: NONE
1221                       value expressions: _col1 (type: string)
1222         Map 5 
1223             Map Operator Tree:
1224                 TableScan
1225                   alias: srcpart_date
1226                   filterExpr: ((date = '2008-04-08') and ds is not null) (type: boolean)
1227                   Statistics: Num rows: 2 Data size: 42 Basic stats: COMPLETE Column stats: NONE
1228                   Filter Operator
1229                     predicate: ((date = '2008-04-08') and ds is not null) (type: boolean)
1230                     Statistics: Num rows: 1 Data size: 21 Basic stats: COMPLETE Column stats: NONE
1231                     Select Operator
1232                       expressions: ds (type: string)
1233                       outputColumnNames: _col0
1234                       Statistics: Num rows: 1 Data size: 21 Basic stats: COMPLETE Column stats: NONE
1235                       Reduce Output Operator
1236                         key expressions: _col0 (type: string)
1237                         sort order: +
1238                         Map-reduce partition columns: _col0 (type: string)
1239                         Statistics: Num rows: 1 Data size: 21 Basic stats: COMPLETE Column stats: NONE
1240         Map 6 
1241             Map Operator Tree:
1242                 TableScan
1243                   alias: srcpart_hour
1244                   filterExpr: ((UDFToDouble(hour) = 11.0D) and hr is not null) (type: boolean)
1245                   Statistics: Num rows: 2 Data size: 10 Basic stats: COMPLETE Column stats: NONE
1246                   Filter Operator
1247                     predicate: ((UDFToDouble(hour) = 11.0D) and hr is not null) (type: boolean)
1248                     Statistics: Num rows: 1 Data size: 5 Basic stats: COMPLETE Column stats: NONE
1249                     Select Operator
1250                       expressions: hr (type: string)
1251                       outputColumnNames: _col0
1252                       Statistics: Num rows: 1 Data size: 5 Basic stats: COMPLETE Column stats: NONE
1253                       Reduce Output Operator
1254                         key expressions: _col0 (type: string)
1255                         sort order: +
1256                         Map-reduce partition columns: _col0 (type: string)
1257                         Statistics: Num rows: 1 Data size: 5 Basic stats: COMPLETE Column stats: NONE
1258         Reducer 2 
1259             Reduce Operator Tree:
1260               Join Operator
1261                 condition map:
1262                      Inner Join 0 to 1
1263                 keys:
1264                   0 _col0 (type: string)
1265                   1 _col0 (type: string)
1266                 outputColumnNames: _col1
1267                 Statistics: Num rows: 2200 Data size: 23372 Basic stats: COMPLETE Column stats: NONE
1268                 Reduce Output Operator
1269                   key expressions: _col1 (type: string)
1270                   sort order: +
1271                   Map-reduce partition columns: _col1 (type: string)
1272                   Statistics: Num rows: 2200 Data size: 23372 Basic stats: COMPLETE Column stats: NONE
1273         Reducer 3 
1274             Reduce Operator Tree:
1275               Join Operator
1276                 condition map:
1277                      Inner Join 0 to 1
1278                 keys:
1279                   0 _col1 (type: string)
1280                   1 _col0 (type: string)
1281                 Statistics: Num rows: 2420 Data size: 25709 Basic stats: COMPLETE Column stats: NONE
1282                 Group By Operator
1283                   aggregations: count()
1284                   mode: hash
1285                   outputColumnNames: _col0
1286                   Statistics: Num rows: 1 Data size: 8 Basic stats: COMPLETE Column stats: NONE
1287                   Reduce Output Operator
1288                     sort order: 
1289                     Statistics: Num rows: 1 Data size: 8 Basic stats: COMPLETE Column stats: NONE
1290                     value expressions: _col0 (type: bigint)
1291         Reducer 4 
1292             Reduce Operator Tree:
1293               Group By Operator
1294                 aggregations: count(VALUE._col0)
1295                 mode: mergepartial
1296                 outputColumnNames: _col0
1297                 Statistics: Num rows: 1 Data size: 8 Basic stats: COMPLETE Column stats: NONE
1298                 File Output Operator
1299                   compressed: false
1300                   Statistics: Num rows: 1 Data size: 8 Basic stats: COMPLETE Column stats: NONE
1301                   table:
1302                       input format: org.apache.hadoop.mapred.SequenceFileInputFormat
1303                       output format: org.apache.hadoop.hive.ql.io.HiveSequenceFileOutputFormat
1304                       serde: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
1305
1306   Stage: Stage-0
1307     Fetch Operator
1308       limit: -1
1309       Processor Tree:
1310         ListSink
1311
1312 PREHOOK: query: select count(*) from srcpart join srcpart_date on (srcpart.ds = srcpart_date.ds) join srcpart_hour on (srcpart.hr = srcpart_hour.hr) 
1313 where srcpart_date.`date` = '2008-04-08' and srcpart_hour.hour = 11
1314 PREHOOK: type: QUERY
1315 PREHOOK: Input: default@srcpart
1316 PREHOOK: Input: default@srcpart@ds=2008-04-08/hr=11
1317 PREHOOK: Input: default@srcpart@ds=2008-04-08/hr=12
1318 PREHOOK: Input: default@srcpart@ds=2008-04-09/hr=11
1319 PREHOOK: Input: default@srcpart@ds=2008-04-09/hr=12
1320 PREHOOK: Input: default@srcpart_date
1321 PREHOOK: Input: default@srcpart_hour
1322 PREHOOK: Output: hdfs://### HDFS PATH ###
1323 POSTHOOK: query: select count(*) from srcpart join srcpart_date on (srcpart.ds = srcpart_date.ds) join srcpart_hour on (srcpart.hr = srcpart_hour.hr) 
1324 where srcpart_date.`date` = '2008-04-08' and srcpart_hour.hour = 11
1325 POSTHOOK: type: QUERY
1326 POSTHOOK: Input: default@srcpart
1327 POSTHOOK: Input: default@srcpart@ds=2008-04-08/hr=11
1328 POSTHOOK: Input: default@srcpart@ds=2008-04-08/hr=12
1329 POSTHOOK: Input: default@srcpart@ds=2008-04-09/hr=11
1330 POSTHOOK: Input: default@srcpart@ds=2008-04-09/hr=12
1331 POSTHOOK: Input: default@srcpart_date
1332 POSTHOOK: Input: default@srcpart_hour
1333 POSTHOOK: Output: hdfs://### HDFS PATH ###
1334 500
1335 PREHOOK: query: select count(*) from srcpart where hr = 11 and ds = '2008-04-08'
1336 PREHOOK: type: QUERY
1337 PREHOOK: Input: default@srcpart
1338 PREHOOK: Output: hdfs://### HDFS PATH ###
1339 POSTHOOK: query: select count(*) from srcpart where hr = 11 and ds = '2008-04-08'
1340 POSTHOOK: type: QUERY
1341 POSTHOOK: Input: default@srcpart
1342 POSTHOOK: Output: hdfs://### HDFS PATH ###
1343 500
1344 PREHOOK: query: EXPLAIN select count(*) from srcpart join srcpart_date_hour on (srcpart.ds = srcpart_date_hour.ds and srcpart.hr = srcpart_date_hour.hr) where srcpart_date_hour.`date` = '2008-04-08' and srcpart_date_hour.hour = 11
1345 PREHOOK: type: QUERY
1346 POSTHOOK: query: EXPLAIN select count(*) from srcpart join srcpart_date_hour on (srcpart.ds = srcpart_date_hour.ds and srcpart.hr = srcpart_date_hour.hr) where srcpart_date_hour.`date` = '2008-04-08' and srcpart_date_hour.hour = 11
1347 POSTHOOK: type: QUERY
1348 STAGE DEPENDENCIES:
1349   Stage-2 is a root stage
1350   Stage-1 depends on stages: Stage-2
1351   Stage-0 depends on stages: Stage-1
1352
1353 STAGE PLANS:
1354   Stage: Stage-2
1355     Spark
1356 #### A masked pattern was here ####
1357       Vertices:
1358         Map 5 
1359             Map Operator Tree:
1360                 TableScan
1361                   alias: srcpart_date_hour
1362                   filterExpr: ((date = '2008-04-08') and (UDFToDouble(hour) = 11.0D) and ds is not null and hr is not null) (type: boolean)
1363                   Statistics: Num rows: 4 Data size: 108 Basic stats: COMPLETE Column stats: NONE
1364                   Filter Operator
1365                     predicate: ((UDFToDouble(hour) = 11.0D) and (date = '2008-04-08') and ds is not null and hr is not null) (type: boolean)
1366                     Statistics: Num rows: 1 Data size: 27 Basic stats: COMPLETE Column stats: NONE
1367                     Select Operator
1368                       expressions: ds (type: string), hr (type: string)
1369                       outputColumnNames: _col0, _col2
1370                       Statistics: Num rows: 1 Data size: 27 Basic stats: COMPLETE Column stats: NONE
1371                       Select Operator
1372                         expressions: _col0 (type: string)
1373                         outputColumnNames: _col0
1374                         Statistics: Num rows: 1 Data size: 27 Basic stats: COMPLETE Column stats: NONE
1375                         Group By Operator
1376                           keys: _col0 (type: string)
1377                           mode: hash
1378                           outputColumnNames: _col0
1379                           Statistics: Num rows: 1 Data size: 27 Basic stats: COMPLETE Column stats: NONE
1380                           Spark Partition Pruning Sink Operator
1381                             Target column: [1:ds (string)]
1382                             partition key expr: [ds]
1383                             Statistics: Num rows: 1 Data size: 27 Basic stats: COMPLETE Column stats: NONE
1384                             target works: [Map 1]
1385                       Select Operator
1386                         expressions: _col2 (type: string)
1387                         outputColumnNames: _col0
1388                         Statistics: Num rows: 1 Data size: 27 Basic stats: COMPLETE Column stats: NONE
1389                         Group By Operator
1390                           keys: _col0 (type: string)
1391                           mode: hash
1392                           outputColumnNames: _col0
1393                           Statistics: Num rows: 1 Data size: 27 Basic stats: COMPLETE Column stats: NONE
1394                           Spark Partition Pruning Sink Operator
1395                             Target column: [1:hr (string)]
1396                             partition key expr: [hr]
1397                             Statistics: Num rows: 1 Data size: 27 Basic stats: COMPLETE Column stats: NONE
1398                             target works: [Map 1]
1399
1400   Stage: Stage-1
1401     Spark
1402       Edges:
1403         Reducer 2 <- Map 1 (PARTITION-LEVEL SORT, 4), Map 4 (PARTITION-LEVEL SORT, 4)
1404         Reducer 3 <- Reducer 2 (GROUP, 1)
1405 #### A masked pattern was here ####
1406       Vertices:
1407         Map 1 
1408             Map Operator Tree:
1409                 TableScan
1410                   alias: srcpart
1411                   Statistics: Num rows: 2000 Data size: 21248 Basic stats: COMPLETE Column stats: NONE
1412                   Select Operator
1413                     expressions: ds (type: string), hr (type: string)
1414                     outputColumnNames: _col0, _col1
1415                     Statistics: Num rows: 2000 Data size: 21248 Basic stats: COMPLETE Column stats: NONE
1416                     Reduce Output Operator
1417                       key expressions: _col0 (type: string), _col1 (type: string)
1418                       sort order: ++
1419                       Map-reduce partition columns: _col0 (type: string), _col1 (type: string)
1420                       Statistics: Num rows: 2000 Data size: 21248 Basic stats: COMPLETE Column stats: NONE
1421         Map 4 
1422             Map Operator Tree:
1423                 TableScan
1424                   alias: srcpart_date_hour
1425                   filterExpr: ((date = '2008-04-08') and (UDFToDouble(hour) = 11.0D) and ds is not null and hr is not null) (type: boolean)
1426                   Statistics: Num rows: 4 Data size: 108 Basic stats: COMPLETE Column stats: NONE
1427                   Filter Operator
1428                     predicate: ((UDFToDouble(hour) = 11.0D) and (date = '2008-04-08') and ds is not null and hr is not null) (type: boolean)
1429                     Statistics: Num rows: 1 Data size: 27 Basic stats: COMPLETE Column stats: NONE
1430                     Select Operator
1431                       expressions: ds (type: string), hr (type: string)
1432                       outputColumnNames: _col0, _col2
1433                       Statistics: Num rows: 1 Data size: 27 Basic stats: COMPLETE Column stats: NONE
1434                       Reduce Output Operator
1435                         key expressions: _col0 (type: string), _col2 (type: string)
1436                         sort order: ++
1437                         Map-reduce partition columns: _col0 (type: string), _col2 (type: string)
1438                         Statistics: Num rows: 1 Data size: 27 Basic stats: COMPLETE Column stats: NONE
1439         Reducer 2 
1440             Reduce Operator Tree:
1441               Join Operator
1442                 condition map:
1443                      Inner Join 0 to 1
1444                 keys:
1445                   0 _col0 (type: string), _col1 (type: string)
1446                   1 _col0 (type: string), _col2 (type: string)
1447                 Statistics: Num rows: 2200 Data size: 23372 Basic stats: COMPLETE Column stats: NONE
1448                 Group By Operator
1449                   aggregations: count()
1450                   mode: hash
1451                   outputColumnNames: _col0
1452                   Statistics: Num rows: 1 Data size: 8 Basic stats: COMPLETE Column stats: NONE
1453                   Reduce Output Operator
1454                     sort order: 
1455                     Statistics: Num rows: 1 Data size: 8 Basic stats: COMPLETE Column stats: NONE
1456                     value expressions: _col0 (type: bigint)
1457         Reducer 3 
1458             Reduce Operator Tree:
1459               Group By Operator
1460                 aggregations: count(VALUE._col0)
1461                 mode: mergepartial
1462                 outputColumnNames: _col0
1463                 Statistics: Num rows: 1 Data size: 8 Basic stats: COMPLETE Column stats: NONE
1464                 File Output Operator
1465                   compressed: false
1466                   Statistics: Num rows: 1 Data size: 8 Basic stats: COMPLETE Column stats: NONE
1467                   table:
1468                       input format: org.apache.hadoop.mapred.SequenceFileInputFormat
1469                       output format: org.apache.hadoop.hive.ql.io.HiveSequenceFileOutputFormat
1470                       serde: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
1471
1472   Stage: Stage-0
1473     Fetch Operator
1474       limit: -1
1475       Processor Tree:
1476         ListSink
1477
1478 PREHOOK: query: select count(*) from srcpart join srcpart_date_hour on (srcpart.ds = srcpart_date_hour.ds and srcpart.hr = srcpart_date_hour.hr) where srcpart_date_hour.`date` = '2008-04-08' and srcpart_date_hour.hour = 11
1479 PREHOOK: type: QUERY
1480 PREHOOK: Input: default@srcpart
1481 PREHOOK: Input: default@srcpart@ds=2008-04-08/hr=11
1482 PREHOOK: Input: default@srcpart@ds=2008-04-08/hr=12
1483 PREHOOK: Input: default@srcpart@ds=2008-04-09/hr=11
1484 PREHOOK: Input: default@srcpart@ds=2008-04-09/hr=12
1485 PREHOOK: Input: default@srcpart_date_hour
1486 PREHOOK: Output: hdfs://### HDFS PATH ###
1487 POSTHOOK: query: select count(*) from srcpart join srcpart_date_hour on (srcpart.ds = srcpart_date_hour.ds and srcpart.hr = srcpart_date_hour.hr) where srcpart_date_hour.`date` = '2008-04-08' and srcpart_date_hour.hour = 11
1488 POSTHOOK: type: QUERY
1489 POSTHOOK: Input: default@srcpart
1490 POSTHOOK: Input: default@srcpart@ds=2008-04-08/hr=11
1491 POSTHOOK: Input: default@srcpart@ds=2008-04-08/hr=12
1492 POSTHOOK: Input: default@srcpart@ds=2008-04-09/hr=11
1493 POSTHOOK: Input: default@srcpart@ds=2008-04-09/hr=12
1494 POSTHOOK: Input: default@srcpart_date_hour
1495 POSTHOOK: Output: hdfs://### HDFS PATH ###
1496 500
1497 PREHOOK: query: EXPLAIN select count(*) from srcpart join srcpart_date_hour on (srcpart.ds = srcpart_date_hour.ds and srcpart.hr = srcpart_date_hour.hr) where srcpart_date_hour.`date` = '2008-04-08' and srcpart_date_hour.hour = 11
1498 PREHOOK: type: QUERY
1499 POSTHOOK: query: EXPLAIN select count(*) from srcpart join srcpart_date_hour on (srcpart.ds = srcpart_date_hour.ds and srcpart.hr = srcpart_date_hour.hr) where srcpart_date_hour.`date` = '2008-04-08' and srcpart_date_hour.hour = 11
1500 POSTHOOK: type: QUERY
1501 STAGE DEPENDENCIES:
1502   Stage-1 is a root stage
1503   Stage-0 depends on stages: Stage-1
1504
1505 STAGE PLANS:
1506   Stage: Stage-1
1507     Spark
1508       Edges:
1509         Reducer 2 <- Map 1 (PARTITION-LEVEL SORT, 4), Map 4 (PARTITION-LEVEL SORT, 4)
1510         Reducer 3 <- Reducer 2 (GROUP, 1)
1511 #### A masked pattern was here ####
1512       Vertices:
1513         Map 1 
1514             Map Operator Tree:
1515                 TableScan
1516                   alias: srcpart
1517                   filterExpr: (ds is not null and hr is not null) (type: boolean)
1518                   Statistics: Num rows: 2000 Data size: 21248 Basic stats: COMPLETE Column stats: NONE
1519                   Select Operator
1520                     expressions: ds (type: string), hr (type: string)
1521                     outputColumnNames: _col0, _col1
1522                     Statistics: Num rows: 2000 Data size: 21248 Basic stats: COMPLETE Column stats: NONE
1523                     Reduce Output Operator
1524                       key expressions: _col0 (type: string), _col1 (type: string)
1525                       sort order: ++
1526                       Map-reduce partition columns: _col0 (type: string), _col1 (type: string)
1527                       Statistics: Num rows: 2000 Data size: 21248 Basic stats: COMPLETE Column stats: NONE
1528         Map 4 
1529             Map Operator Tree:
1530                 TableScan
1531                   alias: srcpart_date_hour
1532                   filterExpr: ((date = '2008-04-08') and (UDFToDouble(hour) = 11.0D) and ds is not null and hr is not null) (type: boolean)
1533                   Statistics: Num rows: 4 Data size: 108 Basic stats: COMPLETE Column stats: NONE
1534                   Filter Operator
1535                     predicate: ((UDFToDouble(hour) = 11.0D) and (date = '2008-04-08') and ds is not null and hr is not null) (type: boolean)
1536                     Statistics: Num rows: 1 Data size: 27 Basic stats: COMPLETE Column stats: NONE
1537                     Select Operator
1538                       expressions: ds (type: string), hr (type: string)
1539                       outputColumnNames: _col0, _col2
1540                       Statistics: Num rows: 1 Data size: 27 Basic stats: COMPLETE Column stats: NONE
1541                       Reduce Output Operator
1542                         key expressions: _col0 (type: string), _col2 (type: string)
1543                         sort order: ++
1544                         Map-reduce partition columns: _col0 (type: string), _col2 (type: string)
1545                         Statistics: Num rows: 1 Data size: 27 Basic stats: COMPLETE Column stats: NONE
1546         Reducer 2 
1547             Reduce Operator Tree:
1548               Join Operator
1549                 condition map:
1550                      Inner Join 0 to 1
1551                 keys:
1552                   0 _col0 (type: string), _col1 (type: string)
1553                   1 _col0 (type: string), _col2 (type: string)
1554                 Statistics: Num rows: 2200 Data size: 23372 Basic stats: COMPLETE Column stats: NONE
1555                 Group By Operator
1556                   aggregations: count()
1557                   mode: hash
1558                   outputColumnNames: _col0
1559                   Statistics: Num rows: 1 Data size: 8 Basic stats: COMPLETE Column stats: NONE
1560                   Reduce Output Operator
1561                     sort order: 
1562                     Statistics: Num rows: 1 Data size: 8 Basic stats: COMPLETE Column stats: NONE
1563                     value expressions: _col0 (type: bigint)
1564         Reducer 3 
1565             Reduce Operator Tree:
1566               Group By Operator
1567                 aggregations: count(VALUE._col0)
1568                 mode: mergepartial
1569                 outputColumnNames: _col0
1570                 Statistics: Num rows: 1 Data size: 8 Basic stats: COMPLETE Column stats: NONE
1571                 File Output Operator
1572                   compressed: false
1573                   Statistics: Num rows: 1 Data size: 8 Basic stats: COMPLETE Column stats: NONE
1574                   table:
1575                       input format: org.apache.hadoop.mapred.SequenceFileInputFormat
1576                       output format: org.apache.hadoop.hive.ql.io.HiveSequenceFileOutputFormat
1577                       serde: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
1578
1579   Stage: Stage-0
1580     Fetch Operator
1581       limit: -1
1582       Processor Tree:
1583         ListSink
1584
1585 PREHOOK: query: select count(*) from srcpart join srcpart_date_hour on (srcpart.ds = srcpart_date_hour.ds and srcpart.hr = srcpart_date_hour.hr) where srcpart_date_hour.`date` = '2008-04-08' and srcpart_date_hour.hour = 11
1586 PREHOOK: type: QUERY
1587 PREHOOK: Input: default@srcpart
1588 PREHOOK: Input: default@srcpart@ds=2008-04-08/hr=11
1589 PREHOOK: Input: default@srcpart@ds=2008-04-08/hr=12
1590 PREHOOK: Input: default@srcpart@ds=2008-04-09/hr=11
1591 PREHOOK: Input: default@srcpart@ds=2008-04-09/hr=12
1592 PREHOOK: Input: default@srcpart_date_hour
1593 PREHOOK: Output: hdfs://### HDFS PATH ###
1594 POSTHOOK: query: select count(*) from srcpart join srcpart_date_hour on (srcpart.ds = srcpart_date_hour.ds and srcpart.hr = srcpart_date_hour.hr) where srcpart_date_hour.`date` = '2008-04-08' and srcpart_date_hour.hour = 11
1595 POSTHOOK: type: QUERY
1596 POSTHOOK: Input: default@srcpart
1597 POSTHOOK: Input: default@srcpart@ds=2008-04-08/hr=11
1598 POSTHOOK: Input: default@srcpart@ds=2008-04-08/hr=12
1599 POSTHOOK: Input: default@srcpart@ds=2008-04-09/hr=11
1600 POSTHOOK: Input: default@srcpart@ds=2008-04-09/hr=12
1601 POSTHOOK: Input: default@srcpart_date_hour
1602 POSTHOOK: Output: hdfs://### HDFS PATH ###
1603 500
1604 PREHOOK: query: select count(*) from srcpart where ds = '2008-04-08' and hr = 11
1605 PREHOOK: type: QUERY
1606 PREHOOK: Input: default@srcpart
1607 PREHOOK: Output: hdfs://### HDFS PATH ###
1608 POSTHOOK: query: select count(*) from srcpart where ds = '2008-04-08' and hr = 11
1609 POSTHOOK: type: QUERY
1610 POSTHOOK: Input: default@srcpart
1611 POSTHOOK: Output: hdfs://### HDFS PATH ###
1612 500
1613 PREHOOK: query: EXPLAIN select count(*) from srcpart join srcpart_date on (srcpart.ds = srcpart_date.ds) where srcpart_date.`date` = 'I DONT EXIST'
1614 PREHOOK: type: QUERY
1615 POSTHOOK: query: EXPLAIN select count(*) from srcpart join srcpart_date on (srcpart.ds = srcpart_date.ds) where srcpart_date.`date` = 'I DONT EXIST'
1616 POSTHOOK: type: QUERY
1617 STAGE DEPENDENCIES:
1618   Stage-2 is a root stage
1619   Stage-1 depends on stages: Stage-2
1620   Stage-0 depends on stages: Stage-1
1621
1622 STAGE PLANS:
1623   Stage: Stage-2
1624     Spark
1625 #### A masked pattern was here ####
1626       Vertices:
1627         Map 5 
1628             Map Operator Tree:
1629                 TableScan
1630                   alias: srcpart_date
1631                   filterExpr: ((date = 'I DONT EXIST') and ds is not null) (type: boolean)
1632                   Statistics: Num rows: 2 Data size: 42 Basic stats: COMPLETE Column stats: NONE
1633                   Filter Operator
1634                     predicate: ((date = 'I DONT EXIST') and ds is not null) (type: boolean)
1635                     Statistics: Num rows: 1 Data size: 21 Basic stats: COMPLETE Column stats: NONE
1636                     Select Operator
1637                       expressions: ds (type: string)
1638                       outputColumnNames: _col0
1639                       Statistics: Num rows: 1 Data size: 21 Basic stats: COMPLETE Column stats: NONE
1640                       Select Operator
1641                         expressions: _col0 (type: string)
1642                         outputColumnNames: _col0
1643                         Statistics: Num rows: 1 Data size: 21 Basic stats: COMPLETE Column stats: NONE
1644                         Group By Operator
1645                           keys: _col0 (type: string)
1646                           mode: hash
1647                           outputColumnNames: _col0
1648                           Statistics: Num rows: 1 Data size: 21 Basic stats: COMPLETE Column stats: NONE
1649                           Spark Partition Pruning Sink Operator
1650                             Target column: [1:ds (string)]
1651                             partition key expr: [ds]
1652                             Statistics: Num rows: 1 Data size: 21 Basic stats: COMPLETE Column stats: NONE
1653                             target works: [Map 1]
1654
1655   Stage: Stage-1
1656     Spark
1657       Edges:
1658         Reducer 2 <- Map 1 (PARTITION-LEVEL SORT, 4), Map 4 (PARTITION-LEVEL SORT, 4)
1659         Reducer 3 <- Reducer 2 (GROUP, 1)
1660 #### A masked pattern was here ####
1661       Vertices:
1662         Map 1 
1663             Map Operator Tree:
1664                 TableScan
1665                   alias: srcpart
1666                   filterExpr: ds is not null (type: boolean)
1667                   Statistics: Num rows: 2000 Data size: 21248 Basic stats: COMPLETE Column stats: NONE
1668                   Select Operator
1669                     expressions: ds (type: string)
1670                     outputColumnNames: _col0
1671                     Statistics: Num rows: 2000 Data size: 21248 Basic stats: COMPLETE Column stats: NONE
1672                     Reduce Output Operator
1673                       key expressions: _col0 (type: string)
1674                       sort order: +
1675                       Map-reduce partition columns: _col0 (type: string)
1676                       Statistics: Num rows: 2000 Data size: 21248 Basic stats: COMPLETE Column stats: NONE
1677         Map 4 
1678             Map Operator Tree:
1679                 TableScan
1680                   alias: srcpart_date
1681                   filterExpr: ((date = 'I DONT EXIST') and ds is not null) (type: boolean)
1682                   Statistics: Num rows: 2 Data size: 42 Basic stats: COMPLETE Column stats: NONE
1683                   Filter Operator
1684                     predicate: ((date = 'I DONT EXIST') and ds is not null) (type: boolean)
1685                     Statistics: Num rows: 1 Data size: 21 Basic stats: COMPLETE Column stats: NONE
1686                     Select Operator
1687                       expressions: ds (type: string)
1688                       outputColumnNames: _col0
1689                       Statistics: Num rows: 1 Data size: 21 Basic stats: COMPLETE Column stats: NONE
1690                       Reduce Output Operator
1691                         key expressions: _col0 (type: string)
1692                         sort order: +
1693                         Map-reduce partition columns: _col0 (type: string)
1694                         Statistics: Num rows: 1 Data size: 21 Basic stats: COMPLETE Column stats: NONE
1695         Reducer 2 
1696             Reduce Operator Tree:
1697               Join Operator
1698                 condition map:
1699                      Inner Join 0 to 1
1700                 keys:
1701                   0 _col0 (type: string)
1702                   1 _col0 (type: string)
1703                 Statistics: Num rows: 2200 Data size: 23372 Basic stats: COMPLETE Column stats: NONE
1704                 Group By Operator
1705                   aggregations: count()
1706                   mode: hash
1707                   outputColumnNames: _col0
1708                   Statistics: Num rows: 1 Data size: 8 Basic stats: COMPLETE Column stats: NONE
1709                   Reduce Output Operator
1710                     sort order: 
1711                     Statistics: Num rows: 1 Data size: 8 Basic stats: COMPLETE Column stats: NONE
1712                     value expressions: _col0 (type: bigint)
1713         Reducer 3 
1714             Reduce Operator Tree:
1715               Group By Operator
1716                 aggregations: count(VALUE._col0)
1717                 mode: mergepartial
1718                 outputColumnNames: _col0
1719                 Statistics: Num rows: 1 Data size: 8 Basic stats: COMPLETE Column stats: NONE
1720                 File Output Operator
1721                   compressed: false
1722                   Statistics: Num rows: 1 Data size: 8 Basic stats: COMPLETE Column stats: NONE
1723                   table:
1724                       input format: org.apache.hadoop.mapred.SequenceFileInputFormat
1725                       output format: org.apache.hadoop.hive.ql.io.HiveSequenceFileOutputFormat
1726                       serde: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
1727
1728   Stage: Stage-0
1729     Fetch Operator
1730       limit: -1
1731       Processor Tree:
1732         ListSink
1733
1734 PREHOOK: query: select count(*) from srcpart join srcpart_date on (srcpart.ds = srcpart_date.ds) where srcpart_date.`date` = 'I DONT EXIST'
1735 PREHOOK: type: QUERY
1736 PREHOOK: Input: default@srcpart
1737 PREHOOK: Input: default@srcpart@ds=2008-04-08/hr=11
1738 PREHOOK: Input: default@srcpart@ds=2008-04-08/hr=12
1739 PREHOOK: Input: default@srcpart@ds=2008-04-09/hr=11
1740 PREHOOK: Input: default@srcpart@ds=2008-04-09/hr=12
1741 PREHOOK: Input: default@srcpart_date
1742 PREHOOK: Output: hdfs://### HDFS PATH ###
1743 POSTHOOK: query: select count(*) from srcpart join srcpart_date on (srcpart.ds = srcpart_date.ds) where srcpart_date.`date` = 'I DONT EXIST'
1744 POSTHOOK: type: QUERY
1745 POSTHOOK: Input: default@srcpart
1746 POSTHOOK: Input: default@srcpart@ds=2008-04-08/hr=11
1747 POSTHOOK: Input: default@srcpart@ds=2008-04-08/hr=12
1748 POSTHOOK: Input: default@srcpart@ds=2008-04-09/hr=11
1749 POSTHOOK: Input: default@srcpart@ds=2008-04-09/hr=12
1750 POSTHOOK: Input: default@srcpart_date
1751 POSTHOOK: Output: hdfs://### HDFS PATH ###
1752 0
1753 PREHOOK: query: EXPLAIN select count(*) from srcpart join srcpart_date on (srcpart.ds = srcpart_date.ds) where srcpart_date.`date` = 'I DONT EXIST'
1754 PREHOOK: type: QUERY
1755 POSTHOOK: query: EXPLAIN select count(*) from srcpart join srcpart_date on (srcpart.ds = srcpart_date.ds) where srcpart_date.`date` = 'I DONT EXIST'
1756 POSTHOOK: type: QUERY
1757 STAGE DEPENDENCIES:
1758   Stage-1 is a root stage
1759   Stage-0 depends on stages: Stage-1
1760
1761 STAGE PLANS:
1762   Stage: Stage-1
1763     Spark
1764       Edges:
1765         Reducer 2 <- Map 1 (PARTITION-LEVEL SORT, 4), Map 4 (PARTITION-LEVEL SORT, 4)
1766         Reducer 3 <- Reducer 2 (GROUP, 1)
1767 #### A masked pattern was here ####
1768       Vertices:
1769         Map 1 
1770             Map Operator Tree:
1771                 TableScan
1772                   alias: srcpart
1773                   filterExpr: ds is not null (type: boolean)
1774                   Statistics: Num rows: 2000 Data size: 21248 Basic stats: COMPLETE Column stats: NONE
1775                   Select Operator
1776                     expressions: ds (type: string)
1777                     outputColumnNames: _col0
1778                     Statistics: Num rows: 2000 Data size: 21248 Basic stats: COMPLETE Column stats: NONE
1779                     Reduce Output Operator
1780                       key expressions: _col0 (type: string)
1781                       sort order: +
1782                       Map-reduce partition columns: _col0 (type: string)
1783                       Statistics: Num rows: 2000 Data size: 21248 Basic stats: COMPLETE Column stats: NONE
1784         Map 4 
1785             Map Operator Tree:
1786                 TableScan
1787                   alias: srcpart_date
1788                   filterExpr: ((date = 'I DONT EXIST') and ds is not null) (type: boolean)
1789                   Statistics: Num rows: 2 Data size: 42 Basic stats: COMPLETE Column stats: NONE
1790                   Filter Operator
1791                     predicate: ((date = 'I DONT EXIST') and ds is not null) (type: boolean)
1792                     Statistics: Num rows: 1 Data size: 21 Basic stats: COMPLETE Column stats: NONE
1793                     Select Operator
1794                       expressions: ds (type: string)
1795                       outputColumnNames: _col0
1796                       Statistics: Num rows: 1 Data size: 21 Basic stats: COMPLETE Column stats: NONE
1797                       Reduce Output Operator
1798                         key expressions: _col0 (type: string)
1799                         sort order: +
1800                         Map-reduce partition columns: _col0 (type: string)
1801                         Statistics: Num rows: 1 Data size: 21 Basic stats: COMPLETE Column stats: NONE
1802         Reducer 2 
1803             Reduce Operator Tree:
1804               Join Operator
1805                 condition map:
1806                      Inner Join 0 to 1
1807                 keys:
1808                   0 _col0 (type: string)
1809                   1 _col0 (type: string)
1810                 Statistics: Num rows: 2200 Data size: 23372 Basic stats: COMPLETE Column stats: NONE
1811                 Group By Operator
1812                   aggregations: count()
1813                   mode: hash
1814                   outputColumnNames: _col0
1815                   Statistics: Num rows: 1 Data size: 8 Basic stats: COMPLETE Column stats: NONE
1816                   Reduce Output Operator
1817                     sort order: 
1818                     Statistics: Num rows: 1 Data size: 8 Basic stats: COMPLETE Column stats: NONE
1819                     value expressions: _col0 (type: bigint)
1820         Reducer 3 
1821             Reduce Operator Tree:
1822               Group By Operator
1823                 aggregations: count(VALUE._col0)
1824                 mode: mergepartial
1825                 outputColumnNames: _col0
1826                 Statistics: Num rows: 1 Data size: 8 Basic stats: COMPLETE Column stats: NONE
1827                 File Output Operator
1828                   compressed: false
1829                   Statistics: Num rows: 1 Data size: 8 Basic stats: COMPLETE Column stats: NONE
1830                   table:
1831                       input format: org.apache.hadoop.mapred.SequenceFileInputFormat
1832                       output format: org.apache.hadoop.hive.ql.io.HiveSequenceFileOutputFormat
1833                       serde: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
1834
1835   Stage: Stage-0
1836     Fetch Operator
1837       limit: -1
1838       Processor Tree:
1839         ListSink
1840
1841 PREHOOK: query: select count(*) from srcpart join srcpart_date on (srcpart.ds = srcpart_date.ds) where srcpart_date.`date` = 'I DONT EXIST'
1842 PREHOOK: type: QUERY
1843 PREHOOK: Input: default@srcpart
1844 PREHOOK: Input: default@srcpart@ds=2008-04-08/hr=11
1845 PREHOOK: Input: default@srcpart@ds=2008-04-08/hr=12
1846 PREHOOK: Input: default@srcpart@ds=2008-04-09/hr=11
1847 PREHOOK: Input: default@srcpart@ds=2008-04-09/hr=12
1848 PREHOOK: Input: default@srcpart_date
1849 PREHOOK: Output: hdfs://### HDFS PATH ###
1850 POSTHOOK: query: select count(*) from srcpart join srcpart_date on (srcpart.ds = srcpart_date.ds) where srcpart_date.`date` = 'I DONT EXIST'
1851 POSTHOOK: type: QUERY
1852 POSTHOOK: Input: default@srcpart
1853 POSTHOOK: Input: default@srcpart@ds=2008-04-08/hr=11
1854 POSTHOOK: Input: default@srcpart@ds=2008-04-08/hr=12
1855 POSTHOOK: Input: default@srcpart@ds=2008-04-09/hr=11
1856 POSTHOOK: Input: default@srcpart@ds=2008-04-09/hr=12
1857 POSTHOOK: Input: default@srcpart_date
1858 POSTHOOK: Output: hdfs://### HDFS PATH ###
1859 0
1860 PREHOOK: query: select count(*) from srcpart where ds = 'I DONT EXIST'
1861 PREHOOK: type: QUERY
1862 PREHOOK: Input: default@srcpart
1863 PREHOOK: Output: hdfs://### HDFS PATH ###
1864 POSTHOOK: query: select count(*) from srcpart where ds = 'I DONT EXIST'
1865 POSTHOOK: type: QUERY
1866 POSTHOOK: Input: default@srcpart
1867 POSTHOOK: Output: hdfs://### HDFS PATH ###
1868 0
1869 PREHOOK: query: EXPLAIN select count(*) from srcpart join srcpart_double_hour on (srcpart.hr = cast(srcpart_double_hour.hr/2 as int)) where srcpart_double_hour.hour = 11
1870 PREHOOK: type: QUERY
1871 POSTHOOK: query: EXPLAIN select count(*) from srcpart join srcpart_double_hour on (srcpart.hr = cast(srcpart_double_hour.hr/2 as int)) where srcpart_double_hour.hour = 11
1872 POSTHOOK: type: QUERY
1873 STAGE DEPENDENCIES:
1874   Stage-2 is a root stage
1875   Stage-1 depends on stages: Stage-2
1876   Stage-0 depends on stages: Stage-1
1877
1878 STAGE PLANS:
1879   Stage: Stage-2
1880     Spark
1881 #### A masked pattern was here ####
1882       Vertices:
1883         Map 5 
1884             Map Operator Tree:
1885                 TableScan
1886                   alias: srcpart_double_hour
1887                   filterExpr: ((UDFToDouble(hour) = 11.0D) and hr is not null) (type: boolean)
1888                   Statistics: Num rows: 2 Data size: 14 Basic stats: COMPLETE Column stats: NONE
1889                   Filter Operator
1890                     predicate: ((UDFToDouble(hour) = 11.0D) and hr is not null) (type: boolean)
1891                     Statistics: Num rows: 1 Data size: 7 Basic stats: COMPLETE Column stats: NONE
1892                     Select Operator
1893                       expressions: hr (type: double)
1894                       outputColumnNames: _col0
1895                       Statistics: Num rows: 1 Data size: 7 Basic stats: COMPLETE Column stats: NONE
1896                       Select Operator
1897                         expressions: UDFToDouble(UDFToInteger((_col0 / 2.0D))) (type: double)
1898                         outputColumnNames: _col0
1899                         Statistics: Num rows: 1 Data size: 7 Basic stats: COMPLETE Column stats: NONE
1900                         Group By Operator
1901                           keys: _col0 (type: double)
1902                           mode: hash
1903                           outputColumnNames: _col0
1904                           Statistics: Num rows: 1 Data size: 7 Basic stats: COMPLETE Column stats: NONE
1905                           Spark Partition Pruning Sink Operator
1906                             Target column: [1:hr (string)]
1907                             partition key expr: [UDFToDouble(hr)]
1908                             Statistics: Num rows: 1 Data size: 7 Basic stats: COMPLETE Column stats: NONE
1909                             target works: [Map 1]
1910
1911   Stage: Stage-1
1912     Spark
1913       Edges:
1914         Reducer 2 <- Map 1 (PARTITION-LEVEL SORT, 4), Map 4 (PARTITION-LEVEL SORT, 4)
1915         Reducer 3 <- Reducer 2 (GROUP, 1)
1916 #### A masked pattern was here ####
1917       Vertices:
1918         Map 1 
1919             Map Operator Tree:
1920                 TableScan
1921                   alias: srcpart
1922                   filterExpr: hr is not null (type: boolean)
1923                   Statistics: Num rows: 2000 Data size: 21248 Basic stats: COMPLETE Column stats: NONE
1924                   Select Operator
1925                     expressions: hr (type: string)
1926                     outputColumnNames: _col0
1927                     Statistics: Num rows: 2000 Data size: 21248 Basic stats: COMPLETE Column stats: NONE
1928                     Reduce Output Operator
1929                       key expressions: UDFToDouble(_col0) (type: double)
1930                       sort order: +
1931                       Map-reduce partition columns: UDFToDouble(_col0) (type: double)
1932                       Statistics: Num rows: 2000 Data size: 21248 Basic stats: COMPLETE Column stats: NONE
1933         Map 4 
1934             Map Operator Tree:
1935                 TableScan
1936                   alias: srcpart_double_hour
1937                   filterExpr: ((UDFToDouble(hour) = 11.0D) and hr is not null) (type: boolean)
1938                   Statistics: Num rows: 2 Data size: 14 Basic stats: COMPLETE Column stats: NONE
1939                   Filter Operator
1940                     predicate: ((UDFToDouble(hour) = 11.0D) and hr is not null) (type: boolean)
1941                     Statistics: Num rows: 1 Data size: 7 Basic stats: COMPLETE Column stats: NONE
1942                     Select Operator
1943                       expressions: hr (type: double)
1944                       outputColumnNames: _col0
1945                       Statistics: Num rows: 1 Data size: 7 Basic stats: COMPLETE Column stats: NONE
1946                       Reduce Output Operator
1947                         key expressions: UDFToDouble(UDFToInteger((_col0 / 2.0D))) (type: double)
1948                         sort order: +
1949                         Map-reduce partition columns: UDFToDouble(UDFToInteger((_col0 / 2.0D))) (type: double)
1950                         Statistics: Num rows: 1 Data size: 7 Basic stats: COMPLETE Column stats: NONE
1951         Reducer 2 
1952             Reduce Operator Tree:
1953               Join Operator
1954                 condition map:
1955                      Inner Join 0 to 1
1956                 keys:
1957                   0 UDFToDouble(_col0) (type: double)
1958                   1 UDFToDouble(UDFToInteger((_col0 / 2.0D))) (type: double)
1959                 Statistics: Num rows: 2200 Data size: 23372 Basic stats: COMPLETE Column stats: NONE
1960                 Group By Operator
1961                   aggregations: count()
1962                   mode: hash
1963                   outputColumnNames: _col0
1964                   Statistics: Num rows: 1 Data size: 8 Basic stats: COMPLETE Column stats: NONE
1965                   Reduce Output Operator
1966                     sort order: 
1967                     Statistics: Num rows: 1 Data size: 8 Basic stats: COMPLETE Column stats: NONE
1968                     value expressions: _col0 (type: bigint)
1969         Reducer 3 
1970             Reduce Operator Tree:
1971               Group By Operator
1972                 aggregations: count(VALUE._col0)
1973                 mode: mergepartial
1974                 outputColumnNames: _col0
1975                 Statistics: Num rows: 1 Data size: 8 Basic stats: COMPLETE Column stats: NONE
1976                 File Output Operator
1977                   compressed: false
1978                   Statistics: Num rows: 1 Data size: 8 Basic stats: COMPLETE Column stats: NONE
1979                   table:
1980                       input format: org.apache.hadoop.mapred.SequenceFileInputFormat
1981                       output format: org.apache.hadoop.hive.ql.io.HiveSequenceFileOutputFormat
1982                       serde: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
1983
1984   Stage: Stage-0
1985     Fetch Operator
1986       limit: -1
1987       Processor Tree:
1988         ListSink
1989
1990 PREHOOK: query: select count(*) from srcpart join srcpart_double_hour on (srcpart.hr = cast(srcpart_double_hour.hr/2 as int)) where srcpart_double_hour.hour = 11
1991 PREHOOK: type: QUERY
1992 PREHOOK: Input: default@srcpart
1993 PREHOOK: Input: default@srcpart@ds=2008-04-08/hr=11
1994 PREHOOK: Input: default@srcpart@ds=2008-04-08/hr=12
1995 PREHOOK: Input: default@srcpart@ds=2008-04-09/hr=11
1996 PREHOOK: Input: default@srcpart@ds=2008-04-09/hr=12
1997 PREHOOK: Input: default@srcpart_double_hour
1998 PREHOOK: Output: hdfs://### HDFS PATH ###
1999 POSTHOOK: query: select count(*) from srcpart join srcpart_double_hour on (srcpart.hr = cast(srcpart_double_hour.hr/2 as int)) where srcpart_double_hour.hour = 11
2000 POSTHOOK: type: QUERY
2001 POSTHOOK: Input: default@srcpart
2002 POSTHOOK: Input: default@srcpart@ds=2008-04-08/hr=11
2003 POSTHOOK: Input: default@srcpart@ds=2008-04-08/hr=12
2004 POSTHOOK: Input: default@srcpart@ds=2008-04-09/hr=11
2005 POSTHOOK: Input: default@srcpart@ds=2008-04-09/hr=12
2006 POSTHOOK: Input: default@srcpart_double_hour
2007 POSTHOOK: Output: hdfs://### HDFS PATH ###
2008 1000
2009 PREHOOK: query: EXPLAIN select count(*) from srcpart join srcpart_double_hour on (srcpart.hr*2 = srcpart_double_hour.hr) where srcpart_double_hour.hour = 11
2010 PREHOOK: type: QUERY
2011 POSTHOOK: query: EXPLAIN select count(*) from srcpart join srcpart_double_hour on (srcpart.hr*2 = srcpart_double_hour.hr) where srcpart_double_hour.hour = 11
2012 POSTHOOK: type: QUERY
2013 STAGE DEPENDENCIES:
2014   Stage-2 is a root stage
2015   Stage-1 depends on stages: Stage-2
2016   Stage-0 depends on stages: Stage-1
2017
2018 STAGE PLANS:
2019   Stage: Stage-2
2020     Spark
2021 #### A masked pattern was here ####
2022       Vertices:
2023         Map 5 
2024             Map Operator Tree:
2025                 TableScan
2026                   alias: srcpart_double_hour
2027                   filterExpr: ((UDFToDouble(hour) = 11.0D) and hr is not null) (type: boolean)
2028                   Statistics: Num rows: 2 Data size: 14 Basic stats: COMPLETE Column stats: NONE
2029                   Filter Operator
2030                     predicate: ((UDFToDouble(hour) = 11.0D) and hr is not null) (type: boolean)
2031                     Statistics: Num rows: 1 Data size: 7 Basic stats: COMPLETE Column stats: NONE
2032                     Select Operator
2033                       expressions: hr (type: double)
2034                       outputColumnNames: _col0
2035                       Statistics: Num rows: 1 Data size: 7 Basic stats: COMPLETE Column stats: NONE
2036                       Select Operator
2037                         expressions: _col0 (type: double)
2038                         outputColumnNames: _col0
2039                         Statistics: Num rows: 1 Data size: 7 Basic stats: COMPLETE Column stats: NONE
2040                         Group By Operator
2041                           keys: _col0 (type: double)
2042                           mode: hash
2043                           outputColumnNames: _col0
2044                           Statistics: Num rows: 1 Data size: 7 Basic stats: COMPLETE Column stats: NONE
2045                           Spark Partition Pruning Sink Operator
2046                             Target column: [1:hr (string)]
2047                             partition key expr: [(UDFToDouble(hr) * 2.0D)]
2048                             Statistics: Num rows: 1 Data size: 7 Basic stats: COMPLETE Column stats: NONE
2049                             target works: [Map 1]
2050
2051   Stage: Stage-1
2052     Spark
2053       Edges:
2054         Reducer 2 <- Map 1 (PARTITION-LEVEL SORT, 4), Map 4 (PARTITION-LEVEL SORT, 4)
2055         Reducer 3 <- Reducer 2 (GROUP, 1)
2056 #### A masked pattern was here ####
2057       Vertices:
2058         Map 1 
2059             Map Operator Tree:
2060                 TableScan
2061                   alias: srcpart
2062                   filterExpr: hr is not null (type: boolean)
2063                   Statistics: Num rows: 2000 Data size: 21248 Basic stats: COMPLETE Column stats: NONE
2064                   Select Operator
2065                     expressions: hr (type: string)
2066                     outputColumnNames: _col0
2067                     Statistics: Num rows: 2000 Data size: 21248 Basic stats: COMPLETE Column stats: NONE
2068                     Reduce Output Operator
2069                       key expressions: (UDFToDouble(_col0) * 2.0D) (type: double)
2070                       sort order: +
2071                       Map-reduce partition columns: (UDFToDouble(_col0) * 2.0D) (type: double)
2072                       Statistics: Num rows: 2000 Data size: 21248 Basic stats: COMPLETE Column stats: NONE
2073         Map 4 
2074             Map Operator Tree:
2075                 TableScan
2076                   alias: srcpart_double_hour
2077                   filterExpr: ((UDFToDouble(hour) = 11.0D) and hr is not null) (type: boolean)
2078                   Statistics: Num rows: 2 Data size: 14 Basic stats: COMPLETE Column stats: NONE
2079                   Filter Operator
2080                     predicate: ((UDFToDouble(hour) = 11.0D) and hr is not null) (type: boolean)
2081                     Statistics: Num rows: 1 Data size: 7 Basic stats: COMPLETE Column stats: NONE
2082                     Select Operator
2083                       expressions: hr (type: double)
2084                       outputColumnNames: _col0
2085                       Statistics: Num rows: 1 Data size: 7 Basic stats: COMPLETE Column stats: NONE
2086                       Reduce Output Operator
2087                         key expressions: _col0 (type: double)
2088                         sort order: +
2089                         Map-reduce partition columns: _col0 (type: double)
2090                         Statistics: Num rows: 1 Data size: 7 Basic stats: COMPLETE Column stats: NONE
2091         Reducer 2 
2092             Reduce Operator Tree:
2093               Join Operator
2094                 condition map:
2095                      Inner Join 0 to 1
2096                 keys:
2097                   0 (UDFToDouble(_col0) * 2.0D) (type: double)
2098                   1 _col0 (type: double)
2099                 Statistics: Num rows: 2200 Data size: 23372 Basic stats: COMPLETE Column stats: NONE
2100                 Group By Operator
2101                   aggregations: count()
2102                   mode: hash
2103                   outputColumnNames: _col0
2104                   Statistics: Num rows: 1 Data size: 8 Basic stats: COMPLETE Column stats: NONE
2105                   Reduce Output Operator
2106                     sort order: 
2107                     Statistics: Num rows: 1 Data size: 8 Basic stats: COMPLETE Column stats: NONE
2108                     value expressions: _col0 (type: bigint)
2109         Reducer 3 
2110             Reduce Operator Tree:
2111               Group By Operator
2112                 aggregations: count(VALUE._col0)
2113                 mode: mergepartial
2114                 outputColumnNames: _col0
2115                 Statistics: Num rows: 1 Data size: 8 Basic stats: COMPLETE Column stats: NONE
2116                 File Output Operator
2117                   compressed: false
2118                   Statistics: Num rows: 1 Data size: 8 Basic stats: COMPLETE Column stats: NONE
2119                   table:
2120                       input format: org.apache.hadoop.mapred.SequenceFileInputFormat
2121                       output format: org.apache.hadoop.hive.ql.io.HiveSequenceFileOutputFormat
2122                       serde: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
2123
2124   Stage: Stage-0
2125     Fetch Operator
2126       limit: -1
2127       Processor Tree:
2128         ListSink
2129
2130 PREHOOK: query: select count(*) from srcpart join srcpart_double_hour on (srcpart.hr*2 = srcpart_double_hour.hr) where srcpart_double_hour.hour = 11
2131 PREHOOK: type: QUERY
2132 PREHOOK: Input: default@srcpart
2133 PREHOOK: Input: default@srcpart@ds=2008-04-08/hr=11
2134 PREHOOK: Input: default@srcpart@ds=2008-04-08/hr=12
2135 PREHOOK: Input: default@srcpart@ds=2008-04-09/hr=11
2136 PREHOOK: Input: default@srcpart@ds=2008-04-09/hr=12
2137 PREHOOK: Input: default@srcpart_double_hour
2138 PREHOOK: Output: hdfs://### HDFS PATH ###
2139 POSTHOOK: query: select count(*) from srcpart join srcpart_double_hour on (srcpart.hr*2 = srcpart_double_hour.hr) where srcpart_double_hour.hour = 11
2140 POSTHOOK: type: QUERY
2141 POSTHOOK: Input: default@srcpart
2142 POSTHOOK: Input: default@srcpart@ds=2008-04-08/hr=11
2143 POSTHOOK: Input: default@srcpart@ds=2008-04-08/hr=12
2144 POSTHOOK: Input: default@srcpart@ds=2008-04-09/hr=11
2145 POSTHOOK: Input: default@srcpart@ds=2008-04-09/hr=12
2146 POSTHOOK: Input: default@srcpart_double_hour
2147 POSTHOOK: Output: hdfs://### HDFS PATH ###
2148 1000
2149 PREHOOK: query: EXPLAIN select count(*) from srcpart join srcpart_double_hour on (srcpart.hr = cast(srcpart_double_hour.hr/2 as int)) where srcpart_double_hour.hour = 11
2150 PREHOOK: type: QUERY
2151 POSTHOOK: query: EXPLAIN select count(*) from srcpart join srcpart_double_hour on (srcpart.hr = cast(srcpart_double_hour.hr/2 as int)) where srcpart_double_hour.hour = 11
2152 POSTHOOK: type: QUERY
2153 STAGE DEPENDENCIES:
2154   Stage-1 is a root stage
2155   Stage-0 depends on stages: Stage-1
2156
2157 STAGE PLANS:
2158   Stage: Stage-1
2159     Spark
2160       Edges:
2161         Reducer 2 <- Map 1 (PARTITION-LEVEL SORT, 4), Map 4 (PARTITION-LEVEL SORT, 4)
2162         Reducer 3 <- Reducer 2 (GROUP, 1)
2163 #### A masked pattern was here ####
2164       Vertices:
2165         Map 1 
2166             Map Operator Tree:
2167                 TableScan
2168                   alias: srcpart
2169                   filterExpr: hr is not null (type: boolean)
2170                   Statistics: Num rows: 2000 Data size: 21248 Basic stats: COMPLETE Column stats: NONE
2171                   Select Operator
2172                     expressions: hr (type: string)
2173                     outputColumnNames: _col0
2174                     Statistics: Num rows: 2000 Data size: 21248 Basic stats: COMPLETE Column stats: NONE
2175                     Reduce Output Operator
2176                       key expressions: UDFToDouble(_col0) (type: double)
2177                       sort order: +
2178                       Map-reduce partition columns: UDFToDouble(_col0) (type: double)
2179                       Statistics: Num rows: 2000 Data size: 21248 Basic stats: COMPLETE Column stats: NONE
2180         Map 4 
2181             Map Operator Tree:
2182                 TableScan
2183                   alias: srcpart_double_hour
2184                   filterExpr: ((UDFToDouble(hour) = 11.0D) and hr is not null) (type: boolean)
2185                   Statistics: Num rows: 2 Data size: 14 Basic stats: COMPLETE Column stats: NONE
2186                   Filter Operator
2187                     predicate: ((UDFToDouble(hour) = 11.0D) and hr is not null) (type: boolean)
2188                     Statistics: Num rows: 1 Data size: 7 Basic stats: COMPLETE Column stats: NONE
2189                     Select Operator
2190                       expressions: hr (type: double)
2191                       outputColumnNames: _col0
2192                       Statistics: Num rows: 1 Data size: 7 Basic stats: COMPLETE Column stats: NONE
2193                       Reduce Output Operator
2194                         key expressions: UDFToDouble(UDFToInteger((_col0 / 2.0D))) (type: double)
2195                         sort order: +
2196                         Map-reduce partition columns: UDFToDouble(UDFToInteger((_col0 / 2.0D))) (type: double)
2197                         Statistics: Num rows: 1 Data size: 7 Basic stats: COMPLETE Column stats: NONE
2198         Reducer 2 
2199             Reduce Operator Tree:
2200               Join Operator
2201                 condition map:
2202                      Inner Join 0 to 1
2203                 keys:
2204                   0 UDFToDouble(_col0) (type: double)
2205                   1 UDFToDouble(UDFToInteger((_col0 / 2.0D))) (type: double)
2206                 Statistics: Num rows: 2200 Data size: 23372 Basic stats: COMPLETE Column stats: NONE
2207                 Group By Operator
2208                   aggregations: count()
2209                   mode: hash
2210                   outputColumnNames: _col0
2211                   Statistics: Num rows: 1 Data size: 8 Basic stats: COMPLETE Column stats: NONE
2212                   Reduce Output Operator
2213                     sort order: 
2214                     Statistics: Num rows: 1 Data size: 8 Basic stats: COMPLETE Column stats: NONE
2215                     value expressions: _col0 (type: bigint)
2216         Reducer 3 
2217             Reduce Operator Tree:
2218               Group By Operator
2219                 aggregations: count(VALUE._col0)
2220                 mode: mergepartial
2221                 outputColumnNames: _col0
2222                 Statistics: Num rows: 1 Data size: 8 Basic stats: COMPLETE Column stats: NONE
2223                 File Output Operator
2224                   compressed: false
2225                   Statistics: Num rows: 1 Data size: 8 Basic stats: COMPLETE Column stats: NONE
2226                   table:
2227                       input format: org.apache.hadoop.mapred.SequenceFileInputFormat
2228                       output format: org.apache.hadoop.hive.ql.io.HiveSequenceFileOutputFormat
2229                       serde: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
2230
2231   Stage: Stage-0
2232     Fetch Operator
2233       limit: -1
2234       Processor Tree:
2235         ListSink
2236
2237 PREHOOK: query: select count(*) from srcpart join srcpart_double_hour on (srcpart.hr = cast(srcpart_double_hour.hr/2 as int)) where srcpart_double_hour.hour = 11
2238 PREHOOK: type: QUERY
2239 PREHOOK: Input: default@srcpart
2240 PREHOOK: Input: default@srcpart@ds=2008-04-08/hr=11
2241 PREHOOK: Input: default@srcpart@ds=2008-04-08/hr=12
2242 PREHOOK: Input: default@srcpart@ds=2008-04-09/hr=11
2243 PREHOOK: Input: default@srcpart@ds=2008-04-09/hr=12
2244 PREHOOK: Input: default@srcpart_double_hour
2245 PREHOOK: Output: hdfs://### HDFS PATH ###
2246 POSTHOOK: query: select count(*) from srcpart join srcpart_double_hour on (srcpart.hr = cast(srcpart_double_hour.hr/2 as int)) where srcpart_double_hour.hour = 11
2247 POSTHOOK: type: QUERY
2248 POSTHOOK: Input: default@srcpart
2249 POSTHOOK: Input: default@srcpart@ds=2008-04-08/hr=11
2250 POSTHOOK: Input: default@srcpart@ds=2008-04-08/hr=12
2251 POSTHOOK: Input: default@srcpart@ds=2008-04-09/hr=11
2252 POSTHOOK: Input: default@srcpart@ds=2008-04-09/hr=12
2253 POSTHOOK: Input: default@srcpart_double_hour
2254 POSTHOOK: Output: hdfs://### HDFS PATH ###
2255 1000
2256 PREHOOK: query: EXPLAIN select count(*) from srcpart join srcpart_double_hour on (srcpart.hr*2 = srcpart_double_hour.hr) where srcpart_double_hour.hour = 11
2257 PREHOOK: type: QUERY
2258 POSTHOOK: query: EXPLAIN select count(*) from srcpart join srcpart_double_hour on (srcpart.hr*2 = srcpart_double_hour.hr) where srcpart_double_hour.hour = 11
2259 POSTHOOK: type: QUERY
2260 STAGE DEPENDENCIES:
2261   Stage-1 is a root stage
2262   Stage-0 depends on stages: Stage-1
2263
2264 STAGE PLANS:
2265   Stage: Stage-1
2266     Spark
2267       Edges:
2268         Reducer 2 <- Map 1 (PARTITION-LEVEL SORT, 4), Map 4 (PARTITION-LEVEL SORT, 4)
2269         Reducer 3 <- Reducer 2 (GROUP, 1)
2270 #### A masked pattern was here ####
2271       Vertices:
2272         Map 1 
2273             Map Operator Tree:
2274                 TableScan
2275                   alias: srcpart
2276                   filterExpr: hr is not null (type: boolean)
2277                   Statistics: Num rows: 2000 Data size: 21248 Basic stats: COMPLETE Column stats: NONE
2278                   Select Operator
2279                     expressions: hr (type: string)
2280                     outputColumnNames: _col0
2281                     Statistics: Num rows: 2000 Data size: 21248 Basic stats: COMPLETE Column stats: NONE
2282                     Reduce Output Operator
2283                       key expressions: (UDFToDouble(_col0) * 2.0D) (type: double)
2284                       sort order: +
2285                       Map-reduce partition columns: (UDFToDouble(_col0) * 2.0D) (type: double)
2286                       Statistics: Num rows: 2000 Data size: 21248 Basic stats: COMPLETE Column stats: NONE
2287         Map 4 
2288             Map Operator Tree:
2289                 TableScan
2290                   alias: srcpart_double_hour
2291                   filterExpr: ((UDFToDouble(hour) = 11.0D) and hr is not null) (type: boolean)
2292                   Statistics: Num rows: 2 Data size: 14 Basic stats: COMPLETE Column stats: NONE
2293                   Filter Operator
2294                     predicate: ((UDFToDouble(hour) = 11.0D) and hr is not null) (type: boolean)
2295                     Statistics: Num rows: 1 Data size: 7 Basic stats: COMPLETE Column stats: NONE
2296                     Select Operator
2297                       expressions: hr (type: double)
2298                       outputColumnNames: _col0
2299                       Statistics: Num rows: 1 Data size: 7 Basic stats: COMPLETE Column stats: NONE
2300                       Reduce Output Operator
2301                         key expressions: _col0 (type: double)
2302                         sort order: +
2303                         Map-reduce partition columns: _col0 (type: double)
2304                         Statistics: Num rows: 1 Data size: 7 Basic stats: COMPLETE Column stats: NONE
2305         Reducer 2 
2306             Reduce Operator Tree:
2307               Join Operator
2308                 condition map:
2309                      Inner Join 0 to 1
2310                 keys:
2311                   0 (UDFToDouble(_col0) * 2.0D) (type: double)
2312                   1 _col0 (type: double)
2313                 Statistics: Num rows: 2200 Data size: 23372 Basic stats: COMPLETE Column stats: NONE
2314                 Group By Operator
2315                   aggregations: count()
2316                   mode: hash
2317                   outputColumnNames: _col0
2318                   Statistics: Num rows: 1 Data size: 8 Basic stats: COMPLETE Column stats: NONE
2319                   Reduce Output Operator
2320                     sort order: 
2321                     Statistics: Num rows: 1 Data size: 8 Basic stats: COMPLETE Column stats: NONE
2322                     value expressions: _col0 (type: bigint)
2323         Reducer 3 
2324             Reduce Operator Tree:
2325               Group By Operator
2326                 aggregations: count(VALUE._col0)
2327                 mode: mergepartial
2328                 outputColumnNames: _col0
2329                 Statistics: Num rows: 1 Data size: 8 Basic stats: COMPLETE Column stats: NONE
2330                 File Output Operator
2331                   compressed: false
2332                   Statistics: Num rows: 1 Data size: 8 Basic stats: COMPLETE Column stats: NONE
2333                   table:
2334                       input format: org.apache.hadoop.mapred.SequenceFileInputFormat
2335                       output format: org.apache.hadoop.hive.ql.io.HiveSequenceFileOutputFormat
2336                       serde: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
2337
2338   Stage: Stage-0
2339     Fetch Operator
2340       limit: -1
2341       Processor Tree:
2342         ListSink
2343
2344 PREHOOK: query: select count(*) from srcpart join srcpart_double_hour on (srcpart.hr*2 = srcpart_double_hour.hr) where srcpart_double_hour.hour = 11
2345 PREHOOK: type: QUERY
2346 PREHOOK: Input: default@srcpart
2347 PREHOOK: Input: default@srcpart@ds=2008-04-08/hr=11
2348 PREHOOK: Input: default@srcpart@ds=2008-04-08/hr=12
2349 PREHOOK: Input: default@srcpart@ds=2008-04-09/hr=11
2350 PREHOOK: Input: default@srcpart@ds=2008-04-09/hr=12
2351 PREHOOK: Input: default@srcpart_double_hour
2352 PREHOOK: Output: hdfs://### HDFS PATH ###
2353 POSTHOOK: query: select count(*) from srcpart join srcpart_double_hour on (srcpart.hr*2 = srcpart_double_hour.hr) where srcpart_double_hour.hour = 11
2354 POSTHOOK: type: QUERY
2355 POSTHOOK: Input: default@srcpart
2356 POSTHOOK: Input: default@srcpart@ds=2008-04-08/hr=11
2357 POSTHOOK: Input: default@srcpart@ds=2008-04-08/hr=12
2358 POSTHOOK: Input: default@srcpart@ds=2008-04-09/hr=11
2359 POSTHOOK: Input: default@srcpart@ds=2008-04-09/hr=12
2360 POSTHOOK: Input: default@srcpart_double_hour
2361 POSTHOOK: Output: hdfs://### HDFS PATH ###
2362 1000
2363 PREHOOK: query: select count(*) from srcpart where hr = 11
2364 PREHOOK: type: QUERY
2365 PREHOOK: Input: default@srcpart
2366 PREHOOK: Output: hdfs://### HDFS PATH ###
2367 POSTHOOK: query: select count(*) from srcpart where hr = 11
2368 POSTHOOK: type: QUERY
2369 POSTHOOK: Input: default@srcpart
2370 POSTHOOK: Output: hdfs://### HDFS PATH ###
2371 1000
2372 PREHOOK: query: EXPLAIN select count(*) from srcpart join srcpart_double_hour on (cast(srcpart.hr*2 as string) = cast(srcpart_double_hour.hr as string)) where srcpart_double_hour.hour = 11
2373 PREHOOK: type: QUERY
2374 POSTHOOK: query: EXPLAIN select count(*) from srcpart join srcpart_double_hour on (cast(srcpart.hr*2 as string) = cast(srcpart_double_hour.hr as string)) where srcpart_double_hour.hour = 11
2375 POSTHOOK: type: QUERY
2376 STAGE DEPENDENCIES:
2377   Stage-2 is a root stage
2378   Stage-1 depends on stages: Stage-2
2379   Stage-0 depends on stages: Stage-1
2380
2381 STAGE PLANS:
2382   Stage: Stage-2
2383     Spark
2384 #### A masked pattern was here ####
2385       Vertices:
2386         Map 5 
2387             Map Operator Tree:
2388                 TableScan
2389                   alias: srcpart_double_hour
2390                   filterExpr: ((UDFToDouble(hour) = 11.0D) and hr is not null) (type: boolean)
2391                   Statistics: Num rows: 2 Data size: 14 Basic stats: COMPLETE Column stats: NONE
2392                   Filter Operator
2393                     predicate: ((UDFToDouble(hour) = 11.0D) and hr is not null) (type: boolean)
2394                     Statistics: Num rows: 1 Data size: 7 Basic stats: COMPLETE Column stats: NONE
2395                     Select Operator
2396                       expressions: hr (type: double)
2397                       outputColumnNames: _col0
2398                       Statistics: Num rows: 1 Data size: 7 Basic stats: COMPLETE Column stats: NONE
2399                       Select Operator
2400                         expressions: UDFToString(_col0) (type: string)
2401                         outputColumnNames: _col0
2402                         Statistics: Num rows: 1 Data size: 7 Basic stats: COMPLETE Column stats: NONE
2403                         Group By Operator
2404                           keys: _col0 (type: string)
2405                           mode: hash
2406                           outputColumnNames: _col0
2407                           Statistics: Num rows: 1 Data size: 7 Basic stats: COMPLETE Column stats: NONE
2408                           Spark Partition Pruning Sink Operator
2409                             Target column: [1:hr (string)]
2410                             partition key expr: [UDFToString((UDFToDouble(hr) * 2.0D))]
2411                             Statistics: Num rows: 1 Data size: 7 Basic stats: COMPLETE Column stats: NONE
2412                             target works: [Map 1]
2413
2414   Stage: Stage-1
2415     Spark
2416       Edges:
2417         Reducer 2 <- Map 1 (PARTITION-LEVEL SORT, 4), Map 4 (PARTITION-LEVEL SORT, 4)
2418         Reducer 3 <- Reducer 2 (GROUP, 1)
2419 #### A masked pattern was here ####
2420       Vertices:
2421         Map 1 
2422             Map Operator Tree:
2423                 TableScan
2424                   alias: srcpart
2425                   filterExpr: hr is not null (type: boolean)
2426                   Statistics: Num rows: 2000 Data size: 21248 Basic stats: COMPLETE Column stats: NONE
2427                   Select Operator
2428                     expressions: hr (type: string)
2429                     outputColumnNames: _col0
2430                     Statistics: Num rows: 2000 Data size: 21248 Basic stats: COMPLETE Column stats: NONE
2431                     Reduce Output Operator
2432                       key expressions: UDFToString((UDFToDouble(_col0) * 2.0D)) (type: string)
2433                       sort order: +
2434                       Map-reduce partition columns: UDFToString((UDFToDouble(_col0) * 2.0D)) (type: string)
2435                       Statistics: Num rows: 2000 Data size: 21248 Basic stats: COMPLETE Column stats: NONE
2436         Map 4 
2437             Map Operator Tree:
2438                 TableScan
2439                   alias: srcpart_double_hour
2440                   filterExpr: ((UDFToDouble(hour) = 11.0D) and hr is not null) (type: boolean)
2441                   Statistics: Num rows: 2 Data size: 14 Basic stats: COMPLETE Column stats: NONE
2442                   Filter Operator
2443                     predicate: ((UDFToDouble(hour) = 11.0D) and hr is not null) (type: boolean)
2444                     Statistics: Num rows: 1 Data size: 7 Basic stats: COMPLETE Column stats: NONE
2445                     Select Operator
2446                       expressions: hr (type: double)
2447                       outputColumnNames: _col0
2448                       Statistics: Num rows: 1 Data size: 7 Basic stats: COMPLETE Column stats: NONE
2449                       Reduce Output Operator
2450                         key expressions: UDFToString(_col0) (type: string)
2451                         sort order: +
2452                         Map-reduce partition columns: UDFToString(_col0) (type: string)
2453                         Statistics: Num rows: 1 Data size: 7 Basic stats: COMPLETE Column stats: NONE
2454         Reducer 2 
2455             Reduce Operator Tree:
2456               Join Operator
2457                 condition map:
2458                      Inner Join 0 to 1
2459                 keys:
2460                   0 UDFToString((UDFToDouble(_col0) * 2.0D)) (type: string)
2461                   1 UDFToString(_col0) (type: string)
2462                 Statistics: Num rows: 2200 Data size: 23372 Basic stats: COMPLETE Column stats: NONE
2463                 Group By Operator
2464                   aggregations: count()
2465                   mode: hash
2466                   outputColumnNames: _col0
2467                   Statistics: Num rows: 1 Data size: 8 Basic stats: COMPLETE Column stats: NONE
2468                   Reduce Output Operator
2469                     sort order: 
2470                     Statistics: Num rows: 1 Data size: 8 Basic stats: COMPLETE Column stats: NONE
2471                     value expressions: _col0 (type: bigint)
2472         Reducer 3 
2473             Reduce Operator Tree:
2474               Group By Operator
2475                 aggregations: count(VALUE._col0)
2476                 mode: mergepartial
2477                 outputColumnNames: _col0
2478                 Statistics: Num rows: 1 Data size: 8 Basic stats: COMPLETE Column stats: NONE
2479                 File Output Operator
2480                   compressed: false
2481                   Statistics: Num rows: 1 Data size: 8 Basic stats: COMPLETE Column stats: NONE
2482                   table:
2483                       input format: org.apache.hadoop.mapred.SequenceFileInputFormat
2484                       output format: org.apache.hadoop.hive.ql.io.HiveSequenceFileOutputFormat
2485                       serde: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
2486
2487   Stage: Stage-0
2488     Fetch Operator
2489       limit: -1
2490       Processor Tree:
2491         ListSink
2492
2493 PREHOOK: query: select count(*) from srcpart join srcpart_double_hour on (cast(srcpart.hr*2 as string) = cast(srcpart_double_hour.hr as string)) where srcpart_double_hour.hour = 11
2494 PREHOOK: type: QUERY
2495 PREHOOK: Input: default@srcpart
2496 PREHOOK: Input: default@srcpart@ds=2008-04-08/hr=11
2497 PREHOOK: Input: default@srcpart@ds=2008-04-08/hr=12
2498 PREHOOK: Input: default@srcpart@ds=2008-04-09/hr=11
2499 PREHOOK: Input: default@srcpart@ds=2008-04-09/hr=12
2500 PREHOOK: Input: default@srcpart_double_hour
2501 PREHOOK: Output: hdfs://### HDFS PATH ###
2502 POSTHOOK: query: select count(*) from srcpart join srcpart_double_hour on (cast(srcpart.hr*2 as string) = cast(srcpart_double_hour.hr as string)) where srcpart_double_hour.hour = 11
2503 POSTHOOK: type: QUERY
2504 POSTHOOK: Input: default@srcpart
2505 POSTHOOK: Input: default@srcpart@ds=2008-04-08/hr=11
2506 POSTHOOK: Input: default@srcpart@ds=2008-04-08/hr=12
2507 POSTHOOK: Input: default@srcpart@ds=2008-04-09/hr=11
2508 POSTHOOK: Input: default@srcpart@ds=2008-04-09/hr=12
2509 POSTHOOK: Input: default@srcpart_double_hour
2510 POSTHOOK: Output: hdfs://### HDFS PATH ###
2511 1000
2512 PREHOOK: query: select count(*) from srcpart where cast(hr as string) = 11
2513 PREHOOK: type: QUERY
2514 PREHOOK: Input: default@srcpart
2515 PREHOOK: Output: hdfs://### HDFS PATH ###
2516 POSTHOOK: query: select count(*) from srcpart where cast(hr as string) = 11
2517 POSTHOOK: type: QUERY
2518 POSTHOOK: Input: default@srcpart
2519 POSTHOOK: Output: hdfs://### HDFS PATH ###
2520 1000
2521 Warning: Shuffle Join JOIN[13][tables = [$hdt$_0, $hdt$_1]] in Work 'Reducer 2' is a cross product
2522 PREHOOK: query: EXPLAIN select count(*) from srcpart join (select ds as ds, ds as `date` from srcpart group by ds) s on (srcpart.ds = s.ds) where s.`date` = '2008-04-08'
2523 PREHOOK: type: QUERY
2524 POSTHOOK: query: EXPLAIN select count(*) from srcpart join (select ds as ds, ds as `date` from srcpart group by ds) s on (srcpart.ds = s.ds) where s.`date` = '2008-04-08'
2525 POSTHOOK: type: QUERY
2526 STAGE DEPENDENCIES:
2527   Stage-1 is a root stage
2528   Stage-0 depends on stages: Stage-1
2529
2530 STAGE PLANS:
2531   Stage: Stage-1
2532     Spark
2533       Edges:
2534         Reducer 2 <- Map 1 (PARTITION-LEVEL SORT, 1), Reducer 5 (PARTITION-LEVEL SORT, 1)
2535         Reducer 3 <- Reducer 2 (GROUP, 1)
2536         Reducer 5 <- Map 4 (GROUP, 4)
2537 #### A masked pattern was here ####
2538       Vertices:
2539         Map 1 
2540             Map Operator Tree:
2541                 TableScan
2542                   alias: srcpart
2543                   filterExpr: (ds = '2008-04-08') (type: boolean)
2544                   Statistics: Num rows: 1000 Data size: 10624 Basic stats: COMPLETE Column stats: NONE
2545                   Select Operator
2546                     Statistics: Num rows: 1000 Data size: 10624 Basic stats: COMPLETE Column stats: NONE
2547                     Reduce Output Operator
2548                       sort order: 
2549                       Statistics: Num rows: 1000 Data size: 10624 Basic stats: COMPLETE Column stats: NONE
2550         Map 4 
2551             Map Operator Tree:
2552                 TableScan
2553                   alias: srcpart
2554                   filterExpr: (ds = '2008-04-08') (type: boolean)
2555                   Statistics: Num rows: 1000 Data size: 10624 Basic stats: COMPLETE Column stats: NONE
2556                   Select Operator
2557                     Statistics: Num rows: 1000 Data size: 10624 Basic stats: COMPLETE Column stats: NONE
2558                     Group By Operator
2559                       keys: '2008-04-08' (type: string)
2560                       mode: hash
2561                       outputColumnNames: _col0
2562                       Statistics: Num rows: 1000 Data size: 10624 Basic stats: COMPLETE Column stats: NONE
2563                       Reduce Output Operator
2564                         key expressions: _col0 (type: string)
2565                         sort order: +
2566                         Map-reduce partition columns: _col0 (type: string)
2567                         Statistics: Num rows: 1000 Data size: 10624 Basic stats: COMPLETE Column stats: NONE
2568         Reducer 2 
2569             Reduce Operator Tree:
2570               Join Operator
2571                 condition map:
2572                      Inner Join 0 to 1
2573                 keys:
2574                   0 
2575                   1 
2576                 Statistics: Num rows: 500000 Data size: 11124000 Basic stats: COMPLETE Column stats: NONE
2577                 Group By Operator
2578                   aggregations: count()
2579                   mode: hash
2580                   outputColumnNames: _col0
2581                   Statistics: Num rows: 1 Data size: 8 Basic stats: COMPLETE Column stats: NONE
2582                   Reduce Output Operator
2583                     sort order: 
2584                     Statistics: Num rows: 1 Data size: 8 Basic stats: COMPLETE Column stats: NONE
2585                     value expressions: _col0 (type: bigint)
2586         Reducer 3 
2587             Reduce Operator Tree:
2588               Group By Operator
2589                 aggregations: count(VALUE._col0)
2590                 mode: mergepartial
2591                 outputColumnNames: _col0
2592                 Statistics: Num rows: 1 Data size: 8 Basic stats: COMPLETE Column stats: NONE
2593                 File Output Operator
2594                   compressed: false
2595                   Statistics: Num rows: 1 Data size: 8 Basic stats: COMPLETE Column stats: NONE
2596                   table:
2597                       input format: org.apache.hadoop.mapred.SequenceFileInputFormat
2598                       output format: org.apache.hadoop.hive.ql.io.HiveSequenceFileOutputFormat
2599                       serde: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
2600         Reducer 5 
2601             Reduce Operator Tree:
2602               Group By Operator
2603                 keys: KEY._col0 (type: string)
2604                 mode: mergepartial
2605                 outputColumnNames: _col0
2606                 Statistics: Num rows: 500 Data size: 5312 Basic stats: COMPLETE Column stats: NONE
2607                 Select Operator
2608                   Statistics: Num rows: 500 Data size: 5312 Basic stats: COMPLETE Column stats: NONE
2609                   Reduce Output Operator
2610                     sort order: 
2611                     Statistics: Num rows: 500 Data size: 5312 Basic stats: COMPLETE Column stats: NONE
2612
2613   Stage: Stage-0
2614     Fetch Operator
2615       limit: -1
2616       Processor Tree:
2617         ListSink
2618
2619 Warning: Shuffle Join JOIN[13][tables = [$hdt$_0, $hdt$_1]] in Work 'Reducer 2' is a cross product
2620 PREHOOK: query: select count(*) from srcpart join (select ds as ds, ds as `date` from srcpart group by ds) s on (srcpart.ds = s.ds) where s.`date` = '2008-04-08'
2621 PREHOOK: type: QUERY
2622 PREHOOK: Input: default@srcpart
2623 PREHOOK: Input: default@srcpart@ds=2008-04-08/hr=11
2624 PREHOOK: Input: default@srcpart@ds=2008-04-08/hr=12
2625 PREHOOK: Output: hdfs://### HDFS PATH ###
2626 POSTHOOK: query: select count(*) from srcpart join (select ds as ds, ds as `date` from srcpart group by ds) s on (srcpart.ds = s.ds) where s.`date` = '2008-04-08'
2627 POSTHOOK: type: QUERY
2628 POSTHOOK: Input: default@srcpart
2629 POSTHOOK: Input: default@srcpart@ds=2008-04-08/hr=11
2630 POSTHOOK: Input: default@srcpart@ds=2008-04-08/hr=12
2631 POSTHOOK: Output: hdfs://### HDFS PATH ###
2632 1000
2633 PREHOOK: query: select count(*) from srcpart where ds = '2008-04-08'
2634 PREHOOK: type: QUERY
2635 PREHOOK: Input: default@srcpart
2636 PREHOOK: Output: hdfs://### HDFS PATH ###
2637 POSTHOOK: query: select count(*) from srcpart where ds = '2008-04-08'
2638 POSTHOOK: type: QUERY
2639 POSTHOOK: Input: default@srcpart
2640 POSTHOOK: Output: hdfs://### HDFS PATH ###
2641 1000
2642 Warning: Shuffle Join JOIN[7][tables = [$hdt$_0, $hdt$_1]] in Work 'Reducer 2' is a cross product
2643 PREHOOK: query: EXPLAIN select count(*) from srcpart, srcpart_date_hour where (srcpart_date_hour.`date` = '2008-04-08' and srcpart_date_hour.hour = 11) and (srcpart.ds = srcpart_date_hour.ds or srcpart.hr = srcpart_date_hour.hr)
2644 PREHOOK: type: QUERY
2645 POSTHOOK: query: EXPLAIN select count(*) from srcpart, srcpart_date_hour where (srcpart_date_hour.`date` = '2008-04-08' and srcpart_date_hour.hour = 11) and (srcpart.ds = srcpart_date_hour.ds or srcpart.hr = srcpart_date_hour.hr)
2646 POSTHOOK: type: QUERY
2647 STAGE DEPENDENCIES:
2648   Stage-1 is a root stage
2649   Stage-0 depends on stages: Stage-1
2650
2651 STAGE PLANS:
2652   Stage: Stage-1
2653     Spark
2654       Edges:
2655         Reducer 2 <- Map 1 (PARTITION-LEVEL SORT, 1), Map 4 (PARTITION-LEVEL SORT, 1)
2656         Reducer 3 <- Reducer 2 (GROUP, 1)
2657 #### A masked pattern was here ####
2658       Vertices:
2659         Map 1 
2660             Map Operator Tree:
2661                 TableScan
2662                   alias: srcpart
2663                   Statistics: Num rows: 2000 Data size: 21248 Basic stats: COMPLETE Column stats: NONE
2664                   Select Operator
2665                     expressions: ds (type: string), hr (type: string)
2666                     outputColumnNames: _col0, _col1
2667                     Statistics: Num rows: 2000 Data size: 21248 Basic stats: COMPLETE Column stats: NONE
2668                     Reduce Output Operator
2669                       sort order: 
2670                       Statistics: Num rows: 2000 Data size: 21248 Basic stats: COMPLETE Column stats: NONE
2671                       value expressions: _col0 (type: string), _col1 (type: string)
2672         Map 4 
2673             Map Operator Tree:
2674                 TableScan
2675                   alias: srcpart_date_hour
2676                   filterExpr: ((date = '2008-04-08') and (UDFToDouble(hour) = 11.0D)) (type: boolean)
2677                   Statistics: Num rows: 4 Data size: 108 Basic stats: COMPLETE Column stats: NONE
2678                   Filter Operator
2679                     predicate: ((UDFToDouble(hour) = 11.0D) and (date = '2008-04-08')) (type: boolean)
2680                     Statistics: Num rows: 1 Data size: 27 Basic stats: COMPLETE Column stats: NONE
2681                     Select Operator
2682                       expressions: ds (type: string), hr (type: string)
2683                       outputColumnNames: _col0, _col2
2684                       Statistics: Num rows: 1 Data size: 27 Basic stats: COMPLETE Column stats: NONE
2685                       Reduce Output Operator
2686                         sort order: 
2687                         Statistics: Num rows: 1 Data size: 27 Basic stats: COMPLETE Column stats: NONE
2688                         value expressions: _col0 (type: string), _col2 (type: string)
2689         Reducer 2 
2690             Reduce Operator Tree:
2691               Join Operator
2692                 condition map:
2693                      Inner Join 0 to 1
2694                 keys:
2695                   0 
2696                   1 
2697                 outputColumnNames: _col0, _col1, _col2, _col4
2698                 Statistics: Num rows: 2000 Data size: 77248 Basic stats: COMPLETE Column stats: NONE
2699                 Filter Operator
2700                   predicate: ((_col0 = _col2) or (_col1 = _col4)) (type: boolean)
2701                   Statistics: Num rows: 2000 Data size: 77248 Basic stats: COMPLETE Column stats: NONE
2702                   Select Operator
2703                     Statistics: Num rows: 2000 Data size: 77248 Basic stats: COMPLETE Column stats: NONE
2704                     Group By Operator
2705                       aggregations: count()
2706                       mode: hash
2707                       outputColumnNames: _col0
2708                       Statistics: Num rows: 1 Data size: 8 Basic stats: COMPLETE Column stats: NONE
2709                       Reduce Output Operator
2710                         sort order: 
2711                         Statistics: Num rows: 1 Data size: 8 Basic stats: COMPLETE Column stats: NONE
2712                         value expressions: _col0 (type: bigint)
2713         Reducer 3 
2714             Reduce Operator Tree:
2715               Group By Operator
2716                 aggregations: count(VALUE._col0)
2717                 mode: mergepartial
2718                 outputColumnNames: _col0
2719                 Statistics: Num rows: 1 Data size: 8 Basic stats: COMPLETE Column stats: NONE
2720                 File Output Operator
2721                   compressed: false
2722                   Statistics: Num rows: 1 Data size: 8 Basic stats: COMPLETE Column stats: NONE
2723                   table:
2724                       input format: org.apache.hadoop.mapred.SequenceFileInputFormat
2725                       output format: org.apache.hadoop.hive.ql.io.HiveSequenceFileOutputFormat
2726                       serde: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
2727
2728   Stage: Stage-0
2729     Fetch Operator
2730       limit: -1
2731       Processor Tree:
2732         ListSink
2733
2734 Warning: Shuffle Join JOIN[7][tables = [$hdt$_0, $hdt$_1]] in Work 'Reducer 2' is a cross product
2735 PREHOOK: query: select count(*) from srcpart, srcpart_date_hour where (srcpart_date_hour.`date` = '2008-04-08' and srcpart_date_hour.hour = 11) and (srcpart.ds = srcpart_date_hour.ds or srcpart.hr = srcpart_date_hour.hr)
2736 PREHOOK: type: QUERY
2737 PREHOOK: Input: default@srcpart
2738 PREHOOK: Input: default@srcpart@ds=2008-04-08/hr=11
2739 PREHOOK: Input: default@srcpart@ds=2008-04-08/hr=12
2740 PREHOOK: Input: default@srcpart@ds=2008-04-09/hr=11
2741 PREHOOK: Input: default@srcpart@ds=2008-04-09/hr=12
2742 PREHOOK: Input: default@srcpart_date_hour
2743 PREHOOK: Output: hdfs://### HDFS PATH ###
2744 POSTHOOK: query: select count(*) from srcpart, srcpart_date_hour where (srcpart_date_hour.`date` = '2008-04-08' and srcpart_date_hour.hour = 11) and (srcpart.ds = srcpart_date_hour.ds or srcpart.hr = srcpart_date_hour.hr)
2745 POSTHOOK: type: QUERY
2746 POSTHOOK: Input: default@srcpart
2747 POSTHOOK: Input: default@srcpart@ds=2008-04-08/hr=11
2748 POSTHOOK: Input: default@srcpart@ds=2008-04-08/hr=12
2749 POSTHOOK: Input: default@srcpart@ds=2008-04-09/hr=11
2750 POSTHOOK: Input: default@srcpart@ds=2008-04-09/hr=12
2751 POSTHOOK: Input: default@srcpart_date_hour
2752 POSTHOOK: Output: hdfs://### HDFS PATH ###
2753 1500
2754 PREHOOK: query: EXPLAIN select count(*) from srcpart, srcpart_date_hour where srcpart_date_hour.`date` = '2008-04-08' and srcpart_date_hour.hour = 11 and srcpart.ds = srcpart_date_hour.ds and srcpart.hr = srcpart_date_hour.hr
2755 PREHOOK: type: QUERY
2756 POSTHOOK: query: EXPLAIN select count(*) from srcpart, srcpart_date_hour where srcpart_date_hour.`date` = '2008-04-08' and srcpart_date_hour.hour = 11 and srcpart.ds = srcpart_date_hour.ds and srcpart.hr = srcpart_date_hour.hr
2757 POSTHOOK: type: QUERY
2758 STAGE DEPENDENCIES:
2759   Stage-2 is a root stage
2760   Stage-1 depends on stages: Stage-2
2761   Stage-0 depends on stages: Stage-1
2762
2763 STAGE PLANS:
2764   Stage: Stage-2
2765     Spark
2766 #### A masked pattern was here ####
2767       Vertices:
2768         Map 5 
2769             Map Operator Tree:
2770                 TableScan
2771                   alias: srcpart_date_hour
2772                   filterExpr: ((date = '2008-04-08') and (UDFToDouble(hour) = 11.0D) and ds is not null and hr is not null) (type: boolean)
2773                   Statistics: Num rows: 4 Data size: 108 Basic stats: COMPLETE Column stats: NONE
2774                   Filter Operator
2775                     predicate: ((UDFToDouble(hour) = 11.0D) and (date = '2008-04-08') and ds is not null and hr is not null) (type: boolean)
2776                     Statistics: Num rows: 1 Data size: 27 Basic stats: COMPLETE Column stats: NONE
2777                     Select Operator
2778                       expressions: ds (type: string), hr (type: string)
2779                       outputColumnNames: _col0, _col2
2780                       Statistics: Num rows: 1 Data size: 27 Basic stats: COMPLETE Column stats: NONE
2781                       Select Operator
2782                         expressions: _col0 (type: string)
2783                         outputColumnNames: _col0
2784                         Statistics: Num rows: 1 Data size: 27 Basic stats: COMPLETE Column stats: NONE
2785                         Group By Operator
2786                           keys: _col0 (type: string)
2787                           mode: hash
2788                           outputColumnNames: _col0
2789                           Statistics: Num rows: 1 Data size: 27 Basic stats: COMPLETE Column stats: NONE
2790                           Spark Partition Pruning Sink Operator
2791                             Target column: [1:ds (string)]
2792                             partition key expr: [ds]
2793                             Statistics: Num rows: 1 Data size: 27 Basic stats: COMPLETE Column stats: NONE
2794                             target works: [Map 1]
2795                       Select Operator
2796                         expressions: _col2 (type: string)
2797                         outputColumnNames: _col0
2798                         Statistics: Num rows: 1 Data size: 27 Basic stats: COMPLETE Column stats: NONE
2799                         Group By Operator
2800                           keys: _col0 (type: string)
2801                           mode: hash
2802                           outputColumnNames: _col0
2803                           Statistics: Num rows: 1 Data size: 27 Basic stats: COMPLETE Column stats: NONE
2804                           Spark Partition Pruning Sink Operator
2805                             Target column: [1:hr (string)]
2806                             partition key expr: [hr]
2807                             Statistics: Num rows: 1 Data size: 27 Basic stats: COMPLETE Column stats: NONE
2808                             target works: [Map 1]
2809
2810   Stage: Stage-1
2811     Spark
2812       Edges:
2813         Reducer 2 <- Map 1 (PARTITION-LEVEL SORT, 4), Map 4 (PARTITION-LEVEL SORT, 4)