HIVE-18797 : ExprConstNodeDesc's getExprString should put appropriate qualifier with...
[hive.git] / ql / src / test / results / clientpositive / llap / dynamic_semijoin_reduction_2.q.out
1 PREHOOK: query: CREATE TABLE `table_1`(
2   `bigint_col_7` bigint,
3   `decimal2016_col_26` decimal(20,16),
4   `tinyint_col_3` tinyint,
5   `decimal2612_col_77` decimal(26,12),
6   `timestamp_col_9` timestamp)
7 PREHOOK: type: CREATETABLE
8 PREHOOK: Output: database:default
9 PREHOOK: Output: default@table_1
10 POSTHOOK: query: CREATE TABLE `table_1`(
11   `bigint_col_7` bigint,
12   `decimal2016_col_26` decimal(20,16),
13   `tinyint_col_3` tinyint,
14   `decimal2612_col_77` decimal(26,12),
15   `timestamp_col_9` timestamp)
16 POSTHOOK: type: CREATETABLE
17 POSTHOOK: Output: database:default
18 POSTHOOK: Output: default@table_1
19 PREHOOK: query: CREATE TABLE `table_18`(
20   `tinyint_col_15` tinyint,
21   `decimal2709_col_9` decimal(27,9),
22   `tinyint_col_20` tinyint,
23   `smallint_col_19` smallint,
24   `decimal1911_col_16` decimal(19,11),
25   `timestamp_col_18` timestamp)
26 PREHOOK: type: CREATETABLE
27 PREHOOK: Output: database:default
28 PREHOOK: Output: default@table_18
29 POSTHOOK: query: CREATE TABLE `table_18`(
30   `tinyint_col_15` tinyint,
31   `decimal2709_col_9` decimal(27,9),
32   `tinyint_col_20` tinyint,
33   `smallint_col_19` smallint,
34   `decimal1911_col_16` decimal(19,11),
35   `timestamp_col_18` timestamp)
36 POSTHOOK: type: CREATETABLE
37 POSTHOOK: Output: database:default
38 POSTHOOK: Output: default@table_18
39 PREHOOK: query: EXPLAIN
40 SELECT
41 COUNT(*)
42 FROM table_1 t1
43
44 INNER JOIN table_18 t2 ON (((t2.tinyint_col_15) = (t1.bigint_col_7)) AND
45 ((t2.decimal2709_col_9) = (t1.decimal2016_col_26))) AND
46 ((t2.tinyint_col_20) = (t1.tinyint_col_3))
47 WHERE (t2.smallint_col_19) IN (SELECT
48 COALESCE(-92, -994) AS int_col
49 FROM table_1 tt1
50 INNER JOIN table_18 tt2 ON (tt2.decimal1911_col_16) = (tt1.decimal2612_col_77)
51 WHERE (t1.timestamp_col_9) = (tt2.timestamp_col_18))
52 PREHOOK: type: QUERY
53 POSTHOOK: query: EXPLAIN
54 SELECT
55 COUNT(*)
56 FROM table_1 t1
57
58 INNER JOIN table_18 t2 ON (((t2.tinyint_col_15) = (t1.bigint_col_7)) AND
59 ((t2.decimal2709_col_9) = (t1.decimal2016_col_26))) AND
60 ((t2.tinyint_col_20) = (t1.tinyint_col_3))
61 WHERE (t2.smallint_col_19) IN (SELECT
62 COALESCE(-92, -994) AS int_col
63 FROM table_1 tt1
64 INNER JOIN table_18 tt2 ON (tt2.decimal1911_col_16) = (tt1.decimal2612_col_77)
65 WHERE (t1.timestamp_col_9) = (tt2.timestamp_col_18))
66 POSTHOOK: type: QUERY
67 STAGE DEPENDENCIES:
68   Stage-1 is a root stage
69   Stage-0 depends on stages: Stage-1
70
71 STAGE PLANS:
72   Stage: Stage-1
73     Tez
74 #### A masked pattern was here ####
75       Edges:
76         Map 1 <- Reducer 11 (BROADCAST_EDGE), Reducer 6 (BROADCAST_EDGE), Reducer 7 (BROADCAST_EDGE), Reducer 8 (BROADCAST_EDGE)
77         Map 13 <- Reducer 12 (BROADCAST_EDGE)
78         Reducer 10 <- Map 13 (SIMPLE_EDGE), Map 9 (SIMPLE_EDGE)
79         Reducer 11 <- Reducer 10 (CUSTOM_SIMPLE_EDGE)
80         Reducer 12 <- Map 9 (CUSTOM_SIMPLE_EDGE)
81         Reducer 2 <- Map 1 (SIMPLE_EDGE), Map 5 (SIMPLE_EDGE)
82         Reducer 3 <- Reducer 10 (SIMPLE_EDGE), Reducer 2 (SIMPLE_EDGE)
83         Reducer 4 <- Reducer 3 (CUSTOM_SIMPLE_EDGE)
84         Reducer 6 <- Map 5 (CUSTOM_SIMPLE_EDGE)
85         Reducer 7 <- Map 5 (CUSTOM_SIMPLE_EDGE)
86         Reducer 8 <- Map 5 (CUSTOM_SIMPLE_EDGE)
87 #### A masked pattern was here ####
88       Vertices:
89         Map 1 
90             Map Operator Tree:
91                 TableScan
92                   alias: t1
93                   filterExpr: (bigint_col_7 is not null and decimal2016_col_26 is not null and tinyint_col_3 is not null and timestamp_col_9 is not null and (decimal2016_col_26 BETWEEN DynamicValue(RS_17_t2_decimal2709_col_9_min) AND DynamicValue(RS_17_t2_decimal2709_col_9_max) and in_bloom_filter(decimal2016_col_26, DynamicValue(RS_17_t2_decimal2709_col_9_bloom_filter))) and (tinyint_col_3 BETWEEN DynamicValue(RS_17_t2_tinyint_col_20_min) AND DynamicValue(RS_17_t2_tinyint_col_20_max) and in_bloom_filter(tinyint_col_3, DynamicValue(RS_17_t2_tinyint_col_20_bloom_filter))) and (bigint_col_7 BETWEEN DynamicValue(RS_17_t2_tinyint_col_15_min) AND DynamicValue(RS_17_t2_tinyint_col_15_max) and in_bloom_filter(bigint_col_7, DynamicValue(RS_17_t2_tinyint_col_15_bloom_filter))) and (timestamp_col_9 BETWEEN DynamicValue(RS_22_tt2_timestamp_col_18_min) AND DynamicValue(RS_22_tt2_timestamp_col_18_max) and in_bloom_filter(timestamp_col_9, DynamicValue(RS_22_tt2_timestamp_col_18_bloom_filter)))) (type: boolean)
94                   Statistics: Num rows: 1 Data size: 164 Basic stats: COMPLETE Column stats: NONE
95                   Filter Operator
96                     predicate: ((bigint_col_7 BETWEEN DynamicValue(RS_17_t2_tinyint_col_15_min) AND DynamicValue(RS_17_t2_tinyint_col_15_max) and in_bloom_filter(bigint_col_7, DynamicValue(RS_17_t2_tinyint_col_15_bloom_filter))) and (decimal2016_col_26 BETWEEN DynamicValue(RS_17_t2_decimal2709_col_9_min) AND DynamicValue(RS_17_t2_decimal2709_col_9_max) and in_bloom_filter(decimal2016_col_26, DynamicValue(RS_17_t2_decimal2709_col_9_bloom_filter))) and (timestamp_col_9 BETWEEN DynamicValue(RS_22_tt2_timestamp_col_18_min) AND DynamicValue(RS_22_tt2_timestamp_col_18_max) and in_bloom_filter(timestamp_col_9, DynamicValue(RS_22_tt2_timestamp_col_18_bloom_filter))) and (tinyint_col_3 BETWEEN DynamicValue(RS_17_t2_tinyint_col_20_min) AND DynamicValue(RS_17_t2_tinyint_col_20_max) and in_bloom_filter(tinyint_col_3, DynamicValue(RS_17_t2_tinyint_col_20_bloom_filter))) and bigint_col_7 is not null and decimal2016_col_26 is not null and timestamp_col_9 is not null and tinyint_col_3 is not null) (type: boolean)
97                     Statistics: Num rows: 1 Data size: 164 Basic stats: COMPLETE Column stats: NONE
98                     Select Operator
99                       expressions: bigint_col_7 (type: bigint), decimal2016_col_26 (type: decimal(20,16)), tinyint_col_3 (type: tinyint), timestamp_col_9 (type: timestamp)
100                       outputColumnNames: _col0, _col1, _col2, _col3
101                       Statistics: Num rows: 1 Data size: 164 Basic stats: COMPLETE Column stats: NONE
102                       Reduce Output Operator
103                         key expressions: _col1 (type: decimal(34,16)), _col2 (type: tinyint), _col0 (type: bigint)
104                         sort order: +++
105                         Map-reduce partition columns: _col1 (type: decimal(34,16)), _col2 (type: tinyint), _col0 (type: bigint)
106                         Statistics: Num rows: 1 Data size: 164 Basic stats: COMPLETE Column stats: NONE
107                         value expressions: _col3 (type: timestamp)
108             Execution mode: llap
109             LLAP IO: no inputs
110         Map 13 
111             Map Operator Tree:
112                 TableScan
113                   alias: tt2
114                   filterExpr: (timestamp_col_18 is not null and decimal1911_col_16 is not null and (decimal1911_col_16 BETWEEN DynamicValue(RS_12_tt1_decimal2612_col_77_min) AND DynamicValue(RS_12_tt1_decimal2612_col_77_max) and in_bloom_filter(decimal1911_col_16, DynamicValue(RS_12_tt1_decimal2612_col_77_bloom_filter)))) (type: boolean)
115                   Statistics: Num rows: 1 Data size: 152 Basic stats: COMPLETE Column stats: NONE
116                   Filter Operator
117                     predicate: ((decimal1911_col_16 BETWEEN DynamicValue(RS_12_tt1_decimal2612_col_77_min) AND DynamicValue(RS_12_tt1_decimal2612_col_77_max) and in_bloom_filter(decimal1911_col_16, DynamicValue(RS_12_tt1_decimal2612_col_77_bloom_filter))) and decimal1911_col_16 is not null and timestamp_col_18 is not null) (type: boolean)
118                     Statistics: Num rows: 1 Data size: 152 Basic stats: COMPLETE Column stats: NONE
119                     Select Operator
120                       expressions: decimal1911_col_16 (type: decimal(19,11)), timestamp_col_18 (type: timestamp)
121                       outputColumnNames: _col0, _col1
122                       Statistics: Num rows: 1 Data size: 152 Basic stats: COMPLETE Column stats: NONE
123                       Reduce Output Operator
124                         key expressions: _col0 (type: decimal(26,12))
125                         sort order: +
126                         Map-reduce partition columns: _col0 (type: decimal(26,12))
127                         Statistics: Num rows: 1 Data size: 152 Basic stats: COMPLETE Column stats: NONE
128                         value expressions: _col1 (type: timestamp)
129             Execution mode: llap
130             LLAP IO: no inputs
131         Map 5 
132             Map Operator Tree:
133                 TableScan
134                   alias: t2
135                   filterExpr: (tinyint_col_15 is not null and decimal2709_col_9 is not null and tinyint_col_20 is not null and smallint_col_19 is not null) (type: boolean)
136                   Statistics: Num rows: 1 Data size: 124 Basic stats: COMPLETE Column stats: NONE
137                   Filter Operator
138                     predicate: (decimal2709_col_9 is not null and smallint_col_19 is not null and tinyint_col_15 is not null and tinyint_col_20 is not null) (type: boolean)
139                     Statistics: Num rows: 1 Data size: 124 Basic stats: COMPLETE Column stats: NONE
140                     Select Operator
141                       expressions: tinyint_col_15 (type: tinyint), decimal2709_col_9 (type: decimal(27,9)), tinyint_col_20 (type: tinyint), smallint_col_19 (type: smallint)
142                       outputColumnNames: _col0, _col1, _col2, _col3
143                       Statistics: Num rows: 1 Data size: 124 Basic stats: COMPLETE Column stats: NONE
144                       Reduce Output Operator
145                         key expressions: _col1 (type: decimal(34,16)), _col2 (type: tinyint), UDFToLong(_col0) (type: bigint)
146                         sort order: +++
147                         Map-reduce partition columns: _col1 (type: decimal(34,16)), _col2 (type: tinyint), UDFToLong(_col0) (type: bigint)
148                         Statistics: Num rows: 1 Data size: 124 Basic stats: COMPLETE Column stats: NONE
149                         value expressions: _col3 (type: smallint)
150                       Select Operator
151                         expressions: _col1 (type: decimal(34,16))
152                         outputColumnNames: _col0
153                         Statistics: Num rows: 1 Data size: 124 Basic stats: COMPLETE Column stats: NONE
154                         Group By Operator
155                           aggregations: min(_col0), max(_col0), bloom_filter(_col0, expectedEntries=1)
156                           mode: hash
157                           outputColumnNames: _col0, _col1, _col2
158                           Statistics: Num rows: 1 Data size: 460 Basic stats: COMPLETE Column stats: NONE
159                           Reduce Output Operator
160                             sort order: 
161                             Statistics: Num rows: 1 Data size: 460 Basic stats: COMPLETE Column stats: NONE
162                             value expressions: _col0 (type: decimal(34,16)), _col1 (type: decimal(34,16)), _col2 (type: binary)
163                       Select Operator
164                         expressions: _col2 (type: tinyint)
165                         outputColumnNames: _col0
166                         Statistics: Num rows: 1 Data size: 124 Basic stats: COMPLETE Column stats: NONE
167                         Group By Operator
168                           aggregations: min(_col0), max(_col0), bloom_filter(_col0, expectedEntries=1)
169                           mode: hash
170                           outputColumnNames: _col0, _col1, _col2
171                           Statistics: Num rows: 1 Data size: 136 Basic stats: COMPLETE Column stats: NONE
172                           Reduce Output Operator
173                             sort order: 
174                             Statistics: Num rows: 1 Data size: 136 Basic stats: COMPLETE Column stats: NONE
175                             value expressions: _col0 (type: tinyint), _col1 (type: tinyint), _col2 (type: binary)
176                       Select Operator
177                         expressions: UDFToLong(_col0) (type: bigint)
178                         outputColumnNames: _col0
179                         Statistics: Num rows: 1 Data size: 124 Basic stats: COMPLETE Column stats: NONE
180                         Group By Operator
181                           aggregations: min(_col0), max(_col0), bloom_filter(_col0, expectedEntries=1)
182                           mode: hash
183                           outputColumnNames: _col0, _col1, _col2
184                           Statistics: Num rows: 1 Data size: 148 Basic stats: COMPLETE Column stats: NONE
185                           Reduce Output Operator
186                             sort order: 
187                             Statistics: Num rows: 1 Data size: 148 Basic stats: COMPLETE Column stats: NONE
188                             value expressions: _col0 (type: bigint), _col1 (type: bigint), _col2 (type: binary)
189             Execution mode: llap
190             LLAP IO: no inputs
191         Map 9 
192             Map Operator Tree:
193                 TableScan
194                   alias: tt1
195                   filterExpr: decimal2612_col_77 is not null (type: boolean)
196                   Statistics: Num rows: 1 Data size: 112 Basic stats: COMPLETE Column stats: NONE
197                   Filter Operator
198                     predicate: decimal2612_col_77 is not null (type: boolean)
199                     Statistics: Num rows: 1 Data size: 112 Basic stats: COMPLETE Column stats: NONE
200                     Select Operator
201                       expressions: decimal2612_col_77 (type: decimal(26,12))
202                       outputColumnNames: _col0
203                       Statistics: Num rows: 1 Data size: 112 Basic stats: COMPLETE Column stats: NONE
204                       Reduce Output Operator
205                         key expressions: _col0 (type: decimal(26,12))
206                         sort order: +
207                         Map-reduce partition columns: _col0 (type: decimal(26,12))
208                         Statistics: Num rows: 1 Data size: 112 Basic stats: COMPLETE Column stats: NONE
209                       Select Operator
210                         expressions: _col0 (type: decimal(26,12))
211                         outputColumnNames: _col0
212                         Statistics: Num rows: 1 Data size: 112 Basic stats: COMPLETE Column stats: NONE
213                         Group By Operator
214                           aggregations: min(_col0), max(_col0), bloom_filter(_col0, expectedEntries=1)
215                           mode: hash
216                           outputColumnNames: _col0, _col1, _col2
217                           Statistics: Num rows: 1 Data size: 448 Basic stats: COMPLETE Column stats: NONE
218                           Reduce Output Operator
219                             sort order: 
220                             Statistics: Num rows: 1 Data size: 448 Basic stats: COMPLETE Column stats: NONE
221                             value expressions: _col0 (type: decimal(26,12)), _col1 (type: decimal(26,12)), _col2 (type: binary)
222             Execution mode: llap
223             LLAP IO: no inputs
224         Reducer 10 
225             Execution mode: llap
226             Reduce Operator Tree:
227               Merge Join Operator
228                 condition map:
229                      Inner Join 0 to 1
230                 keys:
231                   0 _col0 (type: decimal(26,12))
232                   1 _col0 (type: decimal(26,12))
233                 outputColumnNames: _col2
234                 Statistics: Num rows: 1 Data size: 123 Basic stats: COMPLETE Column stats: NONE
235                 Select Operator
236                   expressions: _col2 (type: timestamp), -92 (type: int)
237                   outputColumnNames: _col0, _col1
238                   Statistics: Num rows: 1 Data size: 123 Basic stats: COMPLETE Column stats: NONE
239                   Group By Operator
240                     keys: _col0 (type: timestamp), _col1 (type: int)
241                     mode: hash
242                     outputColumnNames: _col0, _col1
243                     Statistics: Num rows: 1 Data size: 123 Basic stats: COMPLETE Column stats: NONE
244                     Reduce Output Operator
245                       key expressions: _col0 (type: timestamp), _col1 (type: int)
246                       sort order: ++
247                       Map-reduce partition columns: _col0 (type: timestamp), _col1 (type: int)
248                       Statistics: Num rows: 1 Data size: 123 Basic stats: COMPLETE Column stats: NONE
249                     Select Operator
250                       expressions: _col0 (type: timestamp)
251                       outputColumnNames: _col0
252                       Statistics: Num rows: 1 Data size: 123 Basic stats: COMPLETE Column stats: NONE
253                       Group By Operator
254                         aggregations: min(_col0), max(_col0), bloom_filter(_col0, expectedEntries=1)
255                         mode: hash
256                         outputColumnNames: _col0, _col1, _col2
257                         Statistics: Num rows: 1 Data size: 120 Basic stats: COMPLETE Column stats: NONE
258                         Reduce Output Operator
259                           sort order: 
260                           Statistics: Num rows: 1 Data size: 120 Basic stats: COMPLETE Column stats: NONE
261                           value expressions: _col0 (type: timestamp), _col1 (type: timestamp), _col2 (type: binary)
262         Reducer 11 
263             Execution mode: llap
264             Reduce Operator Tree:
265               Group By Operator
266                 aggregations: min(VALUE._col0), max(VALUE._col1), bloom_filter(VALUE._col2, expectedEntries=1)
267                 mode: final
268                 outputColumnNames: _col0, _col1, _col2
269                 Statistics: Num rows: 1 Data size: 120 Basic stats: COMPLETE Column stats: NONE
270                 Reduce Output Operator
271                   sort order: 
272                   Statistics: Num rows: 1 Data size: 120 Basic stats: COMPLETE Column stats: NONE
273                   value expressions: _col0 (type: timestamp), _col1 (type: timestamp), _col2 (type: binary)
274         Reducer 12 
275             Execution mode: llap
276             Reduce Operator Tree:
277               Group By Operator
278                 aggregations: min(VALUE._col0), max(VALUE._col1), bloom_filter(VALUE._col2, expectedEntries=1)
279                 mode: final
280                 outputColumnNames: _col0, _col1, _col2
281                 Statistics: Num rows: 1 Data size: 448 Basic stats: COMPLETE Column stats: NONE
282                 Reduce Output Operator
283                   sort order: 
284                   Statistics: Num rows: 1 Data size: 448 Basic stats: COMPLETE Column stats: NONE
285                   value expressions: _col0 (type: decimal(26,12)), _col1 (type: decimal(26,12)), _col2 (type: binary)
286         Reducer 2 
287             Execution mode: llap
288             Reduce Operator Tree:
289               Merge Join Operator
290                 condition map:
291                      Inner Join 0 to 1
292                 keys:
293                   0 _col1 (type: decimal(34,16)), _col2 (type: tinyint), _col0 (type: bigint)
294                   1 _col1 (type: decimal(34,16)), _col2 (type: tinyint), UDFToLong(_col0) (type: bigint)
295                 outputColumnNames: _col3, _col7
296                 Statistics: Num rows: 1 Data size: 180 Basic stats: COMPLETE Column stats: NONE
297                 Reduce Output Operator
298                   key expressions: _col3 (type: timestamp), UDFToInteger(_col7) (type: int)
299                   sort order: ++
300                   Map-reduce partition columns: _col3 (type: timestamp), UDFToInteger(_col7) (type: int)
301                   Statistics: Num rows: 1 Data size: 180 Basic stats: COMPLETE Column stats: NONE
302         Reducer 3 
303             Execution mode: llap
304             Reduce Operator Tree:
305               Merge Join Operator
306                 condition map:
307                      Left Semi Join 0 to 1
308                 keys:
309                   0 _col3 (type: timestamp), UDFToInteger(_col7) (type: int)
310                   1 _col0 (type: timestamp), _col1 (type: int)
311                 Statistics: Num rows: 1 Data size: 198 Basic stats: COMPLETE Column stats: NONE
312                 Group By Operator
313                   aggregations: count()
314                   mode: hash
315                   outputColumnNames: _col0
316                   Statistics: Num rows: 1 Data size: 8 Basic stats: COMPLETE Column stats: NONE
317                   Reduce Output Operator
318                     sort order: 
319                     Statistics: Num rows: 1 Data size: 8 Basic stats: COMPLETE Column stats: NONE
320                     value expressions: _col0 (type: bigint)
321         Reducer 4 
322             Execution mode: llap
323             Reduce Operator Tree:
324               Group By Operator
325                 aggregations: count(VALUE._col0)
326                 mode: mergepartial
327                 outputColumnNames: _col0
328                 Statistics: Num rows: 1 Data size: 8 Basic stats: COMPLETE Column stats: NONE
329                 File Output Operator
330                   compressed: false
331                   Statistics: Num rows: 1 Data size: 8 Basic stats: COMPLETE Column stats: NONE
332                   table:
333                       input format: org.apache.hadoop.mapred.SequenceFileInputFormat
334                       output format: org.apache.hadoop.hive.ql.io.HiveSequenceFileOutputFormat
335                       serde: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
336         Reducer 6 
337             Execution mode: llap
338             Reduce Operator Tree:
339               Group By Operator
340                 aggregations: min(VALUE._col0), max(VALUE._col1), bloom_filter(VALUE._col2, expectedEntries=1)
341                 mode: final
342                 outputColumnNames: _col0, _col1, _col2
343                 Statistics: Num rows: 1 Data size: 460 Basic stats: COMPLETE Column stats: NONE
344                 Reduce Output Operator
345                   sort order: 
346                   Statistics: Num rows: 1 Data size: 460 Basic stats: COMPLETE Column stats: NONE
347                   value expressions: _col0 (type: decimal(34,16)), _col1 (type: decimal(34,16)), _col2 (type: binary)
348         Reducer 7 
349             Execution mode: llap
350             Reduce Operator Tree:
351               Group By Operator
352                 aggregations: min(VALUE._col0), max(VALUE._col1), bloom_filter(VALUE._col2, expectedEntries=1)
353                 mode: final
354                 outputColumnNames: _col0, _col1, _col2
355                 Statistics: Num rows: 1 Data size: 136 Basic stats: COMPLETE Column stats: NONE
356                 Reduce Output Operator
357                   sort order: 
358                   Statistics: Num rows: 1 Data size: 136 Basic stats: COMPLETE Column stats: NONE
359                   value expressions: _col0 (type: tinyint), _col1 (type: tinyint), _col2 (type: binary)
360         Reducer 8 
361             Execution mode: llap
362             Reduce Operator Tree:
363               Group By Operator
364                 aggregations: min(VALUE._col0), max(VALUE._col1), bloom_filter(VALUE._col2, expectedEntries=1)
365                 mode: final
366                 outputColumnNames: _col0, _col1, _col2
367                 Statistics: Num rows: 1 Data size: 148 Basic stats: COMPLETE Column stats: NONE
368                 Reduce Output Operator
369                   sort order: 
370                   Statistics: Num rows: 1 Data size: 148 Basic stats: COMPLETE Column stats: NONE
371                   value expressions: _col0 (type: bigint), _col1 (type: bigint), _col2 (type: binary)
372
373   Stage: Stage-0
374     Fetch Operator
375       limit: -1
376       Processor Tree:
377         ListSink
378
379 PREHOOK: query: drop table table_1
380 PREHOOK: type: DROPTABLE
381 PREHOOK: Input: default@table_1
382 PREHOOK: Output: default@table_1
383 POSTHOOK: query: drop table table_1
384 POSTHOOK: type: DROPTABLE
385 POSTHOOK: Input: default@table_1
386 POSTHOOK: Output: default@table_1
387 PREHOOK: query: drop table table_18
388 PREHOOK: type: DROPTABLE
389 PREHOOK: Input: default@table_18
390 PREHOOK: Output: default@table_18
391 POSTHOOK: query: drop table table_18
392 POSTHOOK: type: DROPTABLE
393 POSTHOOK: Input: default@table_18
394 POSTHOOK: Output: default@table_18
395 PREHOOK: query: CREATE TABLE srcbucket_mapjoin(key int, value string) partitioned by (ds string) CLUSTERED BY (key) INTO 2 BUCKETS STORED AS TEXTFILE
396 PREHOOK: type: CREATETABLE
397 PREHOOK: Output: database:default
398 PREHOOK: Output: default@srcbucket_mapjoin
399 POSTHOOK: query: CREATE TABLE srcbucket_mapjoin(key int, value string) partitioned by (ds string) CLUSTERED BY (key) INTO 2 BUCKETS STORED AS TEXTFILE
400 POSTHOOK: type: CREATETABLE
401 POSTHOOK: Output: database:default
402 POSTHOOK: Output: default@srcbucket_mapjoin
403 PREHOOK: query: CREATE TABLE src2 as select * from src1
404 PREHOOK: type: CREATETABLE_AS_SELECT
405 PREHOOK: Input: default@src1
406 PREHOOK: Output: database:default
407 PREHOOK: Output: default@src2
408 POSTHOOK: query: CREATE TABLE src2 as select * from src1
409 POSTHOOK: type: CREATETABLE_AS_SELECT
410 POSTHOOK: Input: default@src1
411 POSTHOOK: Output: database:default
412 POSTHOOK: Output: default@src2
413 POSTHOOK: Lineage: src2.key SIMPLE [(src1)src1.FieldSchema(name:key, type:string, comment:default), ]
414 POSTHOOK: Lineage: src2.value SIMPLE [(src1)src1.FieldSchema(name:value, type:string, comment:default), ]
415 PREHOOK: query: insert into src2 select * from src2
416 PREHOOK: type: QUERY
417 PREHOOK: Input: default@src2
418 PREHOOK: Output: default@src2
419 POSTHOOK: query: insert into src2 select * from src2
420 POSTHOOK: type: QUERY
421 POSTHOOK: Input: default@src2
422 POSTHOOK: Output: default@src2
423 POSTHOOK: Lineage: src2.key SIMPLE [(src2)src2.FieldSchema(name:key, type:string, comment:null), ]
424 POSTHOOK: Lineage: src2.value SIMPLE [(src2)src2.FieldSchema(name:value, type:string, comment:null), ]
425 PREHOOK: query: insert into src2 select * from src2
426 PREHOOK: type: QUERY
427 PREHOOK: Input: default@src2
428 PREHOOK: Output: default@src2
429 POSTHOOK: query: insert into src2 select * from src2
430 POSTHOOK: type: QUERY
431 POSTHOOK: Input: default@src2
432 POSTHOOK: Output: default@src2
433 POSTHOOK: Lineage: src2.key SIMPLE [(src2)src2.FieldSchema(name:key, type:string, comment:null), ]
434 POSTHOOK: Lineage: src2.value SIMPLE [(src2)src2.FieldSchema(name:value, type:string, comment:null), ]
435 PREHOOK: query: load data local inpath '../../data/files/bmj/000000_0' INTO TABLE srcbucket_mapjoin partition(ds='2008-04-08')
436 PREHOOK: type: LOAD
437 #### A masked pattern was here ####
438 PREHOOK: Output: default@srcbucket_mapjoin
439 POSTHOOK: query: load data local inpath '../../data/files/bmj/000000_0' INTO TABLE srcbucket_mapjoin partition(ds='2008-04-08')
440 POSTHOOK: type: LOAD
441 #### A masked pattern was here ####
442 POSTHOOK: Output: default@srcbucket_mapjoin
443 POSTHOOK: Output: default@srcbucket_mapjoin@ds=2008-04-08
444 PREHOOK: query: load data local inpath '../../data/files/bmj1/000001_0' INTO TABLE srcbucket_mapjoin partition(ds='2008-04-08')
445 PREHOOK: type: LOAD
446 #### A masked pattern was here ####
447 PREHOOK: Output: default@srcbucket_mapjoin@ds=2008-04-08
448 POSTHOOK: query: load data local inpath '../../data/files/bmj1/000001_0' INTO TABLE srcbucket_mapjoin partition(ds='2008-04-08')
449 POSTHOOK: type: LOAD
450 #### A masked pattern was here ####
451 POSTHOOK: Output: default@srcbucket_mapjoin@ds=2008-04-08
452 PREHOOK: query: CREATE TABLE tab(key int, value string) PARTITIONED BY(ds STRING) CLUSTERED BY (key) SORTED BY (key) INTO 2 BUCKETS STORED AS TEXTFILE
453 PREHOOK: type: CREATETABLE
454 PREHOOK: Output: database:default
455 PREHOOK: Output: default@tab
456 POSTHOOK: query: CREATE TABLE tab(key int, value string) PARTITIONED BY(ds STRING) CLUSTERED BY (key) SORTED BY (key) INTO 2 BUCKETS STORED AS TEXTFILE
457 POSTHOOK: type: CREATETABLE
458 POSTHOOK: Output: database:default
459 POSTHOOK: Output: default@tab
460 PREHOOK: query: insert overwrite table tab partition (ds='2008-04-08')
461 select key,value from srcbucket_mapjoin
462 PREHOOK: type: QUERY
463 PREHOOK: Input: default@srcbucket_mapjoin
464 PREHOOK: Input: default@srcbucket_mapjoin@ds=2008-04-08
465 PREHOOK: Output: default@tab@ds=2008-04-08
466 POSTHOOK: query: insert overwrite table tab partition (ds='2008-04-08')
467 select key,value from srcbucket_mapjoin
468 POSTHOOK: type: QUERY
469 POSTHOOK: Input: default@srcbucket_mapjoin
470 POSTHOOK: Input: default@srcbucket_mapjoin@ds=2008-04-08
471 POSTHOOK: Output: default@tab@ds=2008-04-08
472 POSTHOOK: Lineage: tab PARTITION(ds=2008-04-08).key SIMPLE [(srcbucket_mapjoin)srcbucket_mapjoin.FieldSchema(name:key, type:int, comment:null), ]
473 POSTHOOK: Lineage: tab PARTITION(ds=2008-04-08).value SIMPLE [(srcbucket_mapjoin)srcbucket_mapjoin.FieldSchema(name:value, type:string, comment:null), ]
474 PREHOOK: query: CREATE TABLE tab2 (key int, value string, ds string)
475 PREHOOK: type: CREATETABLE
476 PREHOOK: Output: database:default
477 PREHOOK: Output: default@tab2
478 POSTHOOK: query: CREATE TABLE tab2 (key int, value string, ds string)
479 POSTHOOK: type: CREATETABLE
480 POSTHOOK: Output: database:default
481 POSTHOOK: Output: default@tab2
482 Warning: Value had a \n character in it.
483 PREHOOK: query: analyze table tab2 compute statistics
484 PREHOOK: type: QUERY
485 PREHOOK: Input: default@tab2
486 PREHOOK: Output: default@tab2
487 POSTHOOK: query: analyze table tab2 compute statistics
488 POSTHOOK: type: QUERY
489 POSTHOOK: Input: default@tab2
490 POSTHOOK: Output: default@tab2
491 PREHOOK: query: analyze table tab2 compute statistics for columns
492 PREHOOK: type: QUERY
493 PREHOOK: Input: default@tab2
494 PREHOOK: Output: default@tab2
495 #### A masked pattern was here ####
496 POSTHOOK: query: analyze table tab2 compute statistics for columns
497 POSTHOOK: type: QUERY
498 POSTHOOK: Input: default@tab2
499 POSTHOOK: Output: default@tab2
500 #### A masked pattern was here ####
501 PREHOOK: query: explain
502 select
503   count(*)
504   from
505   (select x.key as key, min(x.value) as value from tab2 x group by x.key) a
506   join
507   (select x.key as key, min(x.value) as value from tab2 x group by x.key) b
508   on
509   a.key = b.key join src1 c on a.value = c.value where c.key < 0
510 PREHOOK: type: QUERY
511 POSTHOOK: query: explain
512 select
513   count(*)
514   from
515   (select x.key as key, min(x.value) as value from tab2 x group by x.key) a
516   join
517   (select x.key as key, min(x.value) as value from tab2 x group by x.key) b
518   on
519   a.key = b.key join src1 c on a.value = c.value where c.key < 0
520 POSTHOOK: type: QUERY
521 STAGE DEPENDENCIES:
522   Stage-1 is a root stage
523   Stage-0 depends on stages: Stage-1
524
525 STAGE PLANS:
526   Stage: Stage-1
527     Tez
528 #### A masked pattern was here ####
529       Edges:
530         Map 8 <- Reducer 5 (BROADCAST_EDGE)
531         Reducer 2 <- Map 1 (SIMPLE_EDGE), Map 6 (SIMPLE_EDGE)
532         Reducer 3 <- Map 8 (SIMPLE_EDGE), Reducer 2 (SIMPLE_EDGE)
533         Reducer 4 <- Reducer 3 (CUSTOM_SIMPLE_EDGE)
534         Reducer 5 <- Reducer 2 (CUSTOM_SIMPLE_EDGE)
535 #### A masked pattern was here ####
536       Vertices:
537         Map 1 
538             Map Operator Tree:
539                 TableScan
540                   alias: x
541                   filterExpr: key is not null (type: boolean)
542                   Statistics: Num rows: 1 Data size: 88 Basic stats: COMPLETE Column stats: COMPLETE
543                   Filter Operator
544                     predicate: key is not null (type: boolean)
545                     Statistics: Num rows: 1 Data size: 88 Basic stats: COMPLETE Column stats: COMPLETE
546                     Group By Operator
547                       aggregations: min(value)
548                       keys: key (type: int)
549                       mode: hash
550                       outputColumnNames: _col0, _col1
551                       Statistics: Num rows: 1 Data size: 188 Basic stats: COMPLETE Column stats: COMPLETE
552                       Reduce Output Operator
553                         key expressions: _col0 (type: int)
554                         sort order: +
555                         Map-reduce partition columns: _col0 (type: int)
556                         Statistics: Num rows: 1 Data size: 188 Basic stats: COMPLETE Column stats: COMPLETE
557                         value expressions: _col1 (type: string)
558             Execution mode: llap
559             LLAP IO: no inputs
560         Map 6 
561             Map Operator Tree:
562                 TableScan
563                   alias: x
564                   filterExpr: key is not null (type: boolean)
565                   Statistics: Num rows: 1 Data size: 4 Basic stats: COMPLETE Column stats: COMPLETE
566                   Filter Operator
567                     predicate: key is not null (type: boolean)
568                     Statistics: Num rows: 1 Data size: 4 Basic stats: COMPLETE Column stats: COMPLETE
569                     Group By Operator
570                       keys: key (type: int)
571                       mode: hash
572                       outputColumnNames: _col0
573                       Statistics: Num rows: 1 Data size: 4 Basic stats: COMPLETE Column stats: COMPLETE
574                       Reduce Output Operator
575                         key expressions: _col0 (type: int)
576                         sort order: +
577                         Map-reduce partition columns: _col0 (type: int)
578                         Statistics: Num rows: 1 Data size: 4 Basic stats: COMPLETE Column stats: COMPLETE
579             Execution mode: llap
580             LLAP IO: no inputs
581         Map 8 
582             Map Operator Tree:
583                 TableScan
584                   alias: c
585                   filterExpr: ((UDFToDouble(key) < 0.0D) and value is not null and (value BETWEEN DynamicValue(RS_21_x__col1_min) AND DynamicValue(RS_21_x__col1_max) and in_bloom_filter(value, DynamicValue(RS_21_x__col1_bloom_filter)))) (type: boolean)
586                   Statistics: Num rows: 25 Data size: 4375 Basic stats: COMPLETE Column stats: COMPLETE
587                   Filter Operator
588                     predicate: ((UDFToDouble(key) < 0.0D) and (value BETWEEN DynamicValue(RS_21_x__col1_min) AND DynamicValue(RS_21_x__col1_max) and in_bloom_filter(value, DynamicValue(RS_21_x__col1_bloom_filter))) and value is not null) (type: boolean)
589                     Statistics: Num rows: 8 Data size: 1400 Basic stats: COMPLETE Column stats: COMPLETE
590                     Select Operator
591                       expressions: value (type: string)
592                       outputColumnNames: _col1
593                       Statistics: Num rows: 8 Data size: 1400 Basic stats: COMPLETE Column stats: COMPLETE
594                       Reduce Output Operator
595                         key expressions: _col1 (type: string)
596                         sort order: +
597                         Map-reduce partition columns: _col1 (type: string)
598                         Statistics: Num rows: 8 Data size: 1400 Basic stats: COMPLETE Column stats: COMPLETE
599             Execution mode: llap
600             LLAP IO: no inputs
601         Reducer 2 
602             Reduce Operator Tree:
603               Group By Operator
604                 keys: KEY._col0 (type: int)
605                 mode: mergepartial
606                 outputColumnNames: _col0
607                 Statistics: Num rows: 1 Data size: 4 Basic stats: COMPLETE Column stats: COMPLETE
608             Execution mode: llap
609             Reduce Operator Tree:
610               Group By Operator
611                 aggregations: min(VALUE._col0)
612                 keys: KEY._col0 (type: int)
613                 mode: mergepartial
614                 outputColumnNames: _col0, _col1
615                 Statistics: Num rows: 1 Data size: 188 Basic stats: COMPLETE Column stats: COMPLETE
616                 Filter Operator
617                   predicate: _col1 is not null (type: boolean)
618                   Statistics: Num rows: 1 Data size: 188 Basic stats: COMPLETE Column stats: COMPLETE
619                   Merge Join Operator
620                     condition map:
621                          Inner Join 0 to 1
622                     keys:
623                       0 _col0 (type: int)
624                       1 _col0 (type: int)
625                     outputColumnNames: _col1
626                     Statistics: Num rows: 1 Data size: 184 Basic stats: COMPLETE Column stats: COMPLETE
627                     Reduce Output Operator
628                       key expressions: _col1 (type: string)
629                       sort order: +
630                       Map-reduce partition columns: _col1 (type: string)
631                       Statistics: Num rows: 1 Data size: 184 Basic stats: COMPLETE Column stats: COMPLETE
632                     Select Operator
633                       expressions: _col1 (type: string)
634                       outputColumnNames: _col0
635                       Statistics: Num rows: 1 Data size: 368 Basic stats: COMPLETE Column stats: COMPLETE
636                       Group By Operator
637                         aggregations: min(_col0), max(_col0), bloom_filter(_col0, expectedEntries=1)
638                         mode: hash
639                         outputColumnNames: _col0, _col1, _col2
640                         Statistics: Num rows: 1 Data size: 552 Basic stats: COMPLETE Column stats: COMPLETE
641                         Reduce Output Operator
642                           sort order: 
643                           Statistics: Num rows: 1 Data size: 552 Basic stats: COMPLETE Column stats: COMPLETE
644                           value expressions: _col0 (type: string), _col1 (type: string), _col2 (type: binary)
645         Reducer 3 
646             Execution mode: llap
647             Reduce Operator Tree:
648               Merge Join Operator
649                 condition map:
650                      Inner Join 0 to 1
651                 keys:
652                   0 _col1 (type: string)
653                   1 _col1 (type: string)
654                 Statistics: Num rows: 1 Data size: 8 Basic stats: COMPLETE Column stats: COMPLETE
655                 Group By Operator
656                   aggregations: count()
657                   mode: hash
658                   outputColumnNames: _col0
659                   Statistics: Num rows: 1 Data size: 8 Basic stats: COMPLETE Column stats: COMPLETE
660                   Reduce Output Operator
661                     sort order: 
662                     Statistics: Num rows: 1 Data size: 8 Basic stats: COMPLETE Column stats: COMPLETE
663                     value expressions: _col0 (type: bigint)
664         Reducer 4 
665             Execution mode: llap
666             Reduce Operator Tree:
667               Group By Operator
668                 aggregations: count(VALUE._col0)
669                 mode: mergepartial
670                 outputColumnNames: _col0
671                 Statistics: Num rows: 1 Data size: 8 Basic stats: COMPLETE Column stats: COMPLETE
672                 File Output Operator
673                   compressed: false
674                   Statistics: Num rows: 1 Data size: 8 Basic stats: COMPLETE Column stats: COMPLETE
675                   table:
676                       input format: org.apache.hadoop.mapred.SequenceFileInputFormat
677                       output format: org.apache.hadoop.hive.ql.io.HiveSequenceFileOutputFormat
678                       serde: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
679         Reducer 5 
680             Execution mode: llap
681             Reduce Operator Tree:
682               Group By Operator
683                 aggregations: min(VALUE._col0), max(VALUE._col1), bloom_filter(VALUE._col2, expectedEntries=1)
684                 mode: final
685                 outputColumnNames: _col0, _col1, _col2
686                 Statistics: Num rows: 1 Data size: 552 Basic stats: COMPLETE Column stats: COMPLETE
687                 Reduce Output Operator
688                   sort order: 
689                   Statistics: Num rows: 1 Data size: 552 Basic stats: COMPLETE Column stats: COMPLETE
690                   value expressions: _col0 (type: string), _col1 (type: string), _col2 (type: binary)
691
692   Stage: Stage-0
693     Fetch Operator
694       limit: -1
695       Processor Tree:
696         ListSink
697