144811d866f08f1a4a689ae939b0bd597e7903dc
[hive.git] / ql / src / test / results / clientpositive / ctas_colname.q.out
1 PREHOOK: query: explain
2 create table summary as select *, key + 1, concat(value, value) from src limit 20
3 PREHOOK: type: CREATETABLE_AS_SELECT
4 POSTHOOK: query: explain
5 create table summary as select *, key + 1, concat(value, value) from src limit 20
6 POSTHOOK: type: CREATETABLE_AS_SELECT
7 STAGE DEPENDENCIES:
8   Stage-1 is a root stage
9   Stage-0 depends on stages: Stage-1
10   Stage-3 depends on stages: Stage-0
11   Stage-2 depends on stages: Stage-3
12
13 STAGE PLANS:
14   Stage: Stage-1
15     Map Reduce
16       Map Operator Tree:
17           TableScan
18             alias: src
19             Statistics: Num rows: 500 Data size: 5312 Basic stats: COMPLETE Column stats: NONE
20             Select Operator
21               expressions: key (type: string), value (type: string), (UDFToDouble(key) + 1.0) (type: double), concat(value, value) (type: string)
22               outputColumnNames: _col0, _col1, _col2, _col3
23               Statistics: Num rows: 500 Data size: 5312 Basic stats: COMPLETE Column stats: NONE
24               Limit
25                 Number of rows: 20
26                 Statistics: Num rows: 20 Data size: 200 Basic stats: COMPLETE Column stats: NONE
27                 Reduce Output Operator
28                   sort order: 
29                   Statistics: Num rows: 20 Data size: 200 Basic stats: COMPLETE Column stats: NONE
30                   TopN Hash Memory Usage: 0.1
31                   value expressions: _col0 (type: string), _col1 (type: string), _col2 (type: double), _col3 (type: string)
32       Reduce Operator Tree:
33         Select Operator
34           expressions: VALUE._col0 (type: string), VALUE._col1 (type: string), VALUE._col2 (type: double), VALUE._col3 (type: string)
35           outputColumnNames: _col0, _col1, _col2, _col3
36           Statistics: Num rows: 20 Data size: 200 Basic stats: COMPLETE Column stats: NONE
37           Limit
38             Number of rows: 20
39             Statistics: Num rows: 20 Data size: 200 Basic stats: COMPLETE Column stats: NONE
40             File Output Operator
41               compressed: false
42               Statistics: Num rows: 20 Data size: 200 Basic stats: COMPLETE Column stats: NONE
43               table:
44                   input format: org.apache.hadoop.mapred.TextInputFormat
45                   output format: org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat
46                   serde: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
47                   name: default.summary
48
49   Stage: Stage-0
50     Move Operator
51       files:
52           hdfs directory: true
53 #### A masked pattern was here ####
54
55   Stage: Stage-3
56       Create Table Operator:
57         Create Table
58           columns: key string, value string, _c1 double, _c2 string
59           input format: org.apache.hadoop.mapred.TextInputFormat
60           output format: org.apache.hadoop.hive.ql.io.IgnoreKeyTextOutputFormat
61           serde name: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
62           name: default.summary
63
64   Stage: Stage-2
65     Stats Work
66       Basic Stats Work:
67
68 PREHOOK: query: create table summary as select *, key + 1, concat(value, value) from src limit 20
69 PREHOOK: type: CREATETABLE_AS_SELECT
70 PREHOOK: Input: default@src
71 PREHOOK: Output: database:default
72 PREHOOK: Output: default@summary
73 POSTHOOK: query: create table summary as select *, key + 1, concat(value, value) from src limit 20
74 POSTHOOK: type: CREATETABLE_AS_SELECT
75 POSTHOOK: Input: default@src
76 POSTHOOK: Output: database:default
77 POSTHOOK: Output: default@summary
78 POSTHOOK: Lineage: summary._c1 EXPRESSION [(src)src.FieldSchema(name:key, type:string, comment:default), ]
79 POSTHOOK: Lineage: summary._c2 EXPRESSION [(src)src.FieldSchema(name:value, type:string, comment:default), ]
80 POSTHOOK: Lineage: summary.key SIMPLE [(src)src.FieldSchema(name:key, type:string, comment:default), ]
81 POSTHOOK: Lineage: summary.value SIMPLE [(src)src.FieldSchema(name:value, type:string, comment:default), ]
82 PREHOOK: query: describe formatted summary
83 PREHOOK: type: DESCTABLE
84 PREHOOK: Input: default@summary
85 POSTHOOK: query: describe formatted summary
86 POSTHOOK: type: DESCTABLE
87 POSTHOOK: Input: default@summary
88 # col_name              data_type               comment             
89 key                     string                                      
90 value                   string                                      
91 _c1                     double                                      
92 _c2                     string                                      
93                  
94 # Detailed Table Information             
95 Database:               default                  
96 #### A masked pattern was here ####
97 Retention:              0                        
98 #### A masked pattern was here ####
99 Table Type:             MANAGED_TABLE            
100 Table Parameters:                
101         COLUMN_STATS_ACCURATE   {\"BASIC_STATS\":\"true\"}
102         numFiles                1                   
103         numRows                 20                  
104         rawDataSize             620                 
105         totalSize               640                 
106 #### A masked pattern was here ####
107                  
108 # Storage Information            
109 SerDe Library:          org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe       
110 InputFormat:            org.apache.hadoop.mapred.TextInputFormat         
111 OutputFormat:           org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat       
112 Compressed:             No                       
113 Num Buckets:            -1                       
114 Bucket Columns:         []                       
115 Sort Columns:           []                       
116 Storage Desc Params:             
117         serialization.format    1                   
118 PREHOOK: query: select * from summary
119 PREHOOK: type: QUERY
120 PREHOOK: Input: default@summary
121 #### A masked pattern was here ####
122 POSTHOOK: query: select * from summary
123 POSTHOOK: type: QUERY
124 POSTHOOK: Input: default@summary
125 #### A masked pattern was here ####
126 128     val_128 129.0   val_128val_128
127 150     val_150 151.0   val_150val_150
128 165     val_165 166.0   val_165val_165
129 193     val_193 194.0   val_193val_193
130 213     val_213 214.0   val_213val_213
131 224     val_224 225.0   val_224val_224
132 238     val_238 239.0   val_238val_238
133 255     val_255 256.0   val_255val_255
134 265     val_265 266.0   val_265val_265
135 27      val_27  28.0    val_27val_27
136 273     val_273 274.0   val_273val_273
137 278     val_278 279.0   val_278val_278
138 311     val_311 312.0   val_311val_311
139 369     val_369 370.0   val_369val_369
140 401     val_401 402.0   val_401val_401
141 409     val_409 410.0   val_409val_409
142 484     val_484 485.0   val_484val_484
143 66      val_66  67.0    val_66val_66
144 86      val_86  87.0    val_86val_86
145 98      val_98  99.0    val_98val_98
146 PREHOOK: query: explain
147 create table x4 as select *, rank() over(partition by key order by value) as rr from src1
148 PREHOOK: type: CREATETABLE_AS_SELECT
149 POSTHOOK: query: explain
150 create table x4 as select *, rank() over(partition by key order by value) as rr from src1
151 POSTHOOK: type: CREATETABLE_AS_SELECT
152 STAGE DEPENDENCIES:
153   Stage-1 is a root stage
154   Stage-0 depends on stages: Stage-1
155   Stage-3 depends on stages: Stage-0
156   Stage-2 depends on stages: Stage-3
157
158 STAGE PLANS:
159   Stage: Stage-1
160     Map Reduce
161       Map Operator Tree:
162           TableScan
163             alias: src1
164             Statistics: Num rows: 25 Data size: 191 Basic stats: COMPLETE Column stats: NONE
165             Reduce Output Operator
166               key expressions: key (type: string), value (type: string)
167               sort order: ++
168               Map-reduce partition columns: key (type: string)
169               Statistics: Num rows: 25 Data size: 191 Basic stats: COMPLETE Column stats: NONE
170       Reduce Operator Tree:
171         Select Operator
172           expressions: KEY.reducesinkkey0 (type: string), KEY.reducesinkkey1 (type: string)
173           outputColumnNames: _col0, _col1
174           Statistics: Num rows: 25 Data size: 191 Basic stats: COMPLETE Column stats: NONE
175           PTF Operator
176             Function definitions:
177                 Input definition
178                   input alias: ptf_0
179                   output shape: _col0: string, _col1: string
180                   type: WINDOWING
181                 Windowing table definition
182                   input alias: ptf_1
183                   name: windowingtablefunction
184                   order by: _col1 ASC NULLS FIRST
185                   partition by: _col0
186                   raw input shape:
187                   window functions:
188                       window function definition
189                         alias: rank_window_0
190                         arguments: _col1
191                         name: rank
192                         window function: GenericUDAFRankEvaluator
193                         window frame: ROWS PRECEDING(MAX)~FOLLOWING(MAX)
194                         isPivotResult: true
195             Statistics: Num rows: 25 Data size: 191 Basic stats: COMPLETE Column stats: NONE
196             Select Operator
197               expressions: _col0 (type: string), _col1 (type: string), rank_window_0 (type: int)
198               outputColumnNames: _col0, _col1, _col2
199               Statistics: Num rows: 25 Data size: 191 Basic stats: COMPLETE Column stats: NONE
200               File Output Operator
201                 compressed: false
202                 Statistics: Num rows: 25 Data size: 191 Basic stats: COMPLETE Column stats: NONE
203                 table:
204                     input format: org.apache.hadoop.mapred.TextInputFormat
205                     output format: org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat
206                     serde: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
207                     name: default.x4
208
209   Stage: Stage-0
210     Move Operator
211       files:
212           hdfs directory: true
213 #### A masked pattern was here ####
214
215   Stage: Stage-3
216       Create Table Operator:
217         Create Table
218           columns: key string, value string, rr int
219           input format: org.apache.hadoop.mapred.TextInputFormat
220           output format: org.apache.hadoop.hive.ql.io.IgnoreKeyTextOutputFormat
221           serde name: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
222           name: default.x4
223
224   Stage: Stage-2
225     Stats Work
226       Basic Stats Work:
227
228 PREHOOK: query: create table x4 as select *, rank() over(partition by key order by value) as rr from src1
229 PREHOOK: type: CREATETABLE_AS_SELECT
230 PREHOOK: Input: default@src1
231 PREHOOK: Output: database:default
232 PREHOOK: Output: default@x4
233 POSTHOOK: query: create table x4 as select *, rank() over(partition by key order by value) as rr from src1
234 POSTHOOK: type: CREATETABLE_AS_SELECT
235 POSTHOOK: Input: default@src1
236 POSTHOOK: Output: database:default
237 POSTHOOK: Output: default@x4
238 POSTHOOK: Lineage: x4.key SIMPLE [(src1)src1.FieldSchema(name:key, type:string, comment:default), ]
239 POSTHOOK: Lineage: x4.rr SCRIPT [(src1)src1.FieldSchema(name:key, type:string, comment:default), (src1)src1.FieldSchema(name:value, type:string, comment:default), ]
240 POSTHOOK: Lineage: x4.value SIMPLE [(src1)src1.FieldSchema(name:value, type:string, comment:default), ]
241 PREHOOK: query: describe formatted x4
242 PREHOOK: type: DESCTABLE
243 PREHOOK: Input: default@x4
244 POSTHOOK: query: describe formatted x4
245 POSTHOOK: type: DESCTABLE
246 POSTHOOK: Input: default@x4
247 # col_name              data_type               comment             
248 key                     string                                      
249 value                   string                                      
250 rr                      int                                         
251                  
252 # Detailed Table Information             
253 Database:               default                  
254 #### A masked pattern was here ####
255 Retention:              0                        
256 #### A masked pattern was here ####
257 Table Type:             MANAGED_TABLE            
258 Table Parameters:                
259         COLUMN_STATS_ACCURATE   {\"BASIC_STATS\":\"true\"}
260         numFiles                1                   
261         numRows                 25                  
262         rawDataSize             242                 
263         totalSize               267                 
264 #### A masked pattern was here ####
265                  
266 # Storage Information            
267 SerDe Library:          org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe       
268 InputFormat:            org.apache.hadoop.mapred.TextInputFormat         
269 OutputFormat:           org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat       
270 Compressed:             No                       
271 Num Buckets:            -1                       
272 Bucket Columns:         []                       
273 Sort Columns:           []                       
274 Storage Desc Params:             
275         serialization.format    1                   
276 PREHOOK: query: select * from x4
277 PREHOOK: type: QUERY
278 PREHOOK: Input: default@x4
279 #### A masked pattern was here ####
280 POSTHOOK: query: select * from x4
281 POSTHOOK: type: QUERY
282 POSTHOOK: Input: default@x4
283 #### A masked pattern was here ####
284                 1
285                 1
286                 1
287                 1
288         val_165 5
289         val_193 6
290         val_265 7
291         val_27  8
292         val_409 9
293         val_484 10
294 128             1
295 146     val_146 1
296 150     val_150 1
297 213     val_213 1
298 224             1
299 238     val_238 1
300 255     val_255 1
301 273     val_273 1
302 278     val_278 1
303 311     val_311 1
304 369             1
305 401     val_401 1
306 406     val_406 1
307 66      val_66  1
308 98      val_98  1
309 PREHOOK: query: explain
310 create table x5 as select *, lead(key,1) over(partition by key order by value) as lead1 from src limit 20
311 PREHOOK: type: CREATETABLE_AS_SELECT
312 POSTHOOK: query: explain
313 create table x5 as select *, lead(key,1) over(partition by key order by value) as lead1 from src limit 20
314 POSTHOOK: type: CREATETABLE_AS_SELECT
315 STAGE DEPENDENCIES:
316   Stage-1 is a root stage
317   Stage-2 depends on stages: Stage-1
318   Stage-0 depends on stages: Stage-2
319   Stage-4 depends on stages: Stage-0
320   Stage-3 depends on stages: Stage-4
321
322 STAGE PLANS:
323   Stage: Stage-1
324     Map Reduce
325       Map Operator Tree:
326           TableScan
327             alias: src
328             Statistics: Num rows: 500 Data size: 5312 Basic stats: COMPLETE Column stats: NONE
329             Reduce Output Operator
330               key expressions: key (type: string), value (type: string)
331               sort order: ++
332               Map-reduce partition columns: key (type: string)
333               Statistics: Num rows: 500 Data size: 5312 Basic stats: COMPLETE Column stats: NONE
334       Reduce Operator Tree:
335         Select Operator
336           expressions: KEY.reducesinkkey0 (type: string), KEY.reducesinkkey1 (type: string)
337           outputColumnNames: _col0, _col1
338           Statistics: Num rows: 500 Data size: 5312 Basic stats: COMPLETE Column stats: NONE
339           PTF Operator
340             Function definitions:
341                 Input definition
342                   input alias: ptf_0
343                   output shape: _col0: string, _col1: string
344                   type: WINDOWING
345                 Windowing table definition
346                   input alias: ptf_1
347                   name: windowingtablefunction
348                   order by: _col1 ASC NULLS FIRST
349                   partition by: _col0
350                   raw input shape:
351                   window functions:
352                       window function definition
353                         alias: lead_window_0
354                         arguments: _col0, 1
355                         name: lead
356                         window function: GenericUDAFLeadEvaluator
357                         window frame: ROWS PRECEDING(MAX)~FOLLOWING(MAX)
358                         isPivotResult: true
359             Statistics: Num rows: 500 Data size: 5312 Basic stats: COMPLETE Column stats: NONE
360             Select Operator
361               expressions: _col0 (type: string), _col1 (type: string), lead_window_0 (type: string)
362               outputColumnNames: _col0, _col1, _col2
363               Statistics: Num rows: 500 Data size: 5312 Basic stats: COMPLETE Column stats: NONE
364               Limit
365                 Number of rows: 20
366                 Statistics: Num rows: 20 Data size: 200 Basic stats: COMPLETE Column stats: NONE
367                 File Output Operator
368                   compressed: false
369                   table:
370                       input format: org.apache.hadoop.mapred.SequenceFileInputFormat
371                       output format: org.apache.hadoop.hive.ql.io.HiveSequenceFileOutputFormat
372                       serde: org.apache.hadoop.hive.serde2.lazybinary.LazyBinarySerDe
373
374   Stage: Stage-2
375     Map Reduce
376       Map Operator Tree:
377           TableScan
378             Reduce Output Operator
379               sort order: 
380               Statistics: Num rows: 20 Data size: 200 Basic stats: COMPLETE Column stats: NONE
381               TopN Hash Memory Usage: 0.1
382               value expressions: _col0 (type: string), _col1 (type: string), _col2 (type: string)
383       Reduce Operator Tree:
384         Select Operator
385           expressions: VALUE._col0 (type: string), VALUE._col1 (type: string), VALUE._col2 (type: string)
386           outputColumnNames: _col0, _col1, _col2
387           Statistics: Num rows: 20 Data size: 200 Basic stats: COMPLETE Column stats: NONE
388           Limit
389             Number of rows: 20
390             Statistics: Num rows: 20 Data size: 200 Basic stats: COMPLETE Column stats: NONE
391             File Output Operator
392               compressed: false
393               Statistics: Num rows: 20 Data size: 200 Basic stats: COMPLETE Column stats: NONE
394               table:
395                   input format: org.apache.hadoop.mapred.TextInputFormat
396                   output format: org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat
397                   serde: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
398                   name: default.x5
399
400   Stage: Stage-0
401     Move Operator
402       files:
403           hdfs directory: true
404 #### A masked pattern was here ####
405
406   Stage: Stage-4
407       Create Table Operator:
408         Create Table
409           columns: key string, value string, lead1 string
410           input format: org.apache.hadoop.mapred.TextInputFormat
411           output format: org.apache.hadoop.hive.ql.io.IgnoreKeyTextOutputFormat
412           serde name: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
413           name: default.x5
414
415   Stage: Stage-3
416     Stats Work
417       Basic Stats Work:
418
419 PREHOOK: query: create table x5 as select *, lead(key,1) over(partition by key order by value) as lead1 from src limit 20
420 PREHOOK: type: CREATETABLE_AS_SELECT
421 PREHOOK: Input: default@src
422 PREHOOK: Output: database:default
423 PREHOOK: Output: default@x5
424 POSTHOOK: query: create table x5 as select *, lead(key,1) over(partition by key order by value) as lead1 from src limit 20
425 POSTHOOK: type: CREATETABLE_AS_SELECT
426 POSTHOOK: Input: default@src
427 POSTHOOK: Output: database:default
428 POSTHOOK: Output: default@x5
429 POSTHOOK: Lineage: x5.key SIMPLE [(src)src.FieldSchema(name:key, type:string, comment:default), ]
430 POSTHOOK: Lineage: x5.lead1 SCRIPT [(src)src.FieldSchema(name:key, type:string, comment:default), (src)src.FieldSchema(name:value, type:string, comment:default), ]
431 POSTHOOK: Lineage: x5.value SIMPLE [(src)src.FieldSchema(name:value, type:string, comment:default), ]
432 PREHOOK: query: describe formatted x5
433 PREHOOK: type: DESCTABLE
434 PREHOOK: Input: default@x5
435 POSTHOOK: query: describe formatted x5
436 POSTHOOK: type: DESCTABLE
437 POSTHOOK: Input: default@x5
438 # col_name              data_type               comment             
439 key                     string                                      
440 value                   string                                      
441 lead1                   string                                      
442                  
443 # Detailed Table Information             
444 Database:               default                  
445 #### A masked pattern was here ####
446 Retention:              0                        
447 #### A masked pattern was here ####
448 Table Type:             MANAGED_TABLE            
449 Table Parameters:                
450         COLUMN_STATS_ACCURATE   {\"BASIC_STATS\":\"true\"}
451         numFiles                1                   
452         numRows                 20                  
453         rawDataSize             268                 
454         totalSize               288                 
455 #### A masked pattern was here ####
456                  
457 # Storage Information            
458 SerDe Library:          org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe       
459 InputFormat:            org.apache.hadoop.mapred.TextInputFormat         
460 OutputFormat:           org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat       
461 Compressed:             No                       
462 Num Buckets:            -1                       
463 Bucket Columns:         []                       
464 Sort Columns:           []                       
465 Storage Desc Params:             
466         serialization.format    1                   
467 PREHOOK: query: select * from x5
468 PREHOOK: type: QUERY
469 PREHOOK: Input: default@x5
470 #### A masked pattern was here ####
471 POSTHOOK: query: select * from x5
472 POSTHOOK: type: QUERY
473 POSTHOOK: Input: default@x5
474 #### A masked pattern was here ####
475 0       val_0   0
476 0       val_0   0
477 0       val_0   NULL
478 10      val_10  NULL
479 100     val_100 100
480 100     val_100 NULL
481 103     val_103 103
482 103     val_103 NULL
483 104     val_104 104
484 104     val_104 NULL
485 105     val_105 NULL
486 11      val_11  NULL
487 111     val_111 NULL
488 113     val_113 113
489 113     val_113 NULL
490 114     val_114 NULL
491 116     val_116 NULL
492 118     val_118 118
493 118     val_118 NULL
494 119     val_119 119
495 PREHOOK: query: explain
496 create table x6 as select * from (select *, key + 1 from src1) a
497 PREHOOK: type: CREATETABLE_AS_SELECT
498 POSTHOOK: query: explain
499 create table x6 as select * from (select *, key + 1 from src1) a
500 POSTHOOK: type: CREATETABLE_AS_SELECT
501 STAGE DEPENDENCIES:
502   Stage-1 is a root stage
503   Stage-7 depends on stages: Stage-1 , consists of Stage-4, Stage-3, Stage-5
504   Stage-4
505   Stage-0 depends on stages: Stage-4, Stage-3, Stage-6
506   Stage-8 depends on stages: Stage-0
507   Stage-2 depends on stages: Stage-8
508   Stage-3
509   Stage-5
510   Stage-6 depends on stages: Stage-5
511
512 STAGE PLANS:
513   Stage: Stage-1
514     Map Reduce
515       Map Operator Tree:
516           TableScan
517             alias: src1
518             Statistics: Num rows: 25 Data size: 191 Basic stats: COMPLETE Column stats: NONE
519             Select Operator
520               expressions: key (type: string), value (type: string), (UDFToDouble(key) + 1.0) (type: double)
521               outputColumnNames: _col0, _col1, _col2
522               Statistics: Num rows: 25 Data size: 191 Basic stats: COMPLETE Column stats: NONE
523               File Output Operator
524                 compressed: false
525                 Statistics: Num rows: 25 Data size: 191 Basic stats: COMPLETE Column stats: NONE
526                 table:
527                     input format: org.apache.hadoop.mapred.TextInputFormat
528                     output format: org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat
529                     serde: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
530                     name: default.x6
531
532   Stage: Stage-7
533     Conditional Operator
534
535   Stage: Stage-4
536     Move Operator
537       files:
538           hdfs directory: true
539 #### A masked pattern was here ####
540
541   Stage: Stage-0
542     Move Operator
543       files:
544           hdfs directory: true
545 #### A masked pattern was here ####
546
547   Stage: Stage-8
548       Create Table Operator:
549         Create Table
550           columns: key string, value string, _c1 double
551           input format: org.apache.hadoop.mapred.TextInputFormat
552           output format: org.apache.hadoop.hive.ql.io.IgnoreKeyTextOutputFormat
553           serde name: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
554           name: default.x6
555
556   Stage: Stage-2
557     Stats Work
558       Basic Stats Work:
559
560   Stage: Stage-3
561     Map Reduce
562       Map Operator Tree:
563           TableScan
564             File Output Operator
565               compressed: false
566               table:
567                   input format: org.apache.hadoop.mapred.TextInputFormat
568                   output format: org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat
569                   serde: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
570                   name: default.x6
571
572   Stage: Stage-5
573     Map Reduce
574       Map Operator Tree:
575           TableScan
576             File Output Operator
577               compressed: false
578               table:
579                   input format: org.apache.hadoop.mapred.TextInputFormat
580                   output format: org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat
581                   serde: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
582                   name: default.x6
583
584   Stage: Stage-6
585     Move Operator
586       files:
587           hdfs directory: true
588 #### A masked pattern was here ####
589
590 PREHOOK: query: create table x6 as select * from (select *, key + 1 from src1) a
591 PREHOOK: type: CREATETABLE_AS_SELECT
592 PREHOOK: Input: default@src1
593 PREHOOK: Output: database:default
594 PREHOOK: Output: default@x6
595 POSTHOOK: query: create table x6 as select * from (select *, key + 1 from src1) a
596 POSTHOOK: type: CREATETABLE_AS_SELECT
597 POSTHOOK: Input: default@src1
598 POSTHOOK: Output: database:default
599 POSTHOOK: Output: default@x6
600 POSTHOOK: Lineage: x6._c1 EXPRESSION [(src1)src1.FieldSchema(name:key, type:string, comment:default), ]
601 POSTHOOK: Lineage: x6.key SIMPLE [(src1)src1.FieldSchema(name:key, type:string, comment:default), ]
602 POSTHOOK: Lineage: x6.value SIMPLE [(src1)src1.FieldSchema(name:value, type:string, comment:default), ]
603 PREHOOK: query: describe formatted x6
604 PREHOOK: type: DESCTABLE
605 PREHOOK: Input: default@x6
606 POSTHOOK: query: describe formatted x6
607 POSTHOOK: type: DESCTABLE
608 POSTHOOK: Input: default@x6
609 # col_name              data_type               comment             
610 key                     string                                      
611 value                   string                                      
612 _c1                     double                                      
613                  
614 # Detailed Table Information             
615 Database:               default                  
616 #### A masked pattern was here ####
617 Retention:              0                        
618 #### A masked pattern was here ####
619 Table Type:             MANAGED_TABLE            
620 Table Parameters:                
621         COLUMN_STATS_ACCURATE   {\"BASIC_STATS\":\"true\"}
622         numFiles                1                   
623         numRows                 25                  
624         rawDataSize             309                 
625         totalSize               334                 
626 #### A masked pattern was here ####
627                  
628 # Storage Information            
629 SerDe Library:          org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe       
630 InputFormat:            org.apache.hadoop.mapred.TextInputFormat         
631 OutputFormat:           org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat       
632 Compressed:             No                       
633 Num Buckets:            -1                       
634 Bucket Columns:         []                       
635 Sort Columns:           []                       
636 Storage Desc Params:             
637         serialization.format    1                   
638 PREHOOK: query: select * from x6
639 PREHOOK: type: QUERY
640 PREHOOK: Input: default@x6
641 #### A masked pattern was here ####
642 POSTHOOK: query: select * from x6
643 POSTHOOK: type: QUERY
644 POSTHOOK: Input: default@x6
645 #### A masked pattern was here ####
646                 NULL
647                 NULL
648                 NULL
649                 NULL
650         val_165 NULL
651         val_193 NULL
652         val_265 NULL
653         val_27  NULL
654         val_409 NULL
655         val_484 NULL
656 128             129.0
657 146     val_146 147.0
658 150     val_150 151.0
659 213     val_213 214.0
660 224             225.0
661 238     val_238 239.0
662 255     val_255 256.0
663 273     val_273 274.0
664 278     val_278 279.0
665 311     val_311 312.0
666 369             370.0
667 401     val_401 402.0
668 406     val_406 407.0
669 66      val_66  67.0
670 98      val_98  99.0
671 PREHOOK: query: explain
672 create table x7 as select * from (select *, count(value) from src group by key, value) a
673 PREHOOK: type: CREATETABLE_AS_SELECT
674 POSTHOOK: query: explain
675 create table x7 as select * from (select *, count(value) from src group by key, value) a
676 POSTHOOK: type: CREATETABLE_AS_SELECT
677 STAGE DEPENDENCIES:
678   Stage-1 is a root stage
679   Stage-0 depends on stages: Stage-1
680   Stage-3 depends on stages: Stage-0
681   Stage-2 depends on stages: Stage-3
682
683 STAGE PLANS:
684   Stage: Stage-1
685     Map Reduce
686       Map Operator Tree:
687           TableScan
688             alias: src
689             Statistics: Num rows: 500 Data size: 5312 Basic stats: COMPLETE Column stats: NONE
690             Select Operator
691               expressions: key (type: string), value (type: string)
692               outputColumnNames: key, value
693               Statistics: Num rows: 500 Data size: 5312 Basic stats: COMPLETE Column stats: NONE
694               Group By Operator
695                 aggregations: count(value)
696                 keys: key (type: string), value (type: string)
697                 mode: hash
698                 outputColumnNames: _col0, _col1, _col2
699                 Statistics: Num rows: 500 Data size: 5312 Basic stats: COMPLETE Column stats: NONE
700                 Reduce Output Operator
701                   key expressions: _col0 (type: string), _col1 (type: string)
702                   sort order: ++
703                   Map-reduce partition columns: _col0 (type: string), _col1 (type: string)
704                   Statistics: Num rows: 500 Data size: 5312 Basic stats: COMPLETE Column stats: NONE
705                   value expressions: _col2 (type: bigint)
706       Reduce Operator Tree:
707         Group By Operator
708           aggregations: count(VALUE._col0)
709           keys: KEY._col0 (type: string), KEY._col1 (type: string)
710           mode: mergepartial
711           outputColumnNames: _col0, _col1, _col2
712           Statistics: Num rows: 250 Data size: 2656 Basic stats: COMPLETE Column stats: NONE
713           File Output Operator
714             compressed: false
715             Statistics: Num rows: 250 Data size: 2656 Basic stats: COMPLETE Column stats: NONE
716             table:
717                 input format: org.apache.hadoop.mapred.TextInputFormat
718                 output format: org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat
719                 serde: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
720                 name: default.x7
721
722   Stage: Stage-0
723     Move Operator
724       files:
725           hdfs directory: true
726 #### A masked pattern was here ####
727
728   Stage: Stage-3
729       Create Table Operator:
730         Create Table
731           columns: _col0 string, _col1 string, _c1 bigint
732           input format: org.apache.hadoop.mapred.TextInputFormat
733           output format: org.apache.hadoop.hive.ql.io.IgnoreKeyTextOutputFormat
734           serde name: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
735           name: default.x7
736
737   Stage: Stage-2
738     Stats Work
739       Basic Stats Work:
740
741 PREHOOK: query: create table x7 as select * from (select *, count(value) from src group by key, value) a
742 PREHOOK: type: CREATETABLE_AS_SELECT
743 PREHOOK: Input: default@src
744 PREHOOK: Output: database:default
745 PREHOOK: Output: default@x7
746 POSTHOOK: query: create table x7 as select * from (select *, count(value) from src group by key, value) a
747 POSTHOOK: type: CREATETABLE_AS_SELECT
748 POSTHOOK: Input: default@src
749 POSTHOOK: Output: database:default
750 POSTHOOK: Output: default@x7
751 POSTHOOK: Lineage: x7._c1 EXPRESSION [(src)src.FieldSchema(name:value, type:string, comment:default), ]
752 POSTHOOK: Lineage: x7._col0 SIMPLE [(src)src.FieldSchema(name:key, type:string, comment:default), ]
753 POSTHOOK: Lineage: x7._col1 SIMPLE [(src)src.FieldSchema(name:value, type:string, comment:default), ]
754 PREHOOK: query: describe formatted x7
755 PREHOOK: type: DESCTABLE
756 PREHOOK: Input: default@x7
757 POSTHOOK: query: describe formatted x7
758 POSTHOOK: type: DESCTABLE
759 POSTHOOK: Input: default@x7
760 # col_name              data_type               comment             
761 _col0                   string                                      
762 _col1                   string                                      
763 _c1                     bigint                                      
764                  
765 # Detailed Table Information             
766 Database:               default                  
767 #### A masked pattern was here ####
768 Retention:              0                        
769 #### A masked pattern was here ####
770 Table Type:             MANAGED_TABLE            
771 Table Parameters:                
772         COLUMN_STATS_ACCURATE   {\"BASIC_STATS\":\"true\"}
773         numFiles                1                   
774         numRows                 309                 
775         rawDataSize             3891                
776         totalSize               4200                
777 #### A masked pattern was here ####
778                  
779 # Storage Information            
780 SerDe Library:          org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe       
781 InputFormat:            org.apache.hadoop.mapred.TextInputFormat         
782 OutputFormat:           org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat       
783 Compressed:             No                       
784 Num Buckets:            -1                       
785 Bucket Columns:         []                       
786 Sort Columns:           []                       
787 Storage Desc Params:             
788         serialization.format    1                   
789 PREHOOK: query: select * from x7
790 PREHOOK: type: QUERY
791 PREHOOK: Input: default@x7
792 #### A masked pattern was here ####
793 POSTHOOK: query: select * from x7
794 POSTHOOK: type: QUERY
795 POSTHOOK: Input: default@x7
796 #### A masked pattern was here ####
797 0       val_0   3
798 10      val_10  1
799 100     val_100 2
800 103     val_103 2
801 104     val_104 2
802 105     val_105 1
803 11      val_11  1
804 111     val_111 1
805 113     val_113 2
806 114     val_114 1
807 116     val_116 1
808 118     val_118 2
809 119     val_119 3
810 12      val_12  2
811 120     val_120 2
812 125     val_125 2
813 126     val_126 1
814 128     val_128 3
815 129     val_129 2
816 131     val_131 1
817 133     val_133 1
818 134     val_134 2
819 136     val_136 1
820 137     val_137 2
821 138     val_138 4
822 143     val_143 1
823 145     val_145 1
824 146     val_146 2
825 149     val_149 2
826 15      val_15  2
827 150     val_150 1
828 152     val_152 2
829 153     val_153 1
830 155     val_155 1
831 156     val_156 1
832 157     val_157 1
833 158     val_158 1
834 160     val_160 1
835 162     val_162 1
836 163     val_163 1
837 164     val_164 2
838 165     val_165 2
839 166     val_166 1
840 167     val_167 3
841 168     val_168 1
842 169     val_169 4
843 17      val_17  1
844 170     val_170 1
845 172     val_172 2
846 174     val_174 2
847 175     val_175 2
848 176     val_176 2
849 177     val_177 1
850 178     val_178 1
851 179     val_179 2
852 18      val_18  2
853 180     val_180 1
854 181     val_181 1
855 183     val_183 1
856 186     val_186 1
857 187     val_187 3
858 189     val_189 1
859 19      val_19  1
860 190     val_190 1
861 191     val_191 2
862 192     val_192 1
863 193     val_193 3
864 194     val_194 1
865 195     val_195 2
866 196     val_196 1
867 197     val_197 2
868 199     val_199 3
869 2       val_2   1
870 20      val_20  1
871 200     val_200 2
872 201     val_201 1
873 202     val_202 1
874 203     val_203 2
875 205     val_205 2
876 207     val_207 2
877 208     val_208 3
878 209     val_209 2
879 213     val_213 2
880 214     val_214 1
881 216     val_216 2
882 217     val_217 2
883 218     val_218 1
884 219     val_219 2
885 221     val_221 2
886 222     val_222 1
887 223     val_223 2
888 224     val_224 2
889 226     val_226 1
890 228     val_228 1
891 229     val_229 2
892 230     val_230 5
893 233     val_233 2
894 235     val_235 1
895 237     val_237 2
896 238     val_238 2
897 239     val_239 2
898 24      val_24  2
899 241     val_241 1
900 242     val_242 2
901 244     val_244 1
902 247     val_247 1
903 248     val_248 1
904 249     val_249 1
905 252     val_252 1
906 255     val_255 2
907 256     val_256 2
908 257     val_257 1
909 258     val_258 1
910 26      val_26  2
911 260     val_260 1
912 262     val_262 1
913 263     val_263 1
914 265     val_265 2
915 266     val_266 1
916 27      val_27  1
917 272     val_272 2
918 273     val_273 3
919 274     val_274 1
920 275     val_275 1
921 277     val_277 4
922 278     val_278 2
923 28      val_28  1
924 280     val_280 2
925 281     val_281 2
926 282     val_282 2
927 283     val_283 1
928 284     val_284 1
929 285     val_285 1
930 286     val_286 1
931 287     val_287 1
932 288     val_288 2
933 289     val_289 1
934 291     val_291 1
935 292     val_292 1
936 296     val_296 1
937 298     val_298 3
938 30      val_30  1
939 302     val_302 1
940 305     val_305 1
941 306     val_306 1
942 307     val_307 2
943 308     val_308 1
944 309     val_309 2
945 310     val_310 1
946 311     val_311 3
947 315     val_315 1
948 316     val_316 3
949 317     val_317 2
950 318     val_318 3
951 321     val_321 2
952 322     val_322 2
953 323     val_323 1
954 325     val_325 2
955 327     val_327 3
956 33      val_33  1
957 331     val_331 2
958 332     val_332 1
959 333     val_333 2
960 335     val_335 1
961 336     val_336 1
962 338     val_338 1
963 339     val_339 1
964 34      val_34  1
965 341     val_341 1
966 342     val_342 2
967 344     val_344 2
968 345     val_345 1
969 348     val_348 5
970 35      val_35  3
971 351     val_351 1
972 353     val_353 2
973 356     val_356 1
974 360     val_360 1
975 362     val_362 1
976 364     val_364 1
977 365     val_365 1
978 366     val_366 1
979 367     val_367 2
980 368     val_368 1
981 369     val_369 3
982 37      val_37  2
983 373     val_373 1
984 374     val_374 1
985 375     val_375 1
986 377     val_377 1
987 378     val_378 1
988 379     val_379 1
989 382     val_382 2
990 384     val_384 3
991 386     val_386 1
992 389     val_389 1
993 392     val_392 1
994 393     val_393 1
995 394     val_394 1
996 395     val_395 2
997 396     val_396 3
998 397     val_397 2
999 399     val_399 2
1000 4       val_4   1
1001 400     val_400 1
1002 401     val_401 5
1003 402     val_402 1
1004 403     val_403 3
1005 404     val_404 2
1006 406     val_406 4
1007 407     val_407 1
1008 409     val_409 3
1009 41      val_41  1
1010 411     val_411 1
1011 413     val_413 2
1012 414     val_414 2
1013 417     val_417 3
1014 418     val_418 1
1015 419     val_419 1
1016 42      val_42  2
1017 421     val_421 1
1018 424     val_424 2
1019 427     val_427 1
1020 429     val_429 2
1021 43      val_43  1
1022 430     val_430 3
1023 431     val_431 3
1024 432     val_432 1
1025 435     val_435 1
1026 436     val_436 1
1027 437     val_437 1
1028 438     val_438 3
1029 439     val_439 2
1030 44      val_44  1
1031 443     val_443 1
1032 444     val_444 1
1033 446     val_446 1
1034 448     val_448 1
1035 449     val_449 1
1036 452     val_452 1
1037 453     val_453 1
1038 454     val_454 3
1039 455     val_455 1
1040 457     val_457 1
1041 458     val_458 2
1042 459     val_459 2
1043 460     val_460 1
1044 462     val_462 2
1045 463     val_463 2
1046 466     val_466 3
1047 467     val_467 1
1048 468     val_468 4
1049 469     val_469 5
1050 47      val_47  1
1051 470     val_470 1
1052 472     val_472 1
1053 475     val_475 1
1054 477     val_477 1
1055 478     val_478 2
1056 479     val_479 1
1057 480     val_480 3
1058 481     val_481 1
1059 482     val_482 1
1060 483     val_483 1
1061 484     val_484 1
1062 485     val_485 1
1063 487     val_487 1
1064 489     val_489 4
1065 490     val_490 1
1066 491     val_491 1
1067 492     val_492 2
1068 493     val_493 1
1069 494     val_494 1
1070 495     val_495 1
1071 496     val_496 1
1072 497     val_497 1
1073 498     val_498 3
1074 5       val_5   3
1075 51      val_51  2
1076 53      val_53  1
1077 54      val_54  1
1078 57      val_57  1
1079 58      val_58  2
1080 64      val_64  1
1081 65      val_65  1
1082 66      val_66  1
1083 67      val_67  2
1084 69      val_69  1
1085 70      val_70  3
1086 72      val_72  2
1087 74      val_74  1
1088 76      val_76  2
1089 77      val_77  1
1090 78      val_78  1
1091 8       val_8   1
1092 80      val_80  1
1093 82      val_82  1
1094 83      val_83  2
1095 84      val_84  2
1096 85      val_85  1
1097 86      val_86  1
1098 87      val_87  1
1099 9       val_9   1
1100 90      val_90  3
1101 92      val_92  1
1102 95      val_95  2
1103 96      val_96  1
1104 97      val_97  2
1105 98      val_98  2
1106 PREHOOK: query: explain
1107 create table x8 as select * from (select *, count(value) from src group by key, value having key < 9) a
1108 PREHOOK: type: CREATETABLE_AS_SELECT
1109 POSTHOOK: query: explain
1110 create table x8 as select * from (select *, count(value) from src group by key, value having key < 9) a
1111 POSTHOOK: type: CREATETABLE_AS_SELECT
1112 STAGE DEPENDENCIES:
1113   Stage-1 is a root stage
1114   Stage-0 depends on stages: Stage-1
1115   Stage-3 depends on stages: Stage-0
1116   Stage-2 depends on stages: Stage-3
1117
1118 STAGE PLANS:
1119   Stage: Stage-1
1120     Map Reduce
1121       Map Operator Tree:
1122           TableScan
1123             alias: src
1124             Statistics: Num rows: 500 Data size: 5312 Basic stats: COMPLETE Column stats: NONE
1125             Filter Operator
1126               predicate: (UDFToDouble(key) < 9.0) (type: boolean)
1127               Statistics: Num rows: 166 Data size: 1763 Basic stats: COMPLETE Column stats: NONE
1128               Group By Operator
1129                 aggregations: count(value)
1130                 keys: key (type: string), value (type: string)
1131                 mode: hash
1132                 outputColumnNames: _col0, _col1, _col2
1133                 Statistics: Num rows: 166 Data size: 1763 Basic stats: COMPLETE Column stats: NONE
1134                 Reduce Output Operator
1135                   key expressions: _col0 (type: string), _col1 (type: string)
1136                   sort order: ++
1137                   Map-reduce partition columns: _col0 (type: string), _col1 (type: string)
1138                   Statistics: Num rows: 166 Data size: 1763 Basic stats: COMPLETE Column stats: NONE
1139                   value expressions: _col2 (type: bigint)
1140       Reduce Operator Tree:
1141         Group By Operator
1142           aggregations: count(VALUE._col0)
1143           keys: KEY._col0 (type: string), KEY._col1 (type: string)
1144           mode: mergepartial
1145           outputColumnNames: _col0, _col1, _col2
1146           Statistics: Num rows: 83 Data size: 881 Basic stats: COMPLETE Column stats: NONE
1147           File Output Operator
1148             compressed: false
1149             Statistics: Num rows: 83 Data size: 881 Basic stats: COMPLETE Column stats: NONE
1150             table:
1151                 input format: org.apache.hadoop.mapred.TextInputFormat
1152                 output format: org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat
1153                 serde: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
1154                 name: default.x8
1155
1156   Stage: Stage-0
1157     Move Operator
1158       files:
1159           hdfs directory: true
1160 #### A masked pattern was here ####
1161
1162   Stage: Stage-3
1163       Create Table Operator:
1164         Create Table
1165           columns: _col0 string, _col1 string, _c1 bigint
1166           input format: org.apache.hadoop.mapred.TextInputFormat
1167           output format: org.apache.hadoop.hive.ql.io.IgnoreKeyTextOutputFormat
1168           serde name: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
1169           name: default.x8
1170
1171   Stage: Stage-2
1172     Stats Work
1173       Basic Stats Work:
1174
1175 PREHOOK: query: create table x8 as select * from (select *, count(value) from src group by key, value having key < 9) a
1176 PREHOOK: type: CREATETABLE_AS_SELECT
1177 PREHOOK: Input: default@src
1178 PREHOOK: Output: database:default
1179 PREHOOK: Output: default@x8
1180 POSTHOOK: query: create table x8 as select * from (select *, count(value) from src group by key, value having key < 9) a
1181 POSTHOOK: type: CREATETABLE_AS_SELECT
1182 POSTHOOK: Input: default@src
1183 POSTHOOK: Output: database:default
1184 POSTHOOK: Output: default@x8
1185 POSTHOOK: Lineage: x8._c1 EXPRESSION [(src)src.FieldSchema(name:value, type:string, comment:default), ]
1186 POSTHOOK: Lineage: x8._col0 SIMPLE [(src)src.FieldSchema(name:key, type:string, comment:default), ]
1187 POSTHOOK: Lineage: x8._col1 SIMPLE [(src)src.FieldSchema(name:value, type:string, comment:default), ]
1188 PREHOOK: query: describe formatted x8
1189 PREHOOK: type: DESCTABLE
1190 PREHOOK: Input: default@x8
1191 POSTHOOK: query: describe formatted x8
1192 POSTHOOK: type: DESCTABLE
1193 POSTHOOK: Input: default@x8
1194 # col_name              data_type               comment             
1195 _col0                   string                                      
1196 _col1                   string                                      
1197 _c1                     bigint                                      
1198                  
1199 # Detailed Table Information             
1200 Database:               default                  
1201 #### A masked pattern was here ####
1202 Retention:              0                        
1203 #### A masked pattern was here ####
1204 Table Type:             MANAGED_TABLE            
1205 Table Parameters:                
1206         COLUMN_STATS_ACCURATE   {\"BASIC_STATS\":\"true\"}
1207         numFiles                1                   
1208         numRows                 5                   
1209         rawDataSize             45                  
1210         totalSize               50                  
1211 #### A masked pattern was here ####
1212                  
1213 # Storage Information            
1214 SerDe Library:          org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe       
1215 InputFormat:            org.apache.hadoop.mapred.TextInputFormat         
1216 OutputFormat:           org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat       
1217 Compressed:             No                       
1218 Num Buckets:            -1                       
1219 Bucket Columns:         []                       
1220 Sort Columns:           []                       
1221 Storage Desc Params:             
1222         serialization.format    1                   
1223 PREHOOK: query: select * from x8
1224 PREHOOK: type: QUERY
1225 PREHOOK: Input: default@x8
1226 #### A masked pattern was here ####
1227 POSTHOOK: query: select * from x8
1228 POSTHOOK: type: QUERY
1229 POSTHOOK: Input: default@x8
1230 #### A masked pattern was here ####
1231 0       val_0   3
1232 2       val_2   1
1233 4       val_4   1
1234 5       val_5   3
1235 8       val_8   1
1236 PREHOOK: query: explain
1237 create table x9 as select * from (select max(value),key from src group by key having key < 9 AND max(value) IS NOT NULL) a
1238 PREHOOK: type: CREATETABLE_AS_SELECT
1239 POSTHOOK: query: explain
1240 create table x9 as select * from (select max(value),key from src group by key having key < 9 AND max(value) IS NOT NULL) a
1241 POSTHOOK: type: CREATETABLE_AS_SELECT
1242 STAGE DEPENDENCIES:
1243   Stage-1 is a root stage
1244   Stage-0 depends on stages: Stage-1
1245   Stage-3 depends on stages: Stage-0
1246   Stage-2 depends on stages: Stage-3
1247
1248 STAGE PLANS:
1249   Stage: Stage-1
1250     Map Reduce
1251       Map Operator Tree:
1252           TableScan
1253             alias: src
1254             Statistics: Num rows: 500 Data size: 5312 Basic stats: COMPLETE Column stats: NONE
1255             Filter Operator
1256               predicate: (UDFToDouble(key) < 9.0) (type: boolean)
1257               Statistics: Num rows: 166 Data size: 1763 Basic stats: COMPLETE Column stats: NONE
1258               Group By Operator
1259                 aggregations: max(value)
1260                 keys: key (type: string)
1261                 mode: hash
1262                 outputColumnNames: _col0, _col1
1263                 Statistics: Num rows: 166 Data size: 1763 Basic stats: COMPLETE Column stats: NONE
1264                 Reduce Output Operator
1265                   key expressions: _col0 (type: string)
1266                   sort order: +
1267                   Map-reduce partition columns: _col0 (type: string)
1268                   Statistics: Num rows: 166 Data size: 1763 Basic stats: COMPLETE Column stats: NONE
1269                   value expressions: _col1 (type: string)
1270       Reduce Operator Tree:
1271         Group By Operator
1272           aggregations: max(VALUE._col0)
1273           keys: KEY._col0 (type: string)
1274           mode: mergepartial
1275           outputColumnNames: _col0, _col1
1276           Statistics: Num rows: 83 Data size: 881 Basic stats: COMPLETE Column stats: NONE
1277           Filter Operator
1278             predicate: _col1 is not null (type: boolean)
1279             Statistics: Num rows: 83 Data size: 881 Basic stats: COMPLETE Column stats: NONE
1280             Select Operator
1281               expressions: _col1 (type: string), _col0 (type: string)
1282               outputColumnNames: _col0, _col1
1283               Statistics: Num rows: 83 Data size: 881 Basic stats: COMPLETE Column stats: NONE
1284               File Output Operator
1285                 compressed: false
1286                 Statistics: Num rows: 83 Data size: 881 Basic stats: COMPLETE Column stats: NONE
1287                 table:
1288                     input format: org.apache.hadoop.mapred.TextInputFormat
1289                     output format: org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat
1290                     serde: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
1291                     name: default.x9
1292
1293   Stage: Stage-0
1294     Move Operator
1295       files:
1296           hdfs directory: true
1297 #### A masked pattern was here ####
1298
1299   Stage: Stage-3
1300       Create Table Operator:
1301         Create Table
1302           columns: _c0 string, key string
1303           input format: org.apache.hadoop.mapred.TextInputFormat
1304           output format: org.apache.hadoop.hive.ql.io.IgnoreKeyTextOutputFormat
1305           serde name: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
1306           name: default.x9
1307
1308   Stage: Stage-2
1309     Stats Work
1310       Basic Stats Work:
1311
1312 PREHOOK: query: create table x9 as select * from (select max(value),key from src group by key having key < 9 AND max(value) IS NOT NULL) a
1313 PREHOOK: type: CREATETABLE_AS_SELECT
1314 PREHOOK: Input: default@src
1315 PREHOOK: Output: database:default
1316 PREHOOK: Output: default@x9
1317 POSTHOOK: query: create table x9 as select * from (select max(value),key from src group by key having key < 9 AND max(value) IS NOT NULL) a
1318 POSTHOOK: type: CREATETABLE_AS_SELECT
1319 POSTHOOK: Input: default@src
1320 POSTHOOK: Output: database:default
1321 POSTHOOK: Output: default@x9
1322 POSTHOOK: Lineage: x9._c0 EXPRESSION [(src)src.FieldSchema(name:value, type:string, comment:default), ]
1323 POSTHOOK: Lineage: x9.key SIMPLE [(src)src.FieldSchema(name:key, type:string, comment:default), ]
1324 PREHOOK: query: describe formatted x9
1325 PREHOOK: type: DESCTABLE
1326 PREHOOK: Input: default@x9
1327 POSTHOOK: query: describe formatted x9
1328 POSTHOOK: type: DESCTABLE
1329 POSTHOOK: Input: default@x9
1330 # col_name              data_type               comment             
1331 _c0                     string                                      
1332 key                     string                                      
1333                  
1334 # Detailed Table Information             
1335 Database:               default                  
1336 #### A masked pattern was here ####
1337 Retention:              0                        
1338 #### A masked pattern was here ####
1339 Table Type:             MANAGED_TABLE            
1340 Table Parameters:                
1341         COLUMN_STATS_ACCURATE   {\"BASIC_STATS\":\"true\"}
1342         numFiles                1                   
1343         numRows                 5                   
1344         rawDataSize             35                  
1345         totalSize               40                  
1346 #### A masked pattern was here ####
1347                  
1348 # Storage Information            
1349 SerDe Library:          org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe       
1350 InputFormat:            org.apache.hadoop.mapred.TextInputFormat         
1351 OutputFormat:           org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat       
1352 Compressed:             No                       
1353 Num Buckets:            -1                       
1354 Bucket Columns:         []                       
1355 Sort Columns:           []                       
1356 Storage Desc Params:             
1357         serialization.format    1                   
1358 PREHOOK: query: select * from x9
1359 PREHOOK: type: QUERY
1360 PREHOOK: Input: default@x9
1361 #### A masked pattern was here ####
1362 POSTHOOK: query: select * from x9
1363 POSTHOOK: type: QUERY
1364 POSTHOOK: Input: default@x9
1365 #### A masked pattern was here ####
1366 val_0   0
1367 val_2   2
1368 val_4   4
1369 val_5   5
1370 val_8   8