287557fac1a257e116f3cd14e84f24903d1e2dad
[hive.git] / accumulo-handler / src / test / results / positive / accumulo_queries.q.out
1 PREHOOK: query: DROP TABLE accumulo_table_1
2 PREHOOK: type: DROPTABLE
3 POSTHOOK: query: DROP TABLE accumulo_table_1
4 POSTHOOK: type: DROPTABLE
5 PREHOOK: query: CREATE TABLE accumulo_table_1(key int, value string) 
6 STORED BY 'org.apache.hadoop.hive.accumulo.AccumuloStorageHandler'
7 WITH SERDEPROPERTIES ("accumulo.columns.mapping" = ":rowID,cf:string")
8 TBLPROPERTIES ("accumulo.table.name" = "accumulo_table_0")
9 PREHOOK: type: CREATETABLE
10 PREHOOK: Output: database:default
11 PREHOOK: Output: default@accumulo_table_1
12 POSTHOOK: query: CREATE TABLE accumulo_table_1(key int, value string) 
13 STORED BY 'org.apache.hadoop.hive.accumulo.AccumuloStorageHandler'
14 WITH SERDEPROPERTIES ("accumulo.columns.mapping" = ":rowID,cf:string")
15 TBLPROPERTIES ("accumulo.table.name" = "accumulo_table_0")
16 POSTHOOK: type: CREATETABLE
17 POSTHOOK: Output: database:default
18 POSTHOOK: Output: default@accumulo_table_1
19 PREHOOK: query: DESCRIBE EXTENDED accumulo_table_1
20 PREHOOK: type: DESCTABLE
21 PREHOOK: Input: default@accumulo_table_1
22 POSTHOOK: query: DESCRIBE EXTENDED accumulo_table_1
23 POSTHOOK: type: DESCTABLE
24 POSTHOOK: Input: default@accumulo_table_1
25 key                     int                     from deserializer   
26 value                   string                  from deserializer   
27                  
28 #### A masked pattern was here ####
29 PREHOOK: query: select * from accumulo_table_1
30 PREHOOK: type: QUERY
31 PREHOOK: Input: default@accumulo_table_1
32 #### A masked pattern was here ####
33 POSTHOOK: query: select * from accumulo_table_1
34 POSTHOOK: type: QUERY
35 POSTHOOK: Input: default@accumulo_table_1
36 #### A masked pattern was here ####
37 PREHOOK: query: EXPLAIN FROM src INSERT OVERWRITE TABLE accumulo_table_1 SELECT * WHERE (key%2)=0
38 PREHOOK: type: QUERY
39 POSTHOOK: query: EXPLAIN FROM src INSERT OVERWRITE TABLE accumulo_table_1 SELECT * WHERE (key%2)=0
40 POSTHOOK: type: QUERY
41 STAGE DEPENDENCIES:
42   Stage-0 is a root stage
43   Stage-2
44   Stage-1 is a root stage
45   Stage-3 is a root stage
46
47 STAGE PLANS:
48   Stage: Stage-0
49       Alter Table Operator:
50         Alter Table
51           type: drop props
52           old name: default.accumulo_table_1
53           properties:
54             COLUMN_STATS_ACCURATE 
55
56   Stage: Stage-2
57       Insert operator:
58         Insert
59
60   Stage: Stage-1
61       Pre Insert operator:
62         Pre-Insert task
63
64   Stage: Stage-3
65     Map Reduce
66       Map Operator Tree:
67           TableScan
68             alias: src
69             Statistics: Num rows: 500 Data size: 5312 Basic stats: COMPLETE Column stats: NONE
70             Filter Operator
71               predicate: ((UDFToDouble(key) % 2.0) = 0.0) (type: boolean)
72               Statistics: Num rows: 250 Data size: 2656 Basic stats: COMPLETE Column stats: NONE
73               Select Operator
74                 expressions: UDFToInteger(key) (type: int), value (type: string)
75                 outputColumnNames: _col0, _col1
76                 Statistics: Num rows: 250 Data size: 2656 Basic stats: COMPLETE Column stats: NONE
77                 File Output Operator
78                   compressed: false
79                   Statistics: Num rows: 250 Data size: 2656 Basic stats: COMPLETE Column stats: NONE
80                   table:
81                       input format: org.apache.hadoop.hive.accumulo.mr.HiveAccumuloTableInputFormat
82                       output format: org.apache.hadoop.hive.accumulo.mr.HiveAccumuloTableOutputFormat
83                       serde: org.apache.hadoop.hive.accumulo.serde.AccumuloSerDe
84                       name: default.accumulo_table_1
85
86 PREHOOK: query: FROM src INSERT OVERWRITE TABLE accumulo_table_1 SELECT * WHERE (key%2)=0
87 PREHOOK: type: QUERY
88 PREHOOK: Input: default@src
89 PREHOOK: Output: default@accumulo_table_1
90 POSTHOOK: query: FROM src INSERT OVERWRITE TABLE accumulo_table_1 SELECT * WHERE (key%2)=0
91 POSTHOOK: type: QUERY
92 POSTHOOK: Input: default@src
93 POSTHOOK: Output: default@accumulo_table_1
94 PREHOOK: query: DROP TABLE accumulo_table_2
95 PREHOOK: type: DROPTABLE
96 POSTHOOK: query: DROP TABLE accumulo_table_2
97 POSTHOOK: type: DROPTABLE
98 PREHOOK: query: CREATE EXTERNAL TABLE accumulo_table_2(key int, value string) 
99 STORED BY 'org.apache.hadoop.hive.accumulo.AccumuloStorageHandler'
100 WITH SERDEPROPERTIES ("accumulo.columns.mapping" = ":rowID,cf:string")
101 TBLPROPERTIES ("accumulo.table.name" = "accumulo_table_0")
102 PREHOOK: type: CREATETABLE
103 PREHOOK: Output: database:default
104 PREHOOK: Output: default@accumulo_table_2
105 POSTHOOK: query: CREATE EXTERNAL TABLE accumulo_table_2(key int, value string) 
106 STORED BY 'org.apache.hadoop.hive.accumulo.AccumuloStorageHandler'
107 WITH SERDEPROPERTIES ("accumulo.columns.mapping" = ":rowID,cf:string")
108 TBLPROPERTIES ("accumulo.table.name" = "accumulo_table_0")
109 POSTHOOK: type: CREATETABLE
110 POSTHOOK: Output: database:default
111 POSTHOOK: Output: default@accumulo_table_2
112 PREHOOK: query: EXPLAIN 
113 SELECT Y.* 
114 FROM 
115 (SELECT accumulo_table_1.* FROM accumulo_table_1) x
116 JOIN 
117 (SELECT src.* FROM src) Y
118 ON (x.key = Y.key)
119 ORDER BY key, value LIMIT 20
120 PREHOOK: type: QUERY
121 POSTHOOK: query: EXPLAIN 
122 SELECT Y.* 
123 FROM 
124 (SELECT accumulo_table_1.* FROM accumulo_table_1) x
125 JOIN 
126 (SELECT src.* FROM src) Y
127 ON (x.key = Y.key)
128 ORDER BY key, value LIMIT 20
129 POSTHOOK: type: QUERY
130 STAGE DEPENDENCIES:
131   Stage-1 is a root stage
132   Stage-2 depends on stages: Stage-1
133   Stage-0 depends on stages: Stage-2
134
135 STAGE PLANS:
136   Stage: Stage-1
137     Map Reduce
138       Map Operator Tree:
139           TableScan
140             alias: accumulo_table_1
141             Statistics: Num rows: 1 Data size: 0 Basic stats: PARTIAL Column stats: NONE
142             Filter Operator
143               predicate: key is not null (type: boolean)
144               Statistics: Num rows: 1 Data size: 0 Basic stats: PARTIAL Column stats: NONE
145               Select Operator
146                 expressions: key (type: int)
147                 outputColumnNames: _col0
148                 Statistics: Num rows: 1 Data size: 0 Basic stats: PARTIAL Column stats: NONE
149                 Reduce Output Operator
150                   key expressions: UDFToDouble(_col0) (type: double)
151                   sort order: +
152                   Map-reduce partition columns: UDFToDouble(_col0) (type: double)
153                   Statistics: Num rows: 1 Data size: 0 Basic stats: PARTIAL Column stats: NONE
154           TableScan
155             alias: src
156             Statistics: Num rows: 500 Data size: 5312 Basic stats: COMPLETE Column stats: NONE
157             Filter Operator
158               predicate: key is not null (type: boolean)
159               Statistics: Num rows: 500 Data size: 5312 Basic stats: COMPLETE Column stats: NONE
160               Select Operator
161                 expressions: key (type: string), value (type: string)
162                 outputColumnNames: _col0, _col1
163                 Statistics: Num rows: 500 Data size: 5312 Basic stats: COMPLETE Column stats: NONE
164                 Reduce Output Operator
165                   key expressions: UDFToDouble(_col0) (type: double)
166                   sort order: +
167                   Map-reduce partition columns: UDFToDouble(_col0) (type: double)
168                   Statistics: Num rows: 500 Data size: 5312 Basic stats: COMPLETE Column stats: NONE
169                   value expressions: _col0 (type: string), _col1 (type: string)
170       Reduce Operator Tree:
171         Join Operator
172           condition map:
173                Inner Join 0 to 1
174           keys:
175             0 UDFToDouble(_col0) (type: double)
176             1 UDFToDouble(_col0) (type: double)
177           outputColumnNames: _col1, _col2
178           Statistics: Num rows: 550 Data size: 5843 Basic stats: PARTIAL Column stats: NONE
179           Select Operator
180             expressions: _col1 (type: string), _col2 (type: string)
181             outputColumnNames: _col0, _col1
182             Statistics: Num rows: 550 Data size: 5843 Basic stats: PARTIAL Column stats: NONE
183             File Output Operator
184               compressed: false
185               table:
186                   input format: org.apache.hadoop.mapred.SequenceFileInputFormat
187                   output format: org.apache.hadoop.hive.ql.io.HiveSequenceFileOutputFormat
188                   serde: org.apache.hadoop.hive.serde2.lazybinary.LazyBinarySerDe
189
190   Stage: Stage-2
191     Map Reduce
192       Map Operator Tree:
193           TableScan
194             Reduce Output Operator
195               key expressions: _col0 (type: string), _col1 (type: string)
196               sort order: ++
197               Statistics: Num rows: 550 Data size: 5843 Basic stats: PARTIAL Column stats: NONE
198               TopN Hash Memory Usage: 0.1
199       Reduce Operator Tree:
200         Select Operator
201           expressions: KEY.reducesinkkey0 (type: string), KEY.reducesinkkey1 (type: string)
202           outputColumnNames: _col0, _col1
203           Statistics: Num rows: 550 Data size: 5843 Basic stats: PARTIAL Column stats: NONE
204           Limit
205             Number of rows: 20
206             Statistics: Num rows: 20 Data size: 200 Basic stats: PARTIAL Column stats: NONE
207             File Output Operator
208               compressed: false
209               Statistics: Num rows: 20 Data size: 200 Basic stats: PARTIAL Column stats: NONE
210               table:
211                   input format: org.apache.hadoop.mapred.SequenceFileInputFormat
212                   output format: org.apache.hadoop.hive.ql.io.HiveSequenceFileOutputFormat
213                   serde: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
214
215   Stage: Stage-0
216     Fetch Operator
217       limit: 20
218       Processor Tree:
219         ListSink
220
221 PREHOOK: query: SELECT Y.* 
222 FROM 
223 (SELECT accumulo_table_1.* FROM accumulo_table_1) x
224 JOIN 
225 (SELECT src.* FROM src) Y
226 ON (x.key = Y.key)
227 ORDER BY key, value LIMIT 20
228 PREHOOK: type: QUERY
229 PREHOOK: Input: default@accumulo_table_1
230 PREHOOK: Input: default@src
231 #### A masked pattern was here ####
232 POSTHOOK: query: SELECT Y.* 
233 FROM 
234 (SELECT accumulo_table_1.* FROM accumulo_table_1) x
235 JOIN 
236 (SELECT src.* FROM src) Y
237 ON (x.key = Y.key)
238 ORDER BY key, value LIMIT 20
239 POSTHOOK: type: QUERY
240 POSTHOOK: Input: default@accumulo_table_1
241 POSTHOOK: Input: default@src
242 #### A masked pattern was here ####
243 0       val_0
244 0       val_0
245 0       val_0
246 10      val_10
247 100     val_100
248 100     val_100
249 104     val_104
250 104     val_104
251 114     val_114
252 116     val_116
253 118     val_118
254 118     val_118
255 12      val_12
256 12      val_12
257 120     val_120
258 120     val_120
259 126     val_126
260 128     val_128
261 128     val_128
262 128     val_128
263 PREHOOK: query: EXPLAIN 
264 SELECT Y.*
265 FROM 
266 (SELECT accumulo_table_1.* FROM accumulo_table_1 WHERE 100 < accumulo_table_1.key) x
267 JOIN 
268 (SELECT accumulo_table_2.* FROM accumulo_table_2 WHERE accumulo_table_2.key < 120) Y
269 ON (x.key = Y.key)
270 ORDER BY key, value
271 PREHOOK: type: QUERY
272 POSTHOOK: query: EXPLAIN 
273 SELECT Y.*
274 FROM 
275 (SELECT accumulo_table_1.* FROM accumulo_table_1 WHERE 100 < accumulo_table_1.key) x
276 JOIN 
277 (SELECT accumulo_table_2.* FROM accumulo_table_2 WHERE accumulo_table_2.key < 120) Y
278 ON (x.key = Y.key)
279 ORDER BY key, value
280 POSTHOOK: type: QUERY
281 STAGE DEPENDENCIES:
282   Stage-1 is a root stage
283   Stage-2 depends on stages: Stage-1
284   Stage-0 depends on stages: Stage-2
285
286 STAGE PLANS:
287   Stage: Stage-1
288     Map Reduce
289       Map Operator Tree:
290           TableScan
291             alias: accumulo_table_1
292             Statistics: Num rows: 1 Data size: 0 Basic stats: PARTIAL Column stats: NONE
293             Filter Operator
294               predicate: ((100 < key) and (key < 120)) (type: boolean)
295               Statistics: Num rows: 1 Data size: 0 Basic stats: PARTIAL Column stats: NONE
296               Select Operator
297                 expressions: key (type: int)
298                 outputColumnNames: _col0
299                 Statistics: Num rows: 1 Data size: 0 Basic stats: PARTIAL Column stats: NONE
300                 Reduce Output Operator
301                   key expressions: _col0 (type: int)
302                   sort order: +
303                   Map-reduce partition columns: _col0 (type: int)
304                   Statistics: Num rows: 1 Data size: 0 Basic stats: PARTIAL Column stats: NONE
305           TableScan
306             alias: accumulo_table_2
307             Statistics: Num rows: 1 Data size: 0 Basic stats: PARTIAL Column stats: NONE
308             Filter Operator
309               predicate: ((100 < key) and (key < 120)) (type: boolean)
310               Statistics: Num rows: 1 Data size: 0 Basic stats: PARTIAL Column stats: NONE
311               Select Operator
312                 expressions: key (type: int), value (type: string)
313                 outputColumnNames: _col0, _col1
314                 Statistics: Num rows: 1 Data size: 0 Basic stats: PARTIAL Column stats: NONE
315                 Reduce Output Operator
316                   key expressions: _col0 (type: int)
317                   sort order: +
318                   Map-reduce partition columns: _col0 (type: int)
319                   Statistics: Num rows: 1 Data size: 0 Basic stats: PARTIAL Column stats: NONE
320                   value expressions: _col1 (type: string)
321       Reduce Operator Tree:
322         Join Operator
323           condition map:
324                Inner Join 0 to 1
325           keys:
326             0 _col0 (type: int)
327             1 _col0 (type: int)
328           outputColumnNames: _col1, _col2
329           Statistics: Num rows: 1 Data size: 0 Basic stats: PARTIAL Column stats: NONE
330           Select Operator
331             expressions: _col1 (type: int), _col2 (type: string)
332             outputColumnNames: _col0, _col1
333             Statistics: Num rows: 1 Data size: 0 Basic stats: PARTIAL Column stats: NONE
334             File Output Operator
335               compressed: false
336               table:
337                   input format: org.apache.hadoop.mapred.SequenceFileInputFormat
338                   output format: org.apache.hadoop.hive.ql.io.HiveSequenceFileOutputFormat
339                   serde: org.apache.hadoop.hive.serde2.lazybinary.LazyBinarySerDe
340
341   Stage: Stage-2
342     Map Reduce
343       Map Operator Tree:
344           TableScan
345             Reduce Output Operator
346               key expressions: _col0 (type: int), _col1 (type: string)
347               sort order: ++
348               Statistics: Num rows: 1 Data size: 0 Basic stats: PARTIAL Column stats: NONE
349       Reduce Operator Tree:
350         Select Operator
351           expressions: KEY.reducesinkkey0 (type: int), KEY.reducesinkkey1 (type: string)
352           outputColumnNames: _col0, _col1
353           Statistics: Num rows: 1 Data size: 0 Basic stats: PARTIAL Column stats: NONE
354           File Output Operator
355             compressed: false
356             Statistics: Num rows: 1 Data size: 0 Basic stats: PARTIAL Column stats: NONE
357             table:
358                 input format: org.apache.hadoop.mapred.SequenceFileInputFormat
359                 output format: org.apache.hadoop.hive.ql.io.HiveSequenceFileOutputFormat
360                 serde: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
361
362   Stage: Stage-0
363     Fetch Operator
364       limit: -1
365       Processor Tree:
366         ListSink
367
368 PREHOOK: query: SELECT Y.*
369 FROM 
370 (SELECT accumulo_table_1.* FROM accumulo_table_1 WHERE 100 < accumulo_table_1.key) x
371 JOIN 
372 (SELECT accumulo_table_2.* FROM accumulo_table_2 WHERE accumulo_table_2.key < 120) Y
373 ON (x.key = Y.key)
374 ORDER BY key,value
375 PREHOOK: type: QUERY
376 PREHOOK: Input: default@accumulo_table_1
377 PREHOOK: Input: default@accumulo_table_2
378 #### A masked pattern was here ####
379 POSTHOOK: query: SELECT Y.*
380 FROM 
381 (SELECT accumulo_table_1.* FROM accumulo_table_1 WHERE 100 < accumulo_table_1.key) x
382 JOIN 
383 (SELECT accumulo_table_2.* FROM accumulo_table_2 WHERE accumulo_table_2.key < 120) Y
384 ON (x.key = Y.key)
385 ORDER BY key,value
386 POSTHOOK: type: QUERY
387 POSTHOOK: Input: default@accumulo_table_1
388 POSTHOOK: Input: default@accumulo_table_2
389 #### A masked pattern was here ####
390 104     val_104
391 114     val_114
392 116     val_116
393 118     val_118
394 PREHOOK: query: DROP TABLE empty_accumulo_table
395 PREHOOK: type: DROPTABLE
396 POSTHOOK: query: DROP TABLE empty_accumulo_table
397 POSTHOOK: type: DROPTABLE
398 PREHOOK: query: CREATE TABLE empty_accumulo_table(key int, value string) 
399 STORED BY 'org.apache.hadoop.hive.accumulo.AccumuloStorageHandler'
400 WITH SERDEPROPERTIES ("accumulo.columns.mapping" = ":rowID,cf:string")
401 PREHOOK: type: CREATETABLE
402 PREHOOK: Output: database:default
403 PREHOOK: Output: default@empty_accumulo_table
404 POSTHOOK: query: CREATE TABLE empty_accumulo_table(key int, value string) 
405 STORED BY 'org.apache.hadoop.hive.accumulo.AccumuloStorageHandler'
406 WITH SERDEPROPERTIES ("accumulo.columns.mapping" = ":rowID,cf:string")
407 POSTHOOK: type: CREATETABLE
408 POSTHOOK: Output: database:default
409 POSTHOOK: Output: default@empty_accumulo_table
410 PREHOOK: query: DROP TABLE empty_normal_table
411 PREHOOK: type: DROPTABLE
412 POSTHOOK: query: DROP TABLE empty_normal_table
413 POSTHOOK: type: DROPTABLE
414 PREHOOK: query: CREATE TABLE empty_normal_table(key int, value string)
415 PREHOOK: type: CREATETABLE
416 PREHOOK: Output: database:default
417 PREHOOK: Output: default@empty_normal_table
418 POSTHOOK: query: CREATE TABLE empty_normal_table(key int, value string)
419 POSTHOOK: type: CREATETABLE
420 POSTHOOK: Output: database:default
421 POSTHOOK: Output: default@empty_normal_table
422 PREHOOK: query: select * from (select count(1) as c from empty_normal_table union all select count(1) as c from empty_accumulo_table) x order by c
423 PREHOOK: type: QUERY
424 PREHOOK: Input: default@empty_accumulo_table
425 PREHOOK: Input: default@empty_normal_table
426 #### A masked pattern was here ####
427 POSTHOOK: query: select * from (select count(1) as c from empty_normal_table union all select count(1) as c from empty_accumulo_table) x order by c
428 POSTHOOK: type: QUERY
429 POSTHOOK: Input: default@empty_accumulo_table
430 POSTHOOK: Input: default@empty_normal_table
431 #### A masked pattern was here ####
432 0
433 0
434 PREHOOK: query: select * from (select count(1) c from empty_normal_table union all select count(1) as c from accumulo_table_1) x order by c
435 PREHOOK: type: QUERY
436 PREHOOK: Input: default@accumulo_table_1
437 PREHOOK: Input: default@empty_normal_table
438 #### A masked pattern was here ####
439 POSTHOOK: query: select * from (select count(1) c from empty_normal_table union all select count(1) as c from accumulo_table_1) x order by c
440 POSTHOOK: type: QUERY
441 POSTHOOK: Input: default@accumulo_table_1
442 POSTHOOK: Input: default@empty_normal_table
443 #### A masked pattern was here ####
444 0
445 155
446 PREHOOK: query: select * from (select count(1) c from src union all select count(1) as c from empty_accumulo_table) x order by c
447 PREHOOK: type: QUERY
448 PREHOOK: Input: default@empty_accumulo_table
449 PREHOOK: Input: default@src
450 #### A masked pattern was here ####
451 POSTHOOK: query: select * from (select count(1) c from src union all select count(1) as c from empty_accumulo_table) x order by c
452 POSTHOOK: type: QUERY
453 POSTHOOK: Input: default@empty_accumulo_table
454 POSTHOOK: Input: default@src
455 #### A masked pattern was here ####
456 0
457 500
458 PREHOOK: query: select * from (select count(1) c from src union all select count(1) as c from accumulo_table_1) x order by c
459 PREHOOK: type: QUERY
460 PREHOOK: Input: default@accumulo_table_1
461 PREHOOK: Input: default@src
462 #### A masked pattern was here ####
463 POSTHOOK: query: select * from (select count(1) c from src union all select count(1) as c from accumulo_table_1) x order by c
464 POSTHOOK: type: QUERY
465 POSTHOOK: Input: default@accumulo_table_1
466 POSTHOOK: Input: default@src
467 #### A masked pattern was here ####
468 155
469 500
470 PREHOOK: query: CREATE TABLE accumulo_table_3(key int, value string, count int) 
471 STORED BY 'org.apache.hadoop.hive.accumulo.AccumuloStorageHandler'
472 WITH SERDEPROPERTIES (
473 "accumulo.columns.mapping" = ":rowID,cf:val,cf2:count"
474 )
475 PREHOOK: type: CREATETABLE
476 PREHOOK: Output: database:default
477 PREHOOK: Output: default@accumulo_table_3
478 POSTHOOK: query: CREATE TABLE accumulo_table_3(key int, value string, count int) 
479 STORED BY 'org.apache.hadoop.hive.accumulo.AccumuloStorageHandler'
480 WITH SERDEPROPERTIES (
481 "accumulo.columns.mapping" = ":rowID,cf:val,cf2:count"
482 )
483 POSTHOOK: type: CREATETABLE
484 POSTHOOK: Output: database:default
485 POSTHOOK: Output: default@accumulo_table_3
486 PREHOOK: query: EXPLAIN 
487 INSERT OVERWRITE TABLE accumulo_table_3
488 SELECT x.key, x.value, Y.count 
489 FROM 
490 (SELECT accumulo_table_1.* FROM accumulo_table_1) x
491 JOIN 
492 (SELECT src.key, count(src.key) as count FROM src GROUP BY src.key) Y
493 ON (x.key = Y.key)
494 PREHOOK: type: QUERY
495 POSTHOOK: query: EXPLAIN 
496 INSERT OVERWRITE TABLE accumulo_table_3
497 SELECT x.key, x.value, Y.count 
498 FROM 
499 (SELECT accumulo_table_1.* FROM accumulo_table_1) x
500 JOIN 
501 (SELECT src.key, count(src.key) as count FROM src GROUP BY src.key) Y
502 ON (x.key = Y.key)
503 POSTHOOK: type: QUERY
504 STAGE DEPENDENCIES:
505   Stage-0 is a root stage
506   Stage-2
507   Stage-1 is a root stage
508   Stage-4 is a root stage
509   Stage-3 depends on stages: Stage-4
510
511 STAGE PLANS:
512   Stage: Stage-0
513       Alter Table Operator:
514         Alter Table
515           type: drop props
516           old name: default.accumulo_table_3
517           properties:
518             COLUMN_STATS_ACCURATE 
519
520   Stage: Stage-2
521       Insert operator:
522         Insert
523
524   Stage: Stage-1
525       Pre Insert operator:
526         Pre-Insert task
527
528   Stage: Stage-4
529     Map Reduce
530       Map Operator Tree:
531           TableScan
532             alias: src
533             Statistics: Num rows: 500 Data size: 5312 Basic stats: COMPLETE Column stats: NONE
534             Filter Operator
535               predicate: key is not null (type: boolean)
536               Statistics: Num rows: 500 Data size: 5312 Basic stats: COMPLETE Column stats: NONE
537               Group By Operator
538                 aggregations: count(key)
539                 keys: key (type: string)
540                 mode: hash
541                 outputColumnNames: _col0, _col1
542                 Statistics: Num rows: 500 Data size: 5312 Basic stats: COMPLETE Column stats: NONE
543                 Reduce Output Operator
544                   key expressions: _col0 (type: string)
545                   sort order: +
546                   Map-reduce partition columns: _col0 (type: string)
547                   Statistics: Num rows: 500 Data size: 5312 Basic stats: COMPLETE Column stats: NONE
548                   value expressions: _col1 (type: bigint)
549       Reduce Operator Tree:
550         Group By Operator
551           aggregations: count(VALUE._col0)
552           keys: KEY._col0 (type: string)
553           mode: mergepartial
554           outputColumnNames: _col0, _col1
555           Statistics: Num rows: 250 Data size: 2656 Basic stats: COMPLETE Column stats: NONE
556           File Output Operator
557             compressed: false
558             table:
559                 input format: org.apache.hadoop.mapred.SequenceFileInputFormat
560                 output format: org.apache.hadoop.hive.ql.io.HiveSequenceFileOutputFormat
561                 serde: org.apache.hadoop.hive.serde2.lazybinary.LazyBinarySerDe
562
563   Stage: Stage-3
564     Map Reduce
565       Map Operator Tree:
566           TableScan
567             alias: accumulo_table_1
568             Statistics: Num rows: 1 Data size: 0 Basic stats: PARTIAL Column stats: NONE
569             Filter Operator
570               predicate: key is not null (type: boolean)
571               Statistics: Num rows: 1 Data size: 0 Basic stats: PARTIAL Column stats: NONE
572               Select Operator
573                 expressions: key (type: int), value (type: string)
574                 outputColumnNames: _col0, _col1
575                 Statistics: Num rows: 1 Data size: 0 Basic stats: PARTIAL Column stats: NONE
576                 Reduce Output Operator
577                   key expressions: UDFToDouble(_col0) (type: double)
578                   sort order: +
579                   Map-reduce partition columns: UDFToDouble(_col0) (type: double)
580                   Statistics: Num rows: 1 Data size: 0 Basic stats: PARTIAL Column stats: NONE
581                   value expressions: _col0 (type: int), _col1 (type: string)
582           TableScan
583             Reduce Output Operator
584               key expressions: UDFToDouble(_col0) (type: double)
585               sort order: +
586               Map-reduce partition columns: UDFToDouble(_col0) (type: double)
587               Statistics: Num rows: 250 Data size: 2656 Basic stats: COMPLETE Column stats: NONE
588               value expressions: _col1 (type: bigint)
589       Reduce Operator Tree:
590         Join Operator
591           condition map:
592                Inner Join 0 to 1
593           keys:
594             0 UDFToDouble(_col0) (type: double)
595             1 UDFToDouble(_col0) (type: double)
596           outputColumnNames: _col0, _col1, _col3
597           Statistics: Num rows: 275 Data size: 2921 Basic stats: PARTIAL Column stats: NONE
598           Select Operator
599             expressions: _col0 (type: int), _col1 (type: string), UDFToInteger(_col3) (type: int)
600             outputColumnNames: _col0, _col1, _col2
601             Statistics: Num rows: 275 Data size: 2921 Basic stats: PARTIAL Column stats: NONE
602             File Output Operator
603               compressed: false
604               Statistics: Num rows: 275 Data size: 2921 Basic stats: PARTIAL Column stats: NONE
605               table:
606                   input format: org.apache.hadoop.hive.accumulo.mr.HiveAccumuloTableInputFormat
607                   output format: org.apache.hadoop.hive.accumulo.mr.HiveAccumuloTableOutputFormat
608                   serde: org.apache.hadoop.hive.accumulo.serde.AccumuloSerDe
609                   name: default.accumulo_table_3
610
611 PREHOOK: query: INSERT OVERWRITE TABLE accumulo_table_3
612 SELECT x.key, x.value, Y.count 
613 FROM 
614 (SELECT accumulo_table_1.* FROM accumulo_table_1) x
615 JOIN 
616 (SELECT src.key, count(src.key) as count FROM src GROUP BY src.key) Y
617 ON (x.key = Y.key)
618 PREHOOK: type: QUERY
619 PREHOOK: Input: default@accumulo_table_1
620 PREHOOK: Input: default@src
621 PREHOOK: Output: default@accumulo_table_3
622 POSTHOOK: query: INSERT OVERWRITE TABLE accumulo_table_3
623 SELECT x.key, x.value, Y.count 
624 FROM 
625 (SELECT accumulo_table_1.* FROM accumulo_table_1) x
626 JOIN 
627 (SELECT src.key, count(src.key) as count FROM src GROUP BY src.key) Y
628 ON (x.key = Y.key)
629 POSTHOOK: type: QUERY
630 POSTHOOK: Input: default@accumulo_table_1
631 POSTHOOK: Input: default@src
632 POSTHOOK: Output: default@accumulo_table_3
633 PREHOOK: query: select count(1) from accumulo_table_3
634 PREHOOK: type: QUERY
635 PREHOOK: Input: default@accumulo_table_3
636 #### A masked pattern was here ####
637 POSTHOOK: query: select count(1) from accumulo_table_3
638 POSTHOOK: type: QUERY
639 POSTHOOK: Input: default@accumulo_table_3
640 #### A masked pattern was here ####
641 155
642 PREHOOK: query: select * from accumulo_table_3 order by key, value limit 5
643 PREHOOK: type: QUERY
644 PREHOOK: Input: default@accumulo_table_3
645 #### A masked pattern was here ####
646 POSTHOOK: query: select * from accumulo_table_3 order by key, value limit 5
647 POSTHOOK: type: QUERY
648 POSTHOOK: Input: default@accumulo_table_3
649 #### A masked pattern was here ####
650 0       val_0   3
651 2       val_2   1
652 4       val_4   1
653 8       val_8   1
654 10      val_10  1
655 PREHOOK: query: select key, count from accumulo_table_3 order by key, count desc limit 5
656 PREHOOK: type: QUERY
657 PREHOOK: Input: default@accumulo_table_3
658 #### A masked pattern was here ####
659 POSTHOOK: query: select key, count from accumulo_table_3 order by key, count desc limit 5
660 POSTHOOK: type: QUERY
661 POSTHOOK: Input: default@accumulo_table_3
662 #### A masked pattern was here ####
663 0       3
664 2       1
665 4       1
666 8       1
667 10      1
668 PREHOOK: query: DROP TABLE accumulo_table_4
669 PREHOOK: type: DROPTABLE
670 POSTHOOK: query: DROP TABLE accumulo_table_4
671 POSTHOOK: type: DROPTABLE
672 PREHOOK: query: CREATE TABLE accumulo_table_4(key int, value1 string, value2 int, value3 int) 
673 STORED BY 'org.apache.hadoop.hive.accumulo.AccumuloStorageHandler'
674 WITH SERDEPROPERTIES (
675 "accumulo.columns.mapping" = ":rowID,a:b,a:c,d:e"
676 )
677 PREHOOK: type: CREATETABLE
678 PREHOOK: Output: database:default
679 PREHOOK: Output: default@accumulo_table_4
680 POSTHOOK: query: CREATE TABLE accumulo_table_4(key int, value1 string, value2 int, value3 int) 
681 STORED BY 'org.apache.hadoop.hive.accumulo.AccumuloStorageHandler'
682 WITH SERDEPROPERTIES (
683 "accumulo.columns.mapping" = ":rowID,a:b,a:c,d:e"
684 )
685 POSTHOOK: type: CREATETABLE
686 POSTHOOK: Output: database:default
687 POSTHOOK: Output: default@accumulo_table_4
688 PREHOOK: query: INSERT OVERWRITE TABLE accumulo_table_4 SELECT key, value, key+1, key+2 
689 FROM src WHERE key=98 OR key=100
690 PREHOOK: type: QUERY
691 PREHOOK: Input: default@src
692 PREHOOK: Output: default@accumulo_table_4
693 POSTHOOK: query: INSERT OVERWRITE TABLE accumulo_table_4 SELECT key, value, key+1, key+2 
694 FROM src WHERE key=98 OR key=100
695 POSTHOOK: type: QUERY
696 POSTHOOK: Input: default@src
697 POSTHOOK: Output: default@accumulo_table_4
698 PREHOOK: query: SELECT * FROM accumulo_table_4 ORDER BY key
699 PREHOOK: type: QUERY
700 PREHOOK: Input: default@accumulo_table_4
701 #### A masked pattern was here ####
702 POSTHOOK: query: SELECT * FROM accumulo_table_4 ORDER BY key
703 POSTHOOK: type: QUERY
704 POSTHOOK: Input: default@accumulo_table_4
705 #### A masked pattern was here ####
706 98      val_98  99      100
707 100     val_100 101     102
708 PREHOOK: query: DROP TABLE accumulo_table_5
709 PREHOOK: type: DROPTABLE
710 POSTHOOK: query: DROP TABLE accumulo_table_5
711 POSTHOOK: type: DROPTABLE
712 PREHOOK: query: CREATE EXTERNAL TABLE accumulo_table_5(key int, value map<string,string>) 
713 STORED BY 'org.apache.hadoop.hive.accumulo.AccumuloStorageHandler'
714 WITH SERDEPROPERTIES ("accumulo.columns.mapping" = ":rowID,a:*")
715 TBLPROPERTIES ("accumulo.table.name" = "accumulo_table_4")
716 PREHOOK: type: CREATETABLE
717 PREHOOK: Output: database:default
718 PREHOOK: Output: default@accumulo_table_5
719 POSTHOOK: query: CREATE EXTERNAL TABLE accumulo_table_5(key int, value map<string,string>) 
720 STORED BY 'org.apache.hadoop.hive.accumulo.AccumuloStorageHandler'
721 WITH SERDEPROPERTIES ("accumulo.columns.mapping" = ":rowID,a:*")
722 TBLPROPERTIES ("accumulo.table.name" = "accumulo_table_4")
723 POSTHOOK: type: CREATETABLE
724 POSTHOOK: Output: database:default
725 POSTHOOK: Output: default@accumulo_table_5
726 PREHOOK: query: SELECT * FROM accumulo_table_5 ORDER BY key
727 PREHOOK: type: QUERY
728 PREHOOK: Input: default@accumulo_table_5
729 #### A masked pattern was here ####
730 POSTHOOK: query: SELECT * FROM accumulo_table_5 ORDER BY key
731 POSTHOOK: type: QUERY
732 POSTHOOK: Input: default@accumulo_table_5
733 #### A masked pattern was here ####
734 98      {"b":"val_98","c":"99"}
735 100     {"b":"val_100","c":"101"}
736 PREHOOK: query: DROP TABLE accumulo_table_6
737 PREHOOK: type: DROPTABLE
738 POSTHOOK: query: DROP TABLE accumulo_table_6
739 POSTHOOK: type: DROPTABLE
740 PREHOOK: query: CREATE TABLE accumulo_table_6(key int, value map<string,string>) 
741 STORED BY 'org.apache.hadoop.hive.accumulo.AccumuloStorageHandler'
742 WITH SERDEPROPERTIES (
743 "accumulo.columns.mapping" = ":rowID,cf:*"
744 )
745 PREHOOK: type: CREATETABLE
746 PREHOOK: Output: database:default
747 PREHOOK: Output: default@accumulo_table_6
748 POSTHOOK: query: CREATE TABLE accumulo_table_6(key int, value map<string,string>) 
749 STORED BY 'org.apache.hadoop.hive.accumulo.AccumuloStorageHandler'
750 WITH SERDEPROPERTIES (
751 "accumulo.columns.mapping" = ":rowID,cf:*"
752 )
753 POSTHOOK: type: CREATETABLE
754 POSTHOOK: Output: database:default
755 POSTHOOK: Output: default@accumulo_table_6
756 PREHOOK: query: INSERT OVERWRITE TABLE accumulo_table_6 SELECT key, map(value, key) FROM src
757 WHERE key=98 OR key=100
758 PREHOOK: type: QUERY
759 PREHOOK: Input: default@src
760 PREHOOK: Output: default@accumulo_table_6
761 POSTHOOK: query: INSERT OVERWRITE TABLE accumulo_table_6 SELECT key, map(value, key) FROM src
762 WHERE key=98 OR key=100
763 POSTHOOK: type: QUERY
764 POSTHOOK: Input: default@src
765 POSTHOOK: Output: default@accumulo_table_6
766 PREHOOK: query: SELECT * FROM accumulo_table_6 ORDER BY key
767 PREHOOK: type: QUERY
768 PREHOOK: Input: default@accumulo_table_6
769 #### A masked pattern was here ####
770 POSTHOOK: query: SELECT * FROM accumulo_table_6 ORDER BY key
771 POSTHOOK: type: QUERY
772 POSTHOOK: Input: default@accumulo_table_6
773 #### A masked pattern was here ####
774 98      {"val_98":"98"}
775 100     {"val_100":"100"}
776 PREHOOK: query: DROP TABLE accumulo_table_7
777 PREHOOK: type: DROPTABLE
778 POSTHOOK: query: DROP TABLE accumulo_table_7
779 POSTHOOK: type: DROPTABLE
780 PREHOOK: query: CREATE TABLE accumulo_table_7(value map<string,string>, key int) 
781 STORED BY 'org.apache.hadoop.hive.accumulo.AccumuloStorageHandler'
782 WITH SERDEPROPERTIES (
783 "accumulo.columns.mapping" = "cf:*,:rowID"
784 )
785 PREHOOK: type: CREATETABLE
786 PREHOOK: Output: database:default
787 PREHOOK: Output: default@accumulo_table_7
788 POSTHOOK: query: CREATE TABLE accumulo_table_7(value map<string,string>, key int) 
789 STORED BY 'org.apache.hadoop.hive.accumulo.AccumuloStorageHandler'
790 WITH SERDEPROPERTIES (
791 "accumulo.columns.mapping" = "cf:*,:rowID"
792 )
793 POSTHOOK: type: CREATETABLE
794 POSTHOOK: Output: database:default
795 POSTHOOK: Output: default@accumulo_table_7
796 PREHOOK: query: INSERT OVERWRITE TABLE accumulo_table_7 
797 SELECT map(value, key, upper(value), key+1), key FROM src
798 WHERE key=98 OR key=100
799 PREHOOK: type: QUERY
800 PREHOOK: Input: default@src
801 PREHOOK: Output: default@accumulo_table_7
802 POSTHOOK: query: INSERT OVERWRITE TABLE accumulo_table_7 
803 SELECT map(value, key, upper(value), key+1), key FROM src
804 WHERE key=98 OR key=100
805 POSTHOOK: type: QUERY
806 POSTHOOK: Input: default@src
807 POSTHOOK: Output: default@accumulo_table_7
808 PREHOOK: query: SELECT * FROM accumulo_table_7 ORDER BY key
809 PREHOOK: type: QUERY
810 PREHOOK: Input: default@accumulo_table_7
811 #### A masked pattern was here ####
812 POSTHOOK: query: SELECT * FROM accumulo_table_7 ORDER BY key
813 POSTHOOK: type: QUERY
814 POSTHOOK: Input: default@accumulo_table_7
815 #### A masked pattern was here ####
816 {"VAL_98":"99.0","val_98":"98"} 98
817 {"VAL_100":"101.0","val_100":"100"}     100
818 PREHOOK: query: DROP TABLE accumulo_table_8
819 PREHOOK: type: DROPTABLE
820 POSTHOOK: query: DROP TABLE accumulo_table_8
821 POSTHOOK: type: DROPTABLE
822 PREHOOK: query: CREATE TABLE accumulo_table_8(key int, value1 string, value2 int, value3 int) 
823 STORED BY 'org.apache.hadoop.hive.accumulo.AccumuloStorageHandler'
824 WITH SERDEPROPERTIES (
825 "accumulo.columns.mapping" = ":rowID,a:b,a:c,d:e"
826 )
827 PREHOOK: type: CREATETABLE
828 PREHOOK: Output: database:default
829 PREHOOK: Output: default@accumulo_table_8
830 POSTHOOK: query: CREATE TABLE accumulo_table_8(key int, value1 string, value2 int, value3 int) 
831 STORED BY 'org.apache.hadoop.hive.accumulo.AccumuloStorageHandler'
832 WITH SERDEPROPERTIES (
833 "accumulo.columns.mapping" = ":rowID,a:b,a:c,d:e"
834 )
835 POSTHOOK: type: CREATETABLE
836 POSTHOOK: Output: database:default
837 POSTHOOK: Output: default@accumulo_table_8
838 PREHOOK: query: INSERT OVERWRITE TABLE accumulo_table_8 SELECT key, value, key+1, key+2 
839 FROM src WHERE key=98 OR key=100
840 PREHOOK: type: QUERY
841 PREHOOK: Input: default@src
842 PREHOOK: Output: default@accumulo_table_8
843 POSTHOOK: query: INSERT OVERWRITE TABLE accumulo_table_8 SELECT key, value, key+1, key+2 
844 FROM src WHERE key=98 OR key=100
845 POSTHOOK: type: QUERY
846 POSTHOOK: Input: default@src
847 POSTHOOK: Output: default@accumulo_table_8
848 PREHOOK: query: SELECT * FROM accumulo_table_8 ORDER BY key
849 PREHOOK: type: QUERY
850 PREHOOK: Input: default@accumulo_table_8
851 #### A masked pattern was here ####
852 POSTHOOK: query: SELECT * FROM accumulo_table_8 ORDER BY key
853 POSTHOOK: type: QUERY
854 POSTHOOK: Input: default@accumulo_table_8
855 #### A masked pattern was here ####
856 98      val_98  99      100
857 100     val_100 101     102
858 PREHOOK: query: DROP TABLE accumulo_table_1
859 PREHOOK: type: DROPTABLE
860 PREHOOK: Input: default@accumulo_table_1
861 PREHOOK: Output: default@accumulo_table_1
862 POSTHOOK: query: DROP TABLE accumulo_table_1
863 POSTHOOK: type: DROPTABLE
864 POSTHOOK: Input: default@accumulo_table_1
865 POSTHOOK: Output: default@accumulo_table_1
866 PREHOOK: query: DROP TABLE accumulo_table_2
867 PREHOOK: type: DROPTABLE
868 PREHOOK: Input: default@accumulo_table_2
869 PREHOOK: Output: default@accumulo_table_2
870 POSTHOOK: query: DROP TABLE accumulo_table_2
871 POSTHOOK: type: DROPTABLE
872 POSTHOOK: Input: default@accumulo_table_2
873 POSTHOOK: Output: default@accumulo_table_2
874 PREHOOK: query: DROP TABLE accumulo_table_3
875 PREHOOK: type: DROPTABLE
876 PREHOOK: Input: default@accumulo_table_3
877 PREHOOK: Output: default@accumulo_table_3
878 POSTHOOK: query: DROP TABLE accumulo_table_3
879 POSTHOOK: type: DROPTABLE
880 POSTHOOK: Input: default@accumulo_table_3
881 POSTHOOK: Output: default@accumulo_table_3
882 PREHOOK: query: DROP TABLE accumulo_table_4
883 PREHOOK: type: DROPTABLE
884 PREHOOK: Input: default@accumulo_table_4
885 PREHOOK: Output: default@accumulo_table_4
886 POSTHOOK: query: DROP TABLE accumulo_table_4
887 POSTHOOK: type: DROPTABLE
888 POSTHOOK: Input: default@accumulo_table_4
889 POSTHOOK: Output: default@accumulo_table_4
890 PREHOOK: query: DROP TABLE accumulo_table_5
891 PREHOOK: type: DROPTABLE
892 PREHOOK: Input: default@accumulo_table_5
893 PREHOOK: Output: default@accumulo_table_5
894 POSTHOOK: query: DROP TABLE accumulo_table_5
895 POSTHOOK: type: DROPTABLE
896 POSTHOOK: Input: default@accumulo_table_5
897 POSTHOOK: Output: default@accumulo_table_5
898 PREHOOK: query: DROP TABLE accumulo_table_6
899 PREHOOK: type: DROPTABLE
900 PREHOOK: Input: default@accumulo_table_6
901 PREHOOK: Output: default@accumulo_table_6
902 POSTHOOK: query: DROP TABLE accumulo_table_6
903 POSTHOOK: type: DROPTABLE
904 POSTHOOK: Input: default@accumulo_table_6
905 POSTHOOK: Output: default@accumulo_table_6
906 PREHOOK: query: DROP TABLE accumulo_table_7
907 PREHOOK: type: DROPTABLE
908 PREHOOK: Input: default@accumulo_table_7
909 PREHOOK: Output: default@accumulo_table_7
910 POSTHOOK: query: DROP TABLE accumulo_table_7
911 POSTHOOK: type: DROPTABLE
912 POSTHOOK: Input: default@accumulo_table_7
913 POSTHOOK: Output: default@accumulo_table_7
914 PREHOOK: query: DROP TABLE accumulo_table_8
915 PREHOOK: type: DROPTABLE
916 PREHOOK: Input: default@accumulo_table_8
917 PREHOOK: Output: default@accumulo_table_8
918 POSTHOOK: query: DROP TABLE accumulo_table_8
919 POSTHOOK: type: DROPTABLE
920 POSTHOOK: Input: default@accumulo_table_8
921 POSTHOOK: Output: default@accumulo_table_8
922 PREHOOK: query: DROP TABLE empty_accumulo_table
923 PREHOOK: type: DROPTABLE
924 PREHOOK: Input: default@empty_accumulo_table
925 PREHOOK: Output: default@empty_accumulo_table
926 POSTHOOK: query: DROP TABLE empty_accumulo_table
927 POSTHOOK: type: DROPTABLE
928 POSTHOOK: Input: default@empty_accumulo_table
929 POSTHOOK: Output: default@empty_accumulo_table
930 PREHOOK: query: DROP TABLE empty_normal_table
931 PREHOOK: type: DROPTABLE
932 PREHOOK: Input: default@empty_normal_table
933 PREHOOK: Output: default@empty_normal_table
934 POSTHOOK: query: DROP TABLE empty_normal_table
935 POSTHOOK: type: DROPTABLE
936 POSTHOOK: Input: default@empty_normal_table
937 POSTHOOK: Output: default@empty_normal_table