ql/src/test/results/clientpositive/groupby_position.q.out

   1 PREHOOK: query: CREATE TABLE testTable1(key INT, value STRING) STORED AS TEXTFILE
   2 PREHOOK: type: CREATETABLE
   3 PREHOOK: Output: database:default
   4 PREHOOK: Output: default@testTable1
   5 POSTHOOK: query: CREATE TABLE testTable1(key INT, value STRING) STORED AS TEXTFILE
   6 POSTHOOK: type: CREATETABLE
   7 POSTHOOK: Output: database:default
   8 POSTHOOK: Output: default@testTable1
   9 PREHOOK: query: CREATE TABLE testTable2(key INT, val1 STRING, val2 STRING) STORED AS TEXTFILE
  10 PREHOOK: type: CREATETABLE
  11 PREHOOK: Output: database:default
  12 PREHOOK: Output: default@testTable2
  13 POSTHOOK: query: CREATE TABLE testTable2(key INT, val1 STRING, val2 STRING) STORED AS TEXTFILE
  14 POSTHOOK: type: CREATETABLE
  15 POSTHOOK: Output: database:default
  16 POSTHOOK: Output: default@testTable2
  17 PREHOOK: query: EXPLAIN
  18 FROM SRC
  19 INSERT OVERWRITE TABLE testTable1 SELECT SRC.key, COUNT(DISTINCT SUBSTR(SRC.value,5)) WHERE SRC.key < 20 GROUP BY 1
  20 INSERT OVERWRITE TABLE testTable2 SELECT SRC.key, SRC.value, COUNT(DISTINCT SUBSTR(SRC.value,5)) WHERE SRC.key < 20 GROUP BY 1, 2
  21 PREHOOK: type: QUERY
  22 POSTHOOK: query: EXPLAIN
  23 FROM SRC
  24 INSERT OVERWRITE TABLE testTable1 SELECT SRC.key, COUNT(DISTINCT SUBSTR(SRC.value,5)) WHERE SRC.key < 20 GROUP BY 1
  25 INSERT OVERWRITE TABLE testTable2 SELECT SRC.key, SRC.value, COUNT(DISTINCT SUBSTR(SRC.value,5)) WHERE SRC.key < 20 GROUP BY 1, 2
  26 POSTHOOK: type: QUERY
  27 STAGE DEPENDENCIES:
  28   Stage-2 is a root stage
  29   Stage-0 depends on stages: Stage-2
  30   Stage-3 depends on stages: Stage-0, Stage-4, Stage-7
  31   Stage-4 depends on stages: Stage-2
  32   Stage-6 depends on stages: Stage-1, Stage-4, Stage-7
  33   Stage-5 depends on stages: Stage-2
  34   Stage-1 depends on stages: Stage-5
  35   Stage-7 depends on stages: Stage-5
  36
  37 STAGE PLANS:
  38   Stage: Stage-2
  39     Map Reduce
  40       Map Operator Tree:
  41           TableScan
  42             alias: src
  43             Statistics: Num rows: 500 Data size: 5312 Basic stats: COMPLETE Column stats: NONE
  44             Filter Operator
  45               predicate: (key < 20) (type: boolean)
  46               Statistics: Num rows: 166 Data size: 1763 Basic stats: COMPLETE Column stats: NONE
  47               Group By Operator
  48                 aggregations: count(DISTINCT substr(value, 5))
  49                 keys: key (type: string), substr(value, 5) (type: string)
  50                 mode: hash
  51                 outputColumnNames: _col0, _col1, _col2
  52                 Statistics: Num rows: 166 Data size: 1763 Basic stats: COMPLETE Column stats: NONE
  53                 Reduce Output Operator
  54                   key expressions: _col0 (type: string), _col1 (type: string)
  55                   sort order: ++
  56                   Map-reduce partition columns: _col0 (type: string)
  57                   Statistics: Num rows: 166 Data size: 1763 Basic stats: COMPLETE Column stats: NONE
  58             Filter Operator
  59               predicate: (key < 20) (type: boolean)
  60               Statistics: Num rows: 166 Data size: 1763 Basic stats: COMPLETE Column stats: NONE
  61               Group By Operator
  62                 aggregations: count(DISTINCT substr(value, 5))
  63                 keys: key (type: string), value (type: string), substr(value, 5) (type: string)
  64                 mode: hash
  65                 outputColumnNames: _col0, _col1, _col2, _col3
  66                 Statistics: Num rows: 166 Data size: 1763 Basic stats: COMPLETE Column stats: NONE
  67                 File Output Operator
  68                   compressed: false
  69                   table:
  70                       input format: org.apache.hadoop.mapred.SequenceFileInputFormat
  71                       output format: org.apache.hadoop.hive.ql.io.HiveSequenceFileOutputFormat
  72                       serde: org.apache.hadoop.hive.serde2.lazybinary.LazyBinarySerDe
  73       Reduce Operator Tree:
  74         Group By Operator
  75           aggregations: count(DISTINCT KEY._col1:0._col0)
  76           keys: KEY._col0 (type: string)
  77           mode: mergepartial
  78           outputColumnNames: _col0, _col1
  79           Statistics: Num rows: 83 Data size: 881 Basic stats: COMPLETE Column stats: NONE
  80           Select Operator
  81             expressions: UDFToInteger(_col0) (type: int), UDFToString(_col1) (type: string)
  82             outputColumnNames: _col0, _col1
  83             Statistics: Num rows: 83 Data size: 881 Basic stats: COMPLETE Column stats: NONE
  84             File Output Operator
  85               compressed: false
  86               Statistics: Num rows: 83 Data size: 881 Basic stats: COMPLETE Column stats: NONE
  87               table:
  88                   input format: org.apache.hadoop.mapred.TextInputFormat
  89                   output format: org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat
  90                   serde: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
  91                   name: default.testtable1
  92             Select Operator
  93               expressions: _col0 (type: int), _col1 (type: string)
  94               outputColumnNames: key, value
  95               Statistics: Num rows: 83 Data size: 881 Basic stats: COMPLETE Column stats: NONE
  96               Group By Operator
  97                 aggregations: compute_stats(key, 'hll'), compute_stats(value, 'hll')
  98                 mode: hash
  99                 outputColumnNames: _col0, _col1
 100                 Statistics: Num rows: 1 Data size: 872 Basic stats: COMPLETE Column stats: NONE
 101                 File Output Operator
 102                   compressed: false
 103                   table:
 104                       input format: org.apache.hadoop.mapred.SequenceFileInputFormat
 105                       output format: org.apache.hadoop.hive.ql.io.HiveSequenceFileOutputFormat
 106                       serde: org.apache.hadoop.hive.serde2.lazybinary.LazyBinarySerDe
 107
 108   Stage: Stage-0
 109     Move Operator
 110       tables:
 111           replace: true
 112           table:
 113               input format: org.apache.hadoop.mapred.TextInputFormat
 114               output format: org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat
 115               serde: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
 116               name: default.testtable1
 117
 118   Stage: Stage-3
 119     Stats Work
 120       Basic Stats Work:
 121       Column Stats Desc:
 122           Columns: key, value
 123           Column Types: int, string
 124           Table: default.testtable1
 125
 126   Stage: Stage-4
 127     Map Reduce
 128       Map Operator Tree:
 129           TableScan
 130             Reduce Output Operator
 131               sort order:
 132               Statistics: Num rows: 1 Data size: 872 Basic stats: COMPLETE Column stats: NONE
 133               value expressions: _col0 (type: struct<columntype:string,min:bigint,max:bigint,countnulls:bigint,bitvector:binary>), _col1 (type: struct<columntype:string,maxlength:bigint,sumlength:bigint,count:bigint,countnulls:bigint,bitvector:binary>)
 134       Reduce Operator Tree:
 135         Group By Operator
 136           aggregations: compute_stats(VALUE._col0), compute_stats(VALUE._col1)
 137           mode: mergepartial
 138           outputColumnNames: _col0, _col1
 139           Statistics: Num rows: 1 Data size: 888 Basic stats: COMPLETE Column stats: NONE
 140           File Output Operator
 141             compressed: false
 142             Statistics: Num rows: 1 Data size: 888 Basic stats: COMPLETE Column stats: NONE
 143             table:
 144                 input format: org.apache.hadoop.mapred.SequenceFileInputFormat
 145                 output format: org.apache.hadoop.hive.ql.io.HiveSequenceFileOutputFormat
 146                 serde: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
 147
 148   Stage: Stage-6
 149     Stats Work
 150       Basic Stats Work:
 151       Column Stats Desc:
 152           Columns: key, val1, val2
 153           Column Types: int, string, string
 154           Table: default.testtable2
 155
 156   Stage: Stage-5
 157     Map Reduce
 158       Map Operator Tree:
 159           TableScan
 160             Reduce Output Operator
 161               key expressions: _col0 (type: string), _col1 (type: string), _col2 (type: string)
 162               sort order: +++
 163               Map-reduce partition columns: _col0 (type: string), _col1 (type: string)
 164               Statistics: Num rows: 166 Data size: 1763 Basic stats: COMPLETE Column stats: NONE
 165       Reduce Operator Tree:
 166         Group By Operator
 167           aggregations: count(DISTINCT KEY._col2:0._col0)
 168           keys: KEY._col0 (type: string), KEY._col1 (type: string)
 169           mode: mergepartial
 170           outputColumnNames: _col0, _col1, _col2
 171           Statistics: Num rows: 83 Data size: 881 Basic stats: COMPLETE Column stats: NONE
 172           Select Operator
 173             expressions: UDFToInteger(_col0) (type: int), _col1 (type: string), UDFToString(_col2) (type: string)
 174             outputColumnNames: _col0, _col1, _col2
 175             Statistics: Num rows: 83 Data size: 881 Basic stats: COMPLETE Column stats: NONE
 176             File Output Operator
 177               compressed: false
 178               Statistics: Num rows: 83 Data size: 881 Basic stats: COMPLETE Column stats: NONE
 179               table:
 180                   input format: org.apache.hadoop.mapred.TextInputFormat
 181                   output format: org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat
 182                   serde: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
 183                   name: default.testtable2
 184             Select Operator
 185               expressions: _col0 (type: int), _col1 (type: string), _col2 (type: string)
 186               outputColumnNames: key, val1, val2
 187               Statistics: Num rows: 83 Data size: 881 Basic stats: COMPLETE Column stats: NONE
 188               Group By Operator
 189                 aggregations: compute_stats(key, 'hll'), compute_stats(val1, 'hll'), compute_stats(val2, 'hll')
 190                 mode: hash
 191                 outputColumnNames: _col0, _col1, _col2
 192                 Statistics: Num rows: 1 Data size: 1312 Basic stats: COMPLETE Column stats: NONE
 193                 File Output Operator
 194                   compressed: false
 195                   table:
 196                       input format: org.apache.hadoop.mapred.SequenceFileInputFormat
 197                       output format: org.apache.hadoop.hive.ql.io.HiveSequenceFileOutputFormat
 198                       serde: org.apache.hadoop.hive.serde2.lazybinary.LazyBinarySerDe
 199
 200   Stage: Stage-1
 201     Move Operator
 202       tables:
 203           replace: true
 204           table:
 205               input format: org.apache.hadoop.mapred.TextInputFormat
 206               output format: org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat
 207               serde: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
 208               name: default.testtable2
 209
 210   Stage: Stage-7
 211     Map Reduce
 212       Map Operator Tree:
 213           TableScan
 214             Reduce Output Operator
 215               sort order:
 216               Statistics: Num rows: 1 Data size: 1312 Basic stats: COMPLETE Column stats: NONE
 217               value expressions: _col0 (type: struct<columntype:string,min:bigint,max:bigint,countnulls:bigint,bitvector:binary>), _col1 (type: struct<columntype:string,maxlength:bigint,sumlength:bigint,count:bigint,countnulls:bigint,bitvector:binary>), _col2 (type: struct<columntype:string,maxlength:bigint,sumlength:bigint,count:bigint,countnulls:bigint,bitvector:binary>)
 218       Reduce Operator Tree:
 219         Group By Operator
 220           aggregations: compute_stats(VALUE._col0), compute_stats(VALUE._col1), compute_stats(VALUE._col2)
 221           mode: mergepartial
 222           outputColumnNames: _col0, _col1, _col2
 223           Statistics: Num rows: 1 Data size: 1328 Basic stats: COMPLETE Column stats: NONE
 224           File Output Operator
 225             compressed: false
 226             Statistics: Num rows: 1 Data size: 1328 Basic stats: COMPLETE Column stats: NONE
 227             table:
 228                 input format: org.apache.hadoop.mapred.SequenceFileInputFormat
 229                 output format: org.apache.hadoop.hive.ql.io.HiveSequenceFileOutputFormat
 230                 serde: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
 231
 232 PREHOOK: query: FROM SRC
 233 INSERT OVERWRITE TABLE testTable1 SELECT SRC.key, COUNT(DISTINCT SUBSTR(SRC.value,5)) WHERE SRC.key < 20 GROUP BY 1
 234 INSERT OVERWRITE TABLE testTable2 SELECT SRC.key, SRC.value, COUNT(DISTINCT SUBSTR(SRC.value,5)) WHERE SRC.key < 20 GROUP BY 1, 2
 235 PREHOOK: type: QUERY
 236 PREHOOK: Input: default@src
 237 PREHOOK: Output: default@testtable1
 238 PREHOOK: Output: default@testtable2
 239 POSTHOOK: query: FROM SRC
 240 INSERT OVERWRITE TABLE testTable1 SELECT SRC.key, COUNT(DISTINCT SUBSTR(SRC.value,5)) WHERE SRC.key < 20 GROUP BY 1
 241 INSERT OVERWRITE TABLE testTable2 SELECT SRC.key, SRC.value, COUNT(DISTINCT SUBSTR(SRC.value,5)) WHERE SRC.key < 20 GROUP BY 1, 2
 242 POSTHOOK: type: QUERY
 243 POSTHOOK: Input: default@src
 244 POSTHOOK: Output: default@testtable1
 245 POSTHOOK: Output: default@testtable2
 246 POSTHOOK: Lineage: testtable1.key EXPRESSION [(src)src.FieldSchema(name:key, type:string, comment:default), ]
 247 POSTHOOK: Lineage: testtable1.value EXPRESSION [(src)src.FieldSchema(name:value, type:string, comment:default), ]
 248 POSTHOOK: Lineage: testtable2.key EXPRESSION [(src)src.FieldSchema(name:key, type:string, comment:default), ]
 249 POSTHOOK: Lineage: testtable2.val1 SIMPLE [(src)src.FieldSchema(name:value, type:string, comment:default), ]
 250 POSTHOOK: Lineage: testtable2.val2 EXPRESSION [(src)src.FieldSchema(name:value, type:string, comment:default), ]
 251 PREHOOK: query: SELECT key, value FROM testTable1 ORDER BY 1, 2
 252 PREHOOK: type: QUERY
 253 PREHOOK: Input: default@testtable1
 254 #### A masked pattern was here ####
 255 POSTHOOK: query: SELECT key, value FROM testTable1 ORDER BY 1, 2
 256 POSTHOOK: type: QUERY
 257 POSTHOOK: Input: default@testtable1
 258 #### A masked pattern was here ####
 259 0       1
 260 2       1
 261 4       1
 262 5       1
 263 8       1
 264 9       1
 265 10      1
 266 11      1
 267 12      1
 268 15      1
 269 17      1
 270 18      1
 271 19      1
 272 PREHOOK: query: SELECT key, val1, val2 FROM testTable2 ORDER BY 1, 2, 3
 273 PREHOOK: type: QUERY
 274 PREHOOK: Input: default@testtable2
 275 #### A masked pattern was here ####
 276 POSTHOOK: query: SELECT key, val1, val2 FROM testTable2 ORDER BY 1, 2, 3
 277 POSTHOOK: type: QUERY
 278 POSTHOOK: Input: default@testtable2
 279 #### A masked pattern was here ####
 280 0       val_0   1
 281 2       val_2   1
 282 4       val_4   1
 283 5       val_5   1
 284 8       val_8   1
 285 9       val_9   1
 286 10      val_10  1
 287 11      val_11  1
 288 12      val_12  1
 289 15      val_15  1
 290 17      val_17  1
 291 18      val_18  1
 292 19      val_19  1
 293 PREHOOK: query: EXPLAIN
 294 FROM SRC
 295 INSERT OVERWRITE TABLE testTable1 SELECT SRC.key, COUNT(DISTINCT SUBSTR(SRC.value,5)) WHERE SRC.key < 20 GROUP BY 1
 296 INSERT OVERWRITE TABLE testTable2 SELECT SRC.key, SRC.value, COUNT(DISTINCT SUBSTR(SRC.value,5)) WHERE SRC.key < 20 GROUP BY 2, 1
 297 PREHOOK: type: QUERY
 298 POSTHOOK: query: EXPLAIN
 299 FROM SRC
 300 INSERT OVERWRITE TABLE testTable1 SELECT SRC.key, COUNT(DISTINCT SUBSTR(SRC.value,5)) WHERE SRC.key < 20 GROUP BY 1
 301 INSERT OVERWRITE TABLE testTable2 SELECT SRC.key, SRC.value, COUNT(DISTINCT SUBSTR(SRC.value,5)) WHERE SRC.key < 20 GROUP BY 2, 1
 302 POSTHOOK: type: QUERY
 303 STAGE DEPENDENCIES:
 304   Stage-2 is a root stage
 305   Stage-0 depends on stages: Stage-2
 306   Stage-3 depends on stages: Stage-0, Stage-4, Stage-7
 307   Stage-4 depends on stages: Stage-2
 308   Stage-6 depends on stages: Stage-1, Stage-4, Stage-7
 309   Stage-5 depends on stages: Stage-2
 310   Stage-1 depends on stages: Stage-5
 311   Stage-7 depends on stages: Stage-5
 312
 313 STAGE PLANS:
 314   Stage: Stage-2
 315     Map Reduce
 316       Map Operator Tree:
 317           TableScan
 318             alias: src
 319             Statistics: Num rows: 500 Data size: 5312 Basic stats: COMPLETE Column stats: NONE
 320             Filter Operator
 321               predicate: (key < 20) (type: boolean)
 322               Statistics: Num rows: 166 Data size: 1763 Basic stats: COMPLETE Column stats: NONE
 323               Group By Operator
 324                 aggregations: count(DISTINCT substr(value, 5))
 325                 keys: key (type: string), substr(value, 5) (type: string)
 326                 mode: hash
 327                 outputColumnNames: _col0, _col1, _col2
 328                 Statistics: Num rows: 166 Data size: 1763 Basic stats: COMPLETE Column stats: NONE
 329                 Reduce Output Operator
 330                   key expressions: _col0 (type: string), _col1 (type: string)
 331                   sort order: ++
 332                   Map-reduce partition columns: _col0 (type: string)
 333                   Statistics: Num rows: 166 Data size: 1763 Basic stats: COMPLETE Column stats: NONE
 334             Filter Operator
 335               predicate: (key < 20) (type: boolean)
 336               Statistics: Num rows: 166 Data size: 1763 Basic stats: COMPLETE Column stats: NONE
 337               Group By Operator
 338                 aggregations: count(DISTINCT substr(value, 5))
 339                 keys: value (type: string), key (type: string), substr(value, 5) (type: string)
 340                 mode: hash
 341                 outputColumnNames: _col0, _col1, _col2, _col3
 342                 Statistics: Num rows: 166 Data size: 1763 Basic stats: COMPLETE Column stats: NONE
 343                 File Output Operator
 344                   compressed: false
 345                   table:
 346                       input format: org.apache.hadoop.mapred.SequenceFileInputFormat
 347                       output format: org.apache.hadoop.hive.ql.io.HiveSequenceFileOutputFormat
 348                       serde: org.apache.hadoop.hive.serde2.lazybinary.LazyBinarySerDe
 349       Reduce Operator Tree:
 350         Group By Operator
 351           aggregations: count(DISTINCT KEY._col1:0._col0)
 352           keys: KEY._col0 (type: string)
 353           mode: mergepartial
 354           outputColumnNames: _col0, _col1
 355           Statistics: Num rows: 83 Data size: 881 Basic stats: COMPLETE Column stats: NONE
 356           Select Operator
 357             expressions: UDFToInteger(_col0) (type: int), UDFToString(_col1) (type: string)
 358             outputColumnNames: _col0, _col1
 359             Statistics: Num rows: 83 Data size: 881 Basic stats: COMPLETE Column stats: NONE
 360             File Output Operator
 361               compressed: false
 362               Statistics: Num rows: 83 Data size: 881 Basic stats: COMPLETE Column stats: NONE
 363               table:
 364                   input format: org.apache.hadoop.mapred.TextInputFormat
 365                   output format: org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat
 366                   serde: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
 367                   name: default.testtable1
 368             Select Operator
 369               expressions: _col0 (type: int), _col1 (type: string)
 370               outputColumnNames: key, value
 371               Statistics: Num rows: 83 Data size: 881 Basic stats: COMPLETE Column stats: NONE
 372               Group By Operator
 373                 aggregations: compute_stats(key, 'hll'), compute_stats(value, 'hll')
 374                 mode: hash
 375                 outputColumnNames: _col0, _col1
 376                 Statistics: Num rows: 1 Data size: 872 Basic stats: COMPLETE Column stats: NONE
 377                 File Output Operator
 378                   compressed: false
 379                   table:
 380                       input format: org.apache.hadoop.mapred.SequenceFileInputFormat
 381                       output format: org.apache.hadoop.hive.ql.io.HiveSequenceFileOutputFormat
 382                       serde: org.apache.hadoop.hive.serde2.lazybinary.LazyBinarySerDe
 383
 384   Stage: Stage-0
 385     Move Operator
 386       tables:
 387           replace: true
 388           table:
 389               input format: org.apache.hadoop.mapred.TextInputFormat
 390               output format: org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat
 391               serde: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
 392               name: default.testtable1
 393
 394   Stage: Stage-3
 395     Stats Work
 396       Basic Stats Work:
 397       Column Stats Desc:
 398           Columns: key, value
 399           Column Types: int, string
 400           Table: default.testtable1
 401
 402   Stage: Stage-4
 403     Map Reduce
 404       Map Operator Tree:
 405           TableScan
 406             Reduce Output Operator
 407               sort order:
 408               Statistics: Num rows: 1 Data size: 872 Basic stats: COMPLETE Column stats: NONE
 409               value expressions: _col0 (type: struct<columntype:string,min:bigint,max:bigint,countnulls:bigint,bitvector:binary>), _col1 (type: struct<columntype:string,maxlength:bigint,sumlength:bigint,count:bigint,countnulls:bigint,bitvector:binary>)
 410       Reduce Operator Tree:
 411         Group By Operator
 412           aggregations: compute_stats(VALUE._col0), compute_stats(VALUE._col1)
 413           mode: mergepartial
 414           outputColumnNames: _col0, _col1
 415           Statistics: Num rows: 1 Data size: 888 Basic stats: COMPLETE Column stats: NONE
 416           File Output Operator
 417             compressed: false
 418             Statistics: Num rows: 1 Data size: 888 Basic stats: COMPLETE Column stats: NONE
 419             table:
 420                 input format: org.apache.hadoop.mapred.SequenceFileInputFormat
 421                 output format: org.apache.hadoop.hive.ql.io.HiveSequenceFileOutputFormat
 422                 serde: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
 423
 424   Stage: Stage-6
 425     Stats Work
 426       Basic Stats Work:
 427       Column Stats Desc:
 428           Columns: key, val1, val2
 429           Column Types: int, string, string
 430           Table: default.testtable2
 431
 432   Stage: Stage-5
 433     Map Reduce
 434       Map Operator Tree:
 435           TableScan
 436             Reduce Output Operator
 437               key expressions: _col0 (type: string), _col1 (type: string), _col2 (type: string)
 438               sort order: +++
 439               Map-reduce partition columns: _col0 (type: string), _col1 (type: string)
 440               Statistics: Num rows: 166 Data size: 1763 Basic stats: COMPLETE Column stats: NONE
 441       Reduce Operator Tree:
 442         Group By Operator
 443           aggregations: count(DISTINCT KEY._col2:0._col0)
 444           keys: KEY._col0 (type: string), KEY._col1 (type: string)
 445           mode: mergepartial
 446           outputColumnNames: _col0, _col1, _col2
 447           Statistics: Num rows: 83 Data size: 881 Basic stats: COMPLETE Column stats: NONE
 448           Select Operator
 449             expressions: UDFToInteger(_col1) (type: int), _col0 (type: string), UDFToString(_col2) (type: string)
 450             outputColumnNames: _col0, _col1, _col2
 451             Statistics: Num rows: 83 Data size: 881 Basic stats: COMPLETE Column stats: NONE
 452             File Output Operator
 453               compressed: false
 454               Statistics: Num rows: 83 Data size: 881 Basic stats: COMPLETE Column stats: NONE
 455               table:
 456                   input format: org.apache.hadoop.mapred.TextInputFormat
 457                   output format: org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat
 458                   serde: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
 459                   name: default.testtable2
 460             Select Operator
 461               expressions: _col0 (type: int), _col1 (type: string), _col2 (type: string)
 462               outputColumnNames: key, val1, val2
 463               Statistics: Num rows: 83 Data size: 881 Basic stats: COMPLETE Column stats: NONE
 464               Group By Operator
 465                 aggregations: compute_stats(key, 'hll'), compute_stats(val1, 'hll'), compute_stats(val2, 'hll')
 466                 mode: hash
 467                 outputColumnNames: _col0, _col1, _col2
 468                 Statistics: Num rows: 1 Data size: 1312 Basic stats: COMPLETE Column stats: NONE
 469                 File Output Operator
 470                   compressed: false
 471                   table:
 472                       input format: org.apache.hadoop.mapred.SequenceFileInputFormat
 473                       output format: org.apache.hadoop.hive.ql.io.HiveSequenceFileOutputFormat
 474                       serde: org.apache.hadoop.hive.serde2.lazybinary.LazyBinarySerDe
 475
 476   Stage: Stage-1
 477     Move Operator
 478       tables:
 479           replace: true
 480           table:
 481               input format: org.apache.hadoop.mapred.TextInputFormat
 482               output format: org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat
 483               serde: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
 484               name: default.testtable2
 485
 486   Stage: Stage-7
 487     Map Reduce
 488       Map Operator Tree:
 489           TableScan
 490             Reduce Output Operator
 491               sort order:
 492               Statistics: Num rows: 1 Data size: 1312 Basic stats: COMPLETE Column stats: NONE
 493               value expressions: _col0 (type: struct<columntype:string,min:bigint,max:bigint,countnulls:bigint,bitvector:binary>), _col1 (type: struct<columntype:string,maxlength:bigint,sumlength:bigint,count:bigint,countnulls:bigint,bitvector:binary>), _col2 (type: struct<columntype:string,maxlength:bigint,sumlength:bigint,count:bigint,countnulls:bigint,bitvector:binary>)
 494       Reduce Operator Tree:
 495         Group By Operator
 496           aggregations: compute_stats(VALUE._col0), compute_stats(VALUE._col1), compute_stats(VALUE._col2)
 497           mode: mergepartial
 498           outputColumnNames: _col0, _col1, _col2
 499           Statistics: Num rows: 1 Data size: 1328 Basic stats: COMPLETE Column stats: NONE
 500           File Output Operator
 501             compressed: false
 502             Statistics: Num rows: 1 Data size: 1328 Basic stats: COMPLETE Column stats: NONE
 503             table:
 504                 input format: org.apache.hadoop.mapred.SequenceFileInputFormat
 505                 output format: org.apache.hadoop.hive.ql.io.HiveSequenceFileOutputFormat
 506                 serde: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
 507
 508 PREHOOK: query: FROM SRC
 509 INSERT OVERWRITE TABLE testTable1 SELECT SRC.key, COUNT(DISTINCT SUBSTR(SRC.value,5)) WHERE SRC.key < 20 GROUP BY 1
 510 INSERT OVERWRITE TABLE testTable2 SELECT SRC.key, SRC.value, COUNT(DISTINCT SUBSTR(SRC.value,5)) WHERE SRC.key < 20 GROUP BY 2, 1
 511 PREHOOK: type: QUERY
 512 PREHOOK: Input: default@src
 513 PREHOOK: Output: default@testtable1
 514 PREHOOK: Output: default@testtable2
 515 POSTHOOK: query: FROM SRC
 516 INSERT OVERWRITE TABLE testTable1 SELECT SRC.key, COUNT(DISTINCT SUBSTR(SRC.value,5)) WHERE SRC.key < 20 GROUP BY 1
 517 INSERT OVERWRITE TABLE testTable2 SELECT SRC.key, SRC.value, COUNT(DISTINCT SUBSTR(SRC.value,5)) WHERE SRC.key < 20 GROUP BY 2, 1
 518 POSTHOOK: type: QUERY
 519 POSTHOOK: Input: default@src
 520 POSTHOOK: Output: default@testtable1
 521 POSTHOOK: Output: default@testtable2
 522 POSTHOOK: Lineage: testtable1.key EXPRESSION [(src)src.FieldSchema(name:key, type:string, comment:default), ]
 523 POSTHOOK: Lineage: testtable1.value EXPRESSION [(src)src.FieldSchema(name:value, type:string, comment:default), ]
 524 POSTHOOK: Lineage: testtable2.key EXPRESSION [(src)src.FieldSchema(name:key, type:string, comment:default), ]
 525 POSTHOOK: Lineage: testtable2.val1 SIMPLE [(src)src.FieldSchema(name:value, type:string, comment:default), ]
 526 POSTHOOK: Lineage: testtable2.val2 EXPRESSION [(src)src.FieldSchema(name:value, type:string, comment:default), ]
 527 PREHOOK: query: SELECT key, value FROM testTable1 ORDER BY 1, 2
 528 PREHOOK: type: QUERY
 529 PREHOOK: Input: default@testtable1
 530 #### A masked pattern was here ####
 531 POSTHOOK: query: SELECT key, value FROM testTable1 ORDER BY 1, 2
 532 POSTHOOK: type: QUERY
 533 POSTHOOK: Input: default@testtable1
 534 #### A masked pattern was here ####
 535 0       1
 536 2       1
 537 4       1
 538 5       1
 539 8       1
 540 9       1
 541 10      1
 542 11      1
 543 12      1
 544 15      1
 545 17      1
 546 18      1
 547 19      1
 548 PREHOOK: query: SELECT key, val1, val2 FROM testTable2 ORDER BY 1, 2, 3
 549 PREHOOK: type: QUERY
 550 PREHOOK: Input: default@testtable2
 551 #### A masked pattern was here ####
 552 POSTHOOK: query: SELECT key, val1, val2 FROM testTable2 ORDER BY 1, 2, 3
 553 POSTHOOK: type: QUERY
 554 POSTHOOK: Input: default@testtable2
 555 #### A masked pattern was here ####
 556 0       val_0   1
 557 2       val_2   1
 558 4       val_4   1
 559 5       val_5   1
 560 8       val_8   1
 561 9       val_9   1
 562 10      val_10  1
 563 11      val_11  1
 564 12      val_12  1
 565 15      val_15  1
 566 17      val_17  1
 567 18      val_18  1
 568 19      val_19  1
 569 PREHOOK: query: EXPLAIN
 570 SELECT t.key, t.value
 571 FROM (SELECT b.key as key, count(1) as value FROM src b WHERE b.key <= 20 GROUP BY 1) t
 572 ORDER BY 2 DESC, 1 ASC
 573 PREHOOK: type: QUERY
 574 POSTHOOK: query: EXPLAIN
 575 SELECT t.key, t.value
 576 FROM (SELECT b.key as key, count(1) as value FROM src b WHERE b.key <= 20 GROUP BY 1) t
 577 ORDER BY 2 DESC, 1 ASC
 578 POSTHOOK: type: QUERY
 579 STAGE DEPENDENCIES:
 580   Stage-1 is a root stage
 581   Stage-2 depends on stages: Stage-1
 582   Stage-0 depends on stages: Stage-2
 583
 584 STAGE PLANS:
 585   Stage: Stage-1
 586     Map Reduce
 587       Map Operator Tree:
 588           TableScan
 589             alias: b
 590             Statistics: Num rows: 500 Data size: 5312 Basic stats: COMPLETE Column stats: NONE
 591             Filter Operator
 592               predicate: (UDFToDouble(key) <= 20.0D) (type: boolean)
 593               Statistics: Num rows: 166 Data size: 1763 Basic stats: COMPLETE Column stats: NONE
 594               Group By Operator
 595                 aggregations: count()
 596                 keys: key (type: string)
 597                 mode: hash
 598                 outputColumnNames: _col0, _col1
 599                 Statistics: Num rows: 166 Data size: 1763 Basic stats: COMPLETE Column stats: NONE
 600                 Reduce Output Operator
 601                   key expressions: _col0 (type: string)
 602                   sort order: +
 603                   Map-reduce partition columns: _col0 (type: string)
 604                   Statistics: Num rows: 166 Data size: 1763 Basic stats: COMPLETE Column stats: NONE
 605                   value expressions: _col1 (type: bigint)
 606       Reduce Operator Tree:
 607         Group By Operator
 608           aggregations: count(VALUE._col0)
 609           keys: KEY._col0 (type: string)
 610           mode: mergepartial
 611           outputColumnNames: _col0, _col1
 612           Statistics: Num rows: 83 Data size: 881 Basic stats: COMPLETE Column stats: NONE
 613           File Output Operator
 614             compressed: false
 615             table:
 616                 input format: org.apache.hadoop.mapred.SequenceFileInputFormat
 617                 output format: org.apache.hadoop.hive.ql.io.HiveSequenceFileOutputFormat
 618                 serde: org.apache.hadoop.hive.serde2.lazybinary.LazyBinarySerDe
 619
 620   Stage: Stage-2
 621     Map Reduce
 622       Map Operator Tree:
 623           TableScan
 624             Reduce Output Operator
 625               key expressions: _col1 (type: bigint), _col0 (type: string)
 626               sort order: -+
 627               Statistics: Num rows: 83 Data size: 881 Basic stats: COMPLETE Column stats: NONE
 628       Reduce Operator Tree:
 629         Select Operator
 630           expressions: KEY.reducesinkkey1 (type: string), KEY.reducesinkkey0 (type: bigint)
 631           outputColumnNames: _col0, _col1
 632           Statistics: Num rows: 83 Data size: 881 Basic stats: COMPLETE Column stats: NONE
 633           File Output Operator
 634             compressed: false
 635             Statistics: Num rows: 83 Data size: 881 Basic stats: COMPLETE Column stats: NONE
 636             table:
 637                 input format: org.apache.hadoop.mapred.SequenceFileInputFormat
 638                 output format: org.apache.hadoop.hive.ql.io.HiveSequenceFileOutputFormat
 639                 serde: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
 640
 641   Stage: Stage-0
 642     Fetch Operator
 643       limit: -1
 644       Processor Tree:
 645         ListSink
 646
 647 PREHOOK: query: SELECT t.key, t.value
 648 FROM (SELECT b.key as key, count(1) as value FROM src b WHERE b.key <= 20 GROUP BY 1) t
 649 ORDER BY 2 DESC, 1 ASC
 650 PREHOOK: type: QUERY
 651 PREHOOK: Input: default@src
 652 #### A masked pattern was here ####
 653 POSTHOOK: query: SELECT t.key, t.value
 654 FROM (SELECT b.key as key, count(1) as value FROM src b WHERE b.key <= 20 GROUP BY 1) t
 655 ORDER BY 2 DESC, 1 ASC
 656 POSTHOOK: type: QUERY
 657 POSTHOOK: Input: default@src
 658 #### A masked pattern was here ####
 659 0       3
 660 5       3
 661 12      2
 662 15      2
 663 18      2
 664 10      1
 665 11      1
 666 17      1
 667 19      1
 668 2       1
 669 20      1
 670 4       1
 671 8       1
 672 9       1
 673 PREHOOK: query: EXPLAIN
 674 SELECT c1, c2, c3, c4
 675 FROM (
 676  FROM
 677   (
 678   FROM src src1 SELECT src1.key AS c1, src1.value AS c2, COUNT(DISTINCT SUBSTR(src1.value,5)) AS c3 WHERE src1.key > 10 and src1.key < 20 GROUP BY 1, 2
 679   ) a
 680  JOIN
 681  (
 682   FROM src src2 SELECT src2.key AS c3, src2.value AS c4 WHERE src2.key > 15 and src2.key < 25 GROUP BY 1, 2
 683  ) b
 684  ON (a.c1 = b.c3)
 685  SELECT a.c1 AS c1, a.c2 AS c2, b.c3 AS c3, b.c4 AS c4
 686 ) c
 687 ORDER BY 1 DESC, 2 DESC, 3 ASC, 4 ASC
 688 PREHOOK: type: QUERY
 689 POSTHOOK: query: EXPLAIN
 690 SELECT c1, c2, c3, c4
 691 FROM (
 692  FROM
 693   (
 694   FROM src src1 SELECT src1.key AS c1, src1.value AS c2, COUNT(DISTINCT SUBSTR(src1.value,5)) AS c3 WHERE src1.key > 10 and src1.key < 20 GROUP BY 1, 2
 695   ) a
 696  JOIN
 697  (
 698   FROM src src2 SELECT src2.key AS c3, src2.value AS c4 WHERE src2.key > 15 and src2.key < 25 GROUP BY 1, 2
 699  ) b
 700  ON (a.c1 = b.c3)
 701  SELECT a.c1 AS c1, a.c2 AS c2, b.c3 AS c3, b.c4 AS c4
 702 ) c
 703 ORDER BY 1 DESC, 2 DESC, 3 ASC, 4 ASC
 704 POSTHOOK: type: QUERY
 705 STAGE DEPENDENCIES:
 706   Stage-1 is a root stage
 707   Stage-2 depends on stages: Stage-1, Stage-4
 708   Stage-3 depends on stages: Stage-2
 709   Stage-4 is a root stage
 710   Stage-0 depends on stages: Stage-3
 711
 712 STAGE PLANS:
 713   Stage: Stage-1
 714     Map Reduce
 715       Map Operator Tree:
 716           TableScan
 717             alias: src1
 718             Statistics: Num rows: 500 Data size: 5312 Basic stats: COMPLETE Column stats: NONE
 719             Filter Operator
 720               predicate: ((UDFToDouble(key) < 20.0D) and (UDFToDouble(key) > 15.0D)) (type: boolean)
 721               Statistics: Num rows: 55 Data size: 584 Basic stats: COMPLETE Column stats: NONE
 722               Group By Operator
 723                 keys: key (type: string), value (type: string)
 724                 mode: hash
 725                 outputColumnNames: _col0, _col1
 726                 Statistics: Num rows: 55 Data size: 584 Basic stats: COMPLETE Column stats: NONE
 727                 Reduce Output Operator
 728                   key expressions: _col0 (type: string), _col1 (type: string)
 729                   sort order: ++
 730                   Map-reduce partition columns: _col0 (type: string), _col1 (type: string)
 731                   Statistics: Num rows: 55 Data size: 584 Basic stats: COMPLETE Column stats: NONE
 732       Reduce Operator Tree:
 733         Group By Operator
 734           keys: KEY._col0 (type: string), KEY._col1 (type: string)
 735           mode: mergepartial
 736           outputColumnNames: _col0, _col1
 737           Statistics: Num rows: 27 Data size: 286 Basic stats: COMPLETE Column stats: NONE
 738           File Output Operator
 739             compressed: false
 740             table:
 741                 input format: org.apache.hadoop.mapred.SequenceFileInputFormat
 742                 output format: org.apache.hadoop.hive.ql.io.HiveSequenceFileOutputFormat
 743                 serde: org.apache.hadoop.hive.serde2.lazybinary.LazyBinarySerDe
 744
 745   Stage: Stage-2
 746     Map Reduce
 747       Map Operator Tree:
 748           TableScan
 749             Reduce Output Operator
 750               key expressions: _col0 (type: string)
 751               sort order: +
 752               Map-reduce partition columns: _col0 (type: string)
 753               Statistics: Num rows: 27 Data size: 286 Basic stats: COMPLETE Column stats: NONE
 754               value expressions: _col1 (type: string)
 755           TableScan
 756             Reduce Output Operator
 757               key expressions: _col0 (type: string)
 758               sort order: +
 759               Map-reduce partition columns: _col0 (type: string)
 760               Statistics: Num rows: 27 Data size: 286 Basic stats: COMPLETE Column stats: NONE
 761               value expressions: _col1 (type: string)
 762       Reduce Operator Tree:
 763         Join Operator
 764           condition map:
 765                Inner Join 0 to 1
 766           keys:
 767             0 _col0 (type: string)
 768             1 _col0 (type: string)
 769           outputColumnNames: _col0, _col1, _col2, _col3
 770           Statistics: Num rows: 29 Data size: 314 Basic stats: COMPLETE Column stats: NONE
 771           File Output Operator
 772             compressed: false
 773             table:
 774                 input format: org.apache.hadoop.mapred.SequenceFileInputFormat
 775                 output format: org.apache.hadoop.hive.ql.io.HiveSequenceFileOutputFormat
 776                 serde: org.apache.hadoop.hive.serde2.lazybinary.LazyBinarySerDe
 777
 778   Stage: Stage-3
 779     Map Reduce
 780       Map Operator Tree:
 781           TableScan
 782             Reduce Output Operator
 783               key expressions: _col0 (type: string), _col1 (type: string), _col2 (type: string), _col3 (type: string)
 784               sort order: --++
 785               Statistics: Num rows: 29 Data size: 314 Basic stats: COMPLETE Column stats: NONE
 786       Reduce Operator Tree:
 787         Select Operator
 788           expressions: KEY.reducesinkkey0 (type: string), KEY.reducesinkkey1 (type: string), KEY.reducesinkkey2 (type: string), KEY.reducesinkkey3 (type: string)
 789           outputColumnNames: _col0, _col1, _col2, _col3
 790           Statistics: Num rows: 29 Data size: 314 Basic stats: COMPLETE Column stats: NONE
 791           File Output Operator
 792             compressed: false
 793             Statistics: Num rows: 29 Data size: 314 Basic stats: COMPLETE Column stats: NONE
 794             table:
 795                 input format: org.apache.hadoop.mapred.SequenceFileInputFormat
 796                 output format: org.apache.hadoop.hive.ql.io.HiveSequenceFileOutputFormat
 797                 serde: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
 798
 799   Stage: Stage-4
 800     Map Reduce
 801       Map Operator Tree:
 802           TableScan
 803             alias: src2
 804             Statistics: Num rows: 500 Data size: 5312 Basic stats: COMPLETE Column stats: NONE
 805             Filter Operator
 806               predicate: ((UDFToDouble(key) < 20.0D) and (UDFToDouble(key) > 15.0D)) (type: boolean)
 807               Statistics: Num rows: 55 Data size: 584 Basic stats: COMPLETE Column stats: NONE
 808               Group By Operator
 809                 keys: key (type: string), value (type: string)
 810                 mode: hash
 811                 outputColumnNames: _col0, _col1
 812                 Statistics: Num rows: 55 Data size: 584 Basic stats: COMPLETE Column stats: NONE
 813                 Reduce Output Operator
 814                   key expressions: _col0 (type: string), _col1 (type: string)
 815                   sort order: ++
 816                   Map-reduce partition columns: _col0 (type: string), _col1 (type: string)
 817                   Statistics: Num rows: 55 Data size: 584 Basic stats: COMPLETE Column stats: NONE
 818       Reduce Operator Tree:
 819         Group By Operator
 820           keys: KEY._col0 (type: string), KEY._col1 (type: string)
 821           mode: mergepartial
 822           outputColumnNames: _col0, _col1
 823           Statistics: Num rows: 27 Data size: 286 Basic stats: COMPLETE Column stats: NONE
 824           File Output Operator
 825             compressed: false
 826             table:
 827                 input format: org.apache.hadoop.mapred.SequenceFileInputFormat
 828                 output format: org.apache.hadoop.hive.ql.io.HiveSequenceFileOutputFormat
 829                 serde: org.apache.hadoop.hive.serde2.lazybinary.LazyBinarySerDe
 830
 831   Stage: Stage-0
 832     Fetch Operator
 833       limit: -1
 834       Processor Tree:
 835         ListSink
 836
 837 PREHOOK: query: SELECT c1, c2, c3, c4
 838 FROM (
 839  FROM
 840   (
 841   FROM src src1 SELECT src1.key AS c1, src1.value AS c2, COUNT(DISTINCT SUBSTR(src1.value,5)) AS c3 WHERE src1.key > 10 and src1.key < 20 GROUP BY 1, 2
 842   ) a
 843  JOIN
 844  (
 845   FROM src src2 SELECT src2.key AS c3, src2.value AS c4 WHERE src2.key > 15 and src2.key < 25 GROUP BY 1, 2
 846  ) b
 847  ON (a.c1 = b.c3)
 848  SELECT a.c1 AS c1, a.c2 AS c2, b.c3 AS c3, b.c4 AS c4
 849 ) c
 850 ORDER BY 1 DESC, 2 DESC, 3 ASC, 4 ASC
 851 PREHOOK: type: QUERY
 852 PREHOOK: Input: default@src
 853 #### A masked pattern was here ####
 854 POSTHOOK: query: SELECT c1, c2, c3, c4
 855 FROM (
 856  FROM
 857   (
 858   FROM src src1 SELECT src1.key AS c1, src1.value AS c2, COUNT(DISTINCT SUBSTR(src1.value,5)) AS c3 WHERE src1.key > 10 and src1.key < 20 GROUP BY 1, 2
 859   ) a
 860  JOIN
 861  (
 862   FROM src src2 SELECT src2.key AS c3, src2.value AS c4 WHERE src2.key > 15 and src2.key < 25 GROUP BY 1, 2
 863  ) b
 864  ON (a.c1 = b.c3)
 865  SELECT a.c1 AS c1, a.c2 AS c2, b.c3 AS c3, b.c4 AS c4
 866 ) c
 867 ORDER BY 1 DESC, 2 DESC, 3 ASC, 4 ASC
 868 POSTHOOK: type: QUERY
 869 POSTHOOK: Input: default@src
 870 #### A masked pattern was here ####
 871 19      val_19  19      val_19
 872 18      val_18  18      val_18
 873 17      val_17  17      val_17
 874 PREHOOK: query: EXPLAIN
 875 SELECT key FROM src ORDER BY 1
 876 PREHOOK: type: QUERY
 877 POSTHOOK: query: EXPLAIN
 878 SELECT key FROM src ORDER BY 1
 879 POSTHOOK: type: QUERY
 880 STAGE DEPENDENCIES:
 881   Stage-1 is a root stage
 882   Stage-0 depends on stages: Stage-1
 883
 884 STAGE PLANS:
 885   Stage: Stage-1
 886     Map Reduce
 887       Map Operator Tree:
 888           TableScan
 889             alias: src
 890             Statistics: Num rows: 500 Data size: 5312 Basic stats: COMPLETE Column stats: NONE
 891             Select Operator
 892               expressions: key (type: string)
 893               outputColumnNames: _col0
 894               Statistics: Num rows: 500 Data size: 5312 Basic stats: COMPLETE Column stats: NONE
 895               Reduce Output Operator
 896                 key expressions: _col0 (type: string)
 897                 sort order: +
 898                 Statistics: Num rows: 500 Data size: 5312 Basic stats: COMPLETE Column stats: NONE
 899       Reduce Operator Tree:
 900         Select Operator
 901           expressions: KEY.reducesinkkey0 (type: string)
 902           outputColumnNames: _col0
 903           Statistics: Num rows: 500 Data size: 5312 Basic stats: COMPLETE Column stats: NONE
 904           File Output Operator
 905             compressed: false
 906             Statistics: Num rows: 500 Data size: 5312 Basic stats: COMPLETE Column stats: NONE
 907             table:
 908                 input format: org.apache.hadoop.mapred.SequenceFileInputFormat
 909                 output format: org.apache.hadoop.hive.ql.io.HiveSequenceFileOutputFormat
 910                 serde: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
 911
 912   Stage: Stage-0
 913     Fetch Operator
 914       limit: -1
 915       Processor Tree:
 916         ListSink
 917
 918 PREHOOK: query: SELECT key FROM src ORDER BY 1
 919 PREHOOK: type: QUERY
 920 PREHOOK: Input: default@src
 921 #### A masked pattern was here ####
 922 POSTHOOK: query: SELECT key FROM src ORDER BY 1
 923 POSTHOOK: type: QUERY
 924 POSTHOOK: Input: default@src
 925 #### A masked pattern was here ####
 926 0
 927 0
 928 0
 929 10
 930 100
 931 100
 932 103
 933 103
 934 104
 935 104
 936 105
 937 11
 938 111
 939 113
 940 113
 941 114
 942 116
 943 118
 944 118
 945 119
 946 119
 947 119
 948 12
 949 12
 950 120
 951 120
 952 125
 953 125
 954 126
 955 128
 956 128
 957 128
 958 129
 959 129
 960 131
 961 133
 962 134
 963 134
 964 136
 965 137
 966 137
 967 138
 968 138
 969 138
 970 138
 971 143
 972 145
 973 146
 974 146
 975 149
 976 149
 977 15
 978 15
 979 150
 980 152
 981 152
 982 153
 983 155
 984 156
 985 157
 986 158
 987 160
 988 162
 989 163
 990 164
 991 164
 992 165
 993 165
 994 166
 995 167
 996 167
 997 167
 998 168
 999 169
1000 169
1001 169
1002 169
1003 17
1004 170
1005 172
1006 172
1007 174
1008 174
1009 175
1010 175
1011 176
1012 176
1013 177
1014 178
1015 179
1016 179
1017 18
1018 18
1019 180
1020 181
1021 183
1022 186
1023 187
1024 187
1025 187
1026 189
1027 19
1028 190
1029 191
1030 191
1031 192
1032 193
1033 193
1034 193
1035 194
1036 195
1037 195
1038 196
1039 197
1040 197
1041 199
1042 199
1043 199
1044 2
1045 20
1046 200
1047 200
1048 201
1049 202
1050 203
1051 203
1052 205
1053 205
1054 207
1055 207
1056 208
1057 208
1058 208
1059 209
1060 209
1061 213
1062 213
1063 214
1064 216
1065 216
1066 217
1067 217
1068 218
1069 219
1070 219
1071 221
1072 221
1073 222
1074 223
1075 223
1076 224
1077 224
1078 226
1079 228
1080 229
1081 229
1082 230
1083 230
1084 230
1085 230
1086 230
1087 233
1088 233
1089 235
1090 237
1091 237
1092 238
1093 238
1094 239
1095 239
1096 24
1097 24
1098 241
1099 242
1100 242
1101 244
1102 247
1103 248
1104 249
1105 252
1106 255
1107 255
1108 256
1109 256
1110 257
1111 258
1112 26
1113 26
1114 260
1115 262
1116 263
1117 265
1118 265
1119 266
1120 27
1121 272
1122 272
1123 273
1124 273
1125 273
1126 274
1127 275
1128 277
1129 277
1130 277
1131 277
1132 278
1133 278
1134 28
1135 280
1136 280
1137 281
1138 281
1139 282
1140 282
1141 283
1142 284
1143 285
1144 286
1145 287
1146 288
1147 288
1148 289
1149 291
1150 292
1151 296
1152 298
1153 298
1154 298
1155 30
1156 302
1157 305
1158 306
1159 307
1160 307
1161 308
1162 309
1163 309
1164 310
1165 311
1166 311
1167 311
1168 315
1169 316
1170 316
1171 316
1172 317
1173 317
1174 318
1175 318
1176 318
1177 321
1178 321
1179 322
1180 322
1181 323
1182 325
1183 325
1184 327
1185 327
1186 327
1187 33
1188 331
1189 331
1190 332
1191 333
1192 333
1193 335
1194 336
1195 338
1196 339
1197 34
1198 341
1199 342
1200 342
1201 344
1202 344
1203 345
1204 348
1205 348
1206 348
1207 348
1208 348
1209 35
1210 35
1211 35
1212 351
1213 353
1214 353
1215 356
1216 360
1217 362
1218 364
1219 365
1220 366
1221 367
1222 367
1223 368
1224 369
1225 369
1226 369
1227 37
1228 37
1229 373
1230 374
1231 375
1232 377
1233 378
1234 379
1235 382
1236 382
1237 384
1238 384
1239 384
1240 386
1241 389
1242 392
1243 393
1244 394
1245 395
1246 395
1247 396
1248 396
1249 396
1250 397
1251 397
1252 399
1253 399
1254 4
1255 400
1256 401
1257 401
1258 401
1259 401
1260 401
1261 402
1262 403
1263 403
1264 403
1265 404
1266 404
1267 406
1268 406
1269 406
1270 406
1271 407
1272 409
1273 409
1274 409
1275 41
1276 411
1277 413
1278 413
1279 414
1280 414
1281 417
1282 417
1283 417
1284 418
1285 419
1286 42
1287 42
1288 421
1289 424
1290 424
1291 427
1292 429
1293 429
1294 43
1295 430
1296 430
1297 430
1298 431
1299 431
1300 431
1301 432
1302 435
1303 436
1304 437
1305 438
1306 438
1307 438
1308 439
1309 439
1310 44
1311 443
1312 444
1313 446
1314 448
1315 449
1316 452
1317 453
1318 454
1319 454
1320 454
1321 455
1322 457
1323 458
1324 458
1325 459
1326 459
1327 460
1328 462
1329 462
1330 463
1331 463
1332 466
1333 466
1334 466
1335 467
1336 468
1337 468
1338 468
1339 468
1340 469
1341 469
1342 469
1343 469
1344 469
1345 47
1346 470
1347 472
1348 475
1349 477
1350 478
1351 478
1352 479
1353 480
1354 480
1355 480
1356 481
1357 482
1358 483
1359 484
1360 485
1361 487
1362 489
1363 489
1364 489
1365 489
1366 490
1367 491
1368 492
1369 492
1370 493
1371 494
1372 495
1373 496
1374 497
1375 498
1376 498
1377 498
1378 5
1379 5
1380 5
1381 51
1382 51
1383 53
1384 54
1385 57
1386 58
1387 58
1388 64
1389 65
1390 66
1391 67
1392 67
1393 69
1394 70
1395 70
1396 70
1397 72
1398 72
1399 74
1400 76
1401 76
1402 77
1403 78
1404 8
1405 80
1406 82
1407 83
1408 83
1409 84
1410 84
1411 85
1412 86
1413 87
1414 9
1415 90
1416 90
1417 90
1418 92
1419 95
1420 95
1421 96
1422 97
1423 97
1424 98
1425 98
1426 PREHOOK: query: EXPLAIN
1427 SELECT distinct key FROM src ORDER BY 1
1428 PREHOOK: type: QUERY
1429 POSTHOOK: query: EXPLAIN
1430 SELECT distinct key FROM src ORDER BY 1
1431 POSTHOOK: type: QUERY
1432 STAGE DEPENDENCIES:
1433   Stage-1 is a root stage
1434   Stage-2 depends on stages: Stage-1
1435   Stage-0 depends on stages: Stage-2
1436
1437 STAGE PLANS:
1438   Stage: Stage-1
1439     Map Reduce
1440       Map Operator Tree:
1441           TableScan
1442             alias: src
1443             Statistics: Num rows: 500 Data size: 5312 Basic stats: COMPLETE Column stats: NONE
1444             Select Operator
1445               expressions: key (type: string)
1446               outputColumnNames: key
1447               Statistics: Num rows: 500 Data size: 5312 Basic stats: COMPLETE Column stats: NONE
1448               Group By Operator
1449                 keys: key (type: string)
1450                 mode: hash
1451                 outputColumnNames: _col0
1452                 Statistics: Num rows: 500 Data size: 5312 Basic stats: COMPLETE Column stats: NONE
1453                 Reduce Output Operator
1454                   key expressions: _col0 (type: string)
1455                   sort order: +
1456                   Map-reduce partition columns: _col0 (type: string)
1457                   Statistics: Num rows: 500 Data size: 5312 Basic stats: COMPLETE Column stats: NONE
1458       Reduce Operator Tree:
1459         Group By Operator
1460           keys: KEY._col0 (type: string)
1461           mode: mergepartial
1462           outputColumnNames: _col0
1463           Statistics: Num rows: 250 Data size: 2656 Basic stats: COMPLETE Column stats: NONE
1464           File Output Operator
1465             compressed: false
1466             table:
1467                 input format: org.apache.hadoop.mapred.SequenceFileInputFormat
1468                 output format: org.apache.hadoop.hive.ql.io.HiveSequenceFileOutputFormat
1469                 serde: org.apache.hadoop.hive.serde2.lazybinary.LazyBinarySerDe
1470
1471   Stage: Stage-2
1472     Map Reduce
1473       Map Operator Tree:
1474           TableScan
1475             Reduce Output Operator
1476               key expressions: _col0 (type: string)
1477               sort order: +
1478               Statistics: Num rows: 250 Data size: 2656 Basic stats: COMPLETE Column stats: NONE
1479       Reduce Operator Tree:
1480         Select Operator
1481           expressions: KEY.reducesinkkey0 (type: string)
1482           outputColumnNames: _col0
1483           Statistics: Num rows: 250 Data size: 2656 Basic stats: COMPLETE Column stats: NONE
1484           File Output Operator
1485             compressed: false
1486             Statistics: Num rows: 250 Data size: 2656 Basic stats: COMPLETE Column stats: NONE
1487             table:
1488                 input format: org.apache.hadoop.mapred.SequenceFileInputFormat
1489                 output format: org.apache.hadoop.hive.ql.io.HiveSequenceFileOutputFormat
1490                 serde: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
1491
1492   Stage: Stage-0
1493     Fetch Operator
1494       limit: -1
1495       Processor Tree:
1496         ListSink
1497
1498 PREHOOK: query: SELECT distinct key FROM src ORDER BY 1
1499 PREHOOK: type: QUERY
1500 PREHOOK: Input: default@src
1501 #### A masked pattern was here ####
1502 POSTHOOK: query: SELECT distinct key FROM src ORDER BY 1
1503 POSTHOOK: type: QUERY
1504 POSTHOOK: Input: default@src
1505 #### A masked pattern was here ####
1506 0
1507 10
1508 100
1509 103
1510 104
1511 105
1512 11
1513 111
1514 113
1515 114
1516 116
1517 118
1518 119
1519 12
1520 120
1521 125
1522 126
1523 128
1524 129
1525 131
1526 133
1527 134
1528 136
1529 137
1530 138
1531 143
1532 145
1533 146
1534 149
1535 15
1536 150
1537 152
1538 153
1539 155
1540 156
1541 157
1542 158
1543 160
1544 162
1545 163
1546 164
1547 165
1548 166
1549 167
1550 168
1551 169
1552 17
1553 170
1554 172
1555 174
1556 175
1557 176
1558 177
1559 178
1560 179
1561 18
1562 180
1563 181
1564 183
1565 186
1566 187
1567 189
1568 19
1569 190
1570 191
1571 192
1572 193
1573 194
1574 195
1575 196
1576 197
1577 199
1578 2
1579 20
1580 200
1581 201
1582 202
1583 203
1584 205
1585 207
1586 208
1587 209
1588 213
1589 214
1590 216
1591 217
1592 218
1593 219
1594 221
1595 222
1596 223
1597 224
1598 226
1599 228
1600 229
1601 230
1602 233
1603 235
1604 237
1605 238
1606 239
1607 24
1608 241
1609 242
1610 244
1611 247
1612 248
1613 249
1614 252
1615 255
1616 256
1617 257
1618 258
1619 26
1620 260
1621 262
1622 263
1623 265
1624 266
1625 27
1626 272
1627 273
1628 274
1629 275
1630 277
1631 278
1632 28
1633 280
1634 281
1635 282
1636 283
1637 284
1638 285
1639 286
1640 287
1641 288
1642 289
1643 291
1644 292
1645 296
1646 298
1647 30
1648 302
1649 305
1650 306
1651 307
1652 308
1653 309
1654 310
1655 311
1656 315
1657 316
1658 317
1659 318
1660 321
1661 322
1662 323
1663 325
1664 327
1665 33
1666 331
1667 332
1668 333
1669 335
1670 336
1671 338
1672 339
1673 34
1674 341
1675 342
1676 344
1677 345
1678 348
1679 35
1680 351
1681 353
1682 356
1683 360
1684 362
1685 364
1686 365
1687 366
1688 367
1689 368
1690 369
1691 37
1692 373
1693 374
1694 375
1695 377
1696 378
1697 379
1698 382
1699 384
1700 386
1701 389
1702 392
1703 393
1704 394
1705 395
1706 396
1707 397
1708 399
1709 4
1710 400
1711 401
1712 402
1713 403
1714 404
1715 406
1716 407
1717 409
1718 41
1719 411
1720 413
1721 414
1722 417
1723 418
1724 419
1725 42
1726 421
1727 424
1728 427
1729 429
1730 43
1731 430
1732 431
1733 432
1734 435
1735 436
1736 437
1737 438
1738 439
1739 44
1740 443
1741 444
1742 446
1743 448
1744 449
1745 452
1746 453
1747 454
1748 455
1749 457
1750 458
1751 459
1752 460
1753 462
1754 463
1755 466
1756 467
1757 468
1758 469
1759 47
1760 470
1761 472
1762 475
1763 477
1764 478
1765 479
1766 480
1767 481
1768 482
1769 483
1770 484
1771 485
1772 487
1773 489
1774 490
1775 491
1776 492
1777 493
1778 494
1779 495
1780 496
1781 497
1782 498
1783 5
1784 51
1785 53
1786 54
1787 57
1788 58
1789 64
1790 65
1791 66
1792 67
1793 69
1794 70
1795 72
1796 74
1797 76
1798 77
1799 78
1800 8
1801 80
1802 82
1803 83
1804 84
1805 85
1806 86
1807 87
1808 9
1809 90
1810 92
1811 95
1812 96
1813 97
1814 98