ql/src/test/results/clientpositive/limit_pushdown_negative.q.out

   1 PREHOOK: query: explain select * from src a join src b on a.key=b.key limit 20
   2 PREHOOK: type: QUERY
   3 POSTHOOK: query: explain select * from src a join src b on a.key=b.key limit 20
   4 POSTHOOK: type: QUERY
   5 STAGE DEPENDENCIES:
   6   Stage-1 is a root stage
   7   Stage-0 depends on stages: Stage-1
   8
   9 STAGE PLANS:
  10   Stage: Stage-1
  11     Map Reduce
  12       Map Operator Tree:
  13           TableScan
  14             alias: a
  15             Statistics: Num rows: 500 Data size: 5312 Basic stats: COMPLETE Column stats: NONE
  16             Filter Operator
  17               predicate: key is not null (type: boolean)
  18               Statistics: Num rows: 500 Data size: 5312 Basic stats: COMPLETE Column stats: NONE
  19               Select Operator
  20                 expressions: key (type: string), value (type: string)
  21                 outputColumnNames: _col0, _col1
  22                 Statistics: Num rows: 500 Data size: 5312 Basic stats: COMPLETE Column stats: NONE
  23                 Reduce Output Operator
  24                   key expressions: _col0 (type: string)
  25                   sort order: +
  26                   Map-reduce partition columns: _col0 (type: string)
  27                   Statistics: Num rows: 500 Data size: 5312 Basic stats: COMPLETE Column stats: NONE
  28                   value expressions: _col1 (type: string)
  29           TableScan
  30             alias: b
  31             Statistics: Num rows: 500 Data size: 5312 Basic stats: COMPLETE Column stats: NONE
  32             Filter Operator
  33               predicate: key is not null (type: boolean)
  34               Statistics: Num rows: 500 Data size: 5312 Basic stats: COMPLETE Column stats: NONE
  35               Select Operator
  36                 expressions: key (type: string), value (type: string)
  37                 outputColumnNames: _col0, _col1
  38                 Statistics: Num rows: 500 Data size: 5312 Basic stats: COMPLETE Column stats: NONE
  39                 Reduce Output Operator
  40                   key expressions: _col0 (type: string)
  41                   sort order: +
  42                   Map-reduce partition columns: _col0 (type: string)
  43                   Statistics: Num rows: 500 Data size: 5312 Basic stats: COMPLETE Column stats: NONE
  44                   value expressions: _col1 (type: string)
  45       Reduce Operator Tree:
  46         Join Operator
  47           condition map:
  48                Inner Join 0 to 1
  49           keys:
  50             0 _col0 (type: string)
  51             1 _col0 (type: string)
  52           outputColumnNames: _col0, _col1, _col2, _col3
  53           Statistics: Num rows: 550 Data size: 5843 Basic stats: COMPLETE Column stats: NONE
  54           Limit
  55             Number of rows: 20
  56             Statistics: Num rows: 20 Data size: 200 Basic stats: COMPLETE Column stats: NONE
  57             File Output Operator
  58               compressed: false
  59               Statistics: Num rows: 20 Data size: 200 Basic stats: COMPLETE Column stats: NONE
  60               table:
  61                   input format: org.apache.hadoop.mapred.SequenceFileInputFormat
  62                   output format: org.apache.hadoop.hive.ql.io.HiveSequenceFileOutputFormat
  63                   serde: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
  64
  65   Stage: Stage-0
  66     Fetch Operator
  67       limit: 20
  68       Processor Tree:
  69         ListSink
  70
  71 PREHOOK: query: explain select value, sum(key) as sum from src group by value having sum > 100 limit 20
  72 PREHOOK: type: QUERY
  73 POSTHOOK: query: explain select value, sum(key) as sum from src group by value having sum > 100 limit 20
  74 POSTHOOK: type: QUERY
  75 STAGE DEPENDENCIES:
  76   Stage-1 is a root stage
  77   Stage-0 depends on stages: Stage-1
  78
  79 STAGE PLANS:
  80   Stage: Stage-1
  81     Map Reduce
  82       Map Operator Tree:
  83           TableScan
  84             alias: src
  85             Statistics: Num rows: 500 Data size: 5312 Basic stats: COMPLETE Column stats: NONE
  86             Select Operator
  87               expressions: key (type: string), value (type: string)
  88               outputColumnNames: key, value
  89               Statistics: Num rows: 500 Data size: 5312 Basic stats: COMPLETE Column stats: NONE
  90               Group By Operator
  91                 aggregations: sum(key)
  92                 keys: value (type: string)
  93                 mode: hash
  94                 outputColumnNames: _col0, _col1
  95                 Statistics: Num rows: 500 Data size: 5312 Basic stats: COMPLETE Column stats: NONE
  96                 Reduce Output Operator
  97                   key expressions: _col0 (type: string)
  98                   sort order: +
  99                   Map-reduce partition columns: _col0 (type: string)
 100                   Statistics: Num rows: 500 Data size: 5312 Basic stats: COMPLETE Column stats: NONE
 101                   value expressions: _col1 (type: double)
 102       Reduce Operator Tree:
 103         Group By Operator
 104           aggregations: sum(VALUE._col0)
 105           keys: KEY._col0 (type: string)
 106           mode: mergepartial
 107           outputColumnNames: _col0, _col1
 108           Statistics: Num rows: 250 Data size: 2656 Basic stats: COMPLETE Column stats: NONE
 109           Filter Operator
 110             predicate: (_col1 > 100.0D) (type: boolean)
 111             Statistics: Num rows: 83 Data size: 881 Basic stats: COMPLETE Column stats: NONE
 112             Limit
 113               Number of rows: 20
 114               Statistics: Num rows: 20 Data size: 200 Basic stats: COMPLETE Column stats: NONE
 115               File Output Operator
 116                 compressed: false
 117                 Statistics: Num rows: 20 Data size: 200 Basic stats: COMPLETE Column stats: NONE
 118                 table:
 119                     input format: org.apache.hadoop.mapred.SequenceFileInputFormat
 120                     output format: org.apache.hadoop.hive.ql.io.HiveSequenceFileOutputFormat
 121                     serde: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
 122
 123   Stage: Stage-0
 124     Fetch Operator
 125       limit: 20
 126       Processor Tree:
 127         ListSink
 128
 129 PREHOOK: query: explain select key, L.* from (select * from src order by key) a lateral view explode(array(value, value)) L as v limit 10
 130 PREHOOK: type: QUERY
 131 POSTHOOK: query: explain select key, L.* from (select * from src order by key) a lateral view explode(array(value, value)) L as v limit 10
 132 POSTHOOK: type: QUERY
 133 STAGE DEPENDENCIES:
 134   Stage-1 is a root stage
 135   Stage-0 depends on stages: Stage-1
 136
 137 STAGE PLANS:
 138   Stage: Stage-1
 139     Map Reduce
 140       Map Operator Tree:
 141           TableScan
 142             alias: src
 143             Statistics: Num rows: 500 Data size: 5312 Basic stats: COMPLETE Column stats: NONE
 144             Select Operator
 145               expressions: key (type: string), value (type: string)
 146               outputColumnNames: _col0, _col1
 147               Statistics: Num rows: 500 Data size: 5312 Basic stats: COMPLETE Column stats: NONE
 148               Lateral View Forward
 149                 Statistics: Num rows: 500 Data size: 5312 Basic stats: COMPLETE Column stats: NONE
 150                 Select Operator
 151                   expressions: _col0 (type: string)
 152                   outputColumnNames: _col0
 153                   Statistics: Num rows: 500 Data size: 5312 Basic stats: COMPLETE Column stats: NONE
 154                   Lateral View Join Operator
 155                     outputColumnNames: _col0, _col2
 156                     Statistics: Num rows: 1000 Data size: 10624 Basic stats: COMPLETE Column stats: NONE
 157                     Select Operator
 158                       expressions: _col0 (type: string), _col2 (type: string)
 159                       outputColumnNames: _col0, _col1
 160                       Statistics: Num rows: 1000 Data size: 10624 Basic stats: COMPLETE Column stats: NONE
 161                       Limit
 162                         Number of rows: 10
 163                         Statistics: Num rows: 10 Data size: 100 Basic stats: COMPLETE Column stats: NONE
 164                         File Output Operator
 165                           compressed: false
 166                           Statistics: Num rows: 10 Data size: 100 Basic stats: COMPLETE Column stats: NONE
 167                           table:
 168                               input format: org.apache.hadoop.mapred.SequenceFileInputFormat
 169                               output format: org.apache.hadoop.hive.ql.io.HiveSequenceFileOutputFormat
 170                               serde: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
 171                 Select Operator
 172                   expressions: array(_col1,_col1) (type: array<string>)
 173                   outputColumnNames: _col0
 174                   Statistics: Num rows: 500 Data size: 5312 Basic stats: COMPLETE Column stats: NONE
 175                   UDTF Operator
 176                     Statistics: Num rows: 500 Data size: 5312 Basic stats: COMPLETE Column stats: NONE
 177                     function name: explode
 178                     Lateral View Join Operator
 179                       outputColumnNames: _col0, _col2
 180                       Statistics: Num rows: 1000 Data size: 10624 Basic stats: COMPLETE Column stats: NONE
 181                       Select Operator
 182                         expressions: _col0 (type: string), _col2 (type: string)
 183                         outputColumnNames: _col0, _col1
 184                         Statistics: Num rows: 1000 Data size: 10624 Basic stats: COMPLETE Column stats: NONE
 185                         Limit
 186                           Number of rows: 10
 187                           Statistics: Num rows: 10 Data size: 100 Basic stats: COMPLETE Column stats: NONE
 188                           File Output Operator
 189                             compressed: false
 190                             Statistics: Num rows: 10 Data size: 100 Basic stats: COMPLETE Column stats: NONE
 191                             table:
 192                                 input format: org.apache.hadoop.mapred.SequenceFileInputFormat
 193                                 output format: org.apache.hadoop.hive.ql.io.HiveSequenceFileOutputFormat
 194                                 serde: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
 195
 196   Stage: Stage-0
 197     Fetch Operator
 198       limit: 10
 199       Processor Tree:
 200         ListSink
 201
 202 PREHOOK: query: CREATE TABLE dest_2(key STRING, c1 INT)
 203 PREHOOK: type: CREATETABLE
 204 PREHOOK: Output: database:default
 205 PREHOOK: Output: default@dest_2
 206 POSTHOOK: query: CREATE TABLE dest_2(key STRING, c1 INT)
 207 POSTHOOK: type: CREATETABLE
 208 POSTHOOK: Output: database:default
 209 POSTHOOK: Output: default@dest_2
 210 PREHOOK: query: CREATE TABLE dest_3(key STRING, c1 INT)
 211 PREHOOK: type: CREATETABLE
 212 PREHOOK: Output: database:default
 213 PREHOOK: Output: default@dest_3
 214 POSTHOOK: query: CREATE TABLE dest_3(key STRING, c1 INT)
 215 POSTHOOK: type: CREATETABLE
 216 POSTHOOK: Output: database:default
 217 POSTHOOK: Output: default@dest_3
 218 PREHOOK: query: EXPLAIN FROM src
 219 INSERT OVERWRITE TABLE dest_2 SELECT value, sum(key) GROUP BY value
 220 INSERT OVERWRITE TABLE dest_3 SELECT value, sum(key) GROUP BY value limit 20
 221 PREHOOK: type: QUERY
 222 POSTHOOK: query: EXPLAIN FROM src
 223 INSERT OVERWRITE TABLE dest_2 SELECT value, sum(key) GROUP BY value
 224 INSERT OVERWRITE TABLE dest_3 SELECT value, sum(key) GROUP BY value limit 20
 225 POSTHOOK: type: QUERY
 226 STAGE DEPENDENCIES:
 227   Stage-2 is a root stage
 228   Stage-0 depends on stages: Stage-2
 229   Stage-3 depends on stages: Stage-0, Stage-4, Stage-7
 230   Stage-4 depends on stages: Stage-2
 231   Stage-6 depends on stages: Stage-1, Stage-4, Stage-7
 232   Stage-5 depends on stages: Stage-2
 233   Stage-1 depends on stages: Stage-5
 234   Stage-7 depends on stages: Stage-5
 235
 236 STAGE PLANS:
 237   Stage: Stage-2
 238     Map Reduce
 239       Map Operator Tree:
 240           TableScan
 241             alias: src
 242             Statistics: Num rows: 500 Data size: 5312 Basic stats: COMPLETE Column stats: NONE
 243             Select Operator
 244               expressions: key (type: string), value (type: string)
 245               outputColumnNames: key, value
 246               Statistics: Num rows: 500 Data size: 5312 Basic stats: COMPLETE Column stats: NONE
 247               Reduce Output Operator
 248                 key expressions: value (type: string)
 249                 sort order: +
 250                 Map-reduce partition columns: value (type: string)
 251                 Statistics: Num rows: 500 Data size: 5312 Basic stats: COMPLETE Column stats: NONE
 252                 value expressions: key (type: string)
 253       Reduce Operator Tree:
 254         Forward
 255           Statistics: Num rows: 500 Data size: 5312 Basic stats: COMPLETE Column stats: NONE
 256           Group By Operator
 257             aggregations: sum(VALUE._col0)
 258             keys: KEY._col0 (type: string)
 259             mode: complete
 260             outputColumnNames: _col0, _col1
 261             Statistics: Num rows: 250 Data size: 2656 Basic stats: COMPLETE Column stats: NONE
 262             Select Operator
 263               expressions: _col0 (type: string), UDFToInteger(_col1) (type: int)
 264               outputColumnNames: _col0, _col1
 265               Statistics: Num rows: 250 Data size: 2656 Basic stats: COMPLETE Column stats: NONE
 266               File Output Operator
 267                 compressed: false
 268                 Statistics: Num rows: 250 Data size: 2656 Basic stats: COMPLETE Column stats: NONE
 269                 table:
 270                     input format: org.apache.hadoop.mapred.TextInputFormat
 271                     output format: org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat
 272                     serde: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
 273                     name: default.dest_2
 274               Select Operator
 275                 expressions: _col0 (type: string), _col1 (type: int)
 276                 outputColumnNames: key, c1
 277                 Statistics: Num rows: 250 Data size: 2656 Basic stats: COMPLETE Column stats: NONE
 278                 Group By Operator
 279                   aggregations: compute_stats(key, 'hll'), compute_stats(c1, 'hll')
 280                   mode: hash
 281                   outputColumnNames: _col0, _col1
 282                   Statistics: Num rows: 1 Data size: 864 Basic stats: COMPLETE Column stats: NONE
 283                   File Output Operator
 284                     compressed: false
 285                     table:
 286                         input format: org.apache.hadoop.mapred.SequenceFileInputFormat
 287                         output format: org.apache.hadoop.hive.ql.io.HiveSequenceFileOutputFormat
 288                         serde: org.apache.hadoop.hive.serde2.lazybinary.LazyBinarySerDe
 289           Group By Operator
 290             aggregations: sum(VALUE._col0)
 291             keys: KEY._col0 (type: string)
 292             mode: complete
 293             outputColumnNames: _col0, _col1
 294             Statistics: Num rows: 250 Data size: 2656 Basic stats: COMPLETE Column stats: NONE
 295             Limit
 296               Number of rows: 20
 297               Statistics: Num rows: 20 Data size: 200 Basic stats: COMPLETE Column stats: NONE
 298               File Output Operator
 299                 compressed: false
 300                 table:
 301                     input format: org.apache.hadoop.mapred.SequenceFileInputFormat
 302                     output format: org.apache.hadoop.hive.ql.io.HiveSequenceFileOutputFormat
 303                     serde: org.apache.hadoop.hive.serde2.lazybinary.LazyBinarySerDe
 304
 305   Stage: Stage-0
 306     Move Operator
 307       tables:
 308           replace: true
 309           table:
 310               input format: org.apache.hadoop.mapred.TextInputFormat
 311               output format: org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat
 312               serde: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
 313               name: default.dest_2
 314
 315   Stage: Stage-3
 316     Stats Work
 317       Basic Stats Work:
 318       Column Stats Desc:
 319           Columns: key, c1
 320           Column Types: string, int
 321           Table: default.dest_2
 322
 323   Stage: Stage-4
 324     Map Reduce
 325       Map Operator Tree:
 326           TableScan
 327             Reduce Output Operator
 328               sort order:
 329               Statistics: Num rows: 1 Data size: 864 Basic stats: COMPLETE Column stats: NONE
 330               value expressions: _col0 (type: struct<columntype:string,maxlength:bigint,sumlength:bigint,count:bigint,countnulls:bigint,bitvector:binary>), _col1 (type: struct<columntype:string,min:bigint,max:bigint,countnulls:bigint,bitvector:binary>)
 331       Reduce Operator Tree:
 332         Group By Operator
 333           aggregations: compute_stats(VALUE._col0), compute_stats(VALUE._col1)
 334           mode: mergepartial
 335           outputColumnNames: _col0, _col1
 336           Statistics: Num rows: 1 Data size: 880 Basic stats: COMPLETE Column stats: NONE
 337           File Output Operator
 338             compressed: false
 339             Statistics: Num rows: 1 Data size: 880 Basic stats: COMPLETE Column stats: NONE
 340             table:
 341                 input format: org.apache.hadoop.mapred.SequenceFileInputFormat
 342                 output format: org.apache.hadoop.hive.ql.io.HiveSequenceFileOutputFormat
 343                 serde: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
 344
 345   Stage: Stage-6
 346     Stats Work
 347       Basic Stats Work:
 348       Column Stats Desc:
 349           Columns: key, c1
 350           Column Types: string, int
 351           Table: default.dest_3
 352
 353   Stage: Stage-5
 354     Map Reduce
 355       Map Operator Tree:
 356           TableScan
 357             Reduce Output Operator
 358               sort order:
 359               Statistics: Num rows: 20 Data size: 200 Basic stats: COMPLETE Column stats: NONE
 360               value expressions: _col0 (type: string), _col1 (type: double)
 361       Reduce Operator Tree:
 362         Select Operator
 363           expressions: VALUE._col0 (type: string), VALUE._col1 (type: double)
 364           outputColumnNames: _col0, _col1
 365           Statistics: Num rows: 20 Data size: 200 Basic stats: COMPLETE Column stats: NONE
 366           Limit
 367             Number of rows: 20
 368             Statistics: Num rows: 20 Data size: 200 Basic stats: COMPLETE Column stats: NONE
 369             Select Operator
 370               expressions: _col0 (type: string), UDFToInteger(_col1) (type: int)
 371               outputColumnNames: _col0, _col1
 372               Statistics: Num rows: 20 Data size: 200 Basic stats: COMPLETE Column stats: NONE
 373               File Output Operator
 374                 compressed: false
 375                 Statistics: Num rows: 20 Data size: 200 Basic stats: COMPLETE Column stats: NONE
 376                 table:
 377                     input format: org.apache.hadoop.mapred.TextInputFormat
 378                     output format: org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat
 379                     serde: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
 380                     name: default.dest_3
 381               Select Operator
 382                 expressions: _col0 (type: string), _col1 (type: int)
 383                 outputColumnNames: key, c1
 384                 Statistics: Num rows: 20 Data size: 200 Basic stats: COMPLETE Column stats: NONE
 385                 Group By Operator
 386                   aggregations: compute_stats(key, 'hll'), compute_stats(c1, 'hll')
 387                   mode: hash
 388                   outputColumnNames: _col0, _col1
 389                   Statistics: Num rows: 1 Data size: 864 Basic stats: COMPLETE Column stats: NONE
 390                   File Output Operator
 391                     compressed: false
 392                     table:
 393                         input format: org.apache.hadoop.mapred.SequenceFileInputFormat
 394                         output format: org.apache.hadoop.hive.ql.io.HiveSequenceFileOutputFormat
 395                         serde: org.apache.hadoop.hive.serde2.lazybinary.LazyBinarySerDe
 396
 397   Stage: Stage-1
 398     Move Operator
 399       tables:
 400           replace: true
 401           table:
 402               input format: org.apache.hadoop.mapred.TextInputFormat
 403               output format: org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat
 404               serde: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
 405               name: default.dest_3
 406
 407   Stage: Stage-7
 408     Map Reduce
 409       Map Operator Tree:
 410           TableScan
 411             Reduce Output Operator
 412               sort order:
 413               Statistics: Num rows: 1 Data size: 864 Basic stats: COMPLETE Column stats: NONE
 414               value expressions: _col0 (type: struct<columntype:string,maxlength:bigint,sumlength:bigint,count:bigint,countnulls:bigint,bitvector:binary>), _col1 (type: struct<columntype:string,min:bigint,max:bigint,countnulls:bigint,bitvector:binary>)
 415       Reduce Operator Tree:
 416         Group By Operator
 417           aggregations: compute_stats(VALUE._col0), compute_stats(VALUE._col1)
 418           mode: mergepartial
 419           outputColumnNames: _col0, _col1
 420           Statistics: Num rows: 1 Data size: 880 Basic stats: COMPLETE Column stats: NONE
 421           File Output Operator
 422             compressed: false
 423             Statistics: Num rows: 1 Data size: 880 Basic stats: COMPLETE Column stats: NONE
 424             table:
 425                 input format: org.apache.hadoop.mapred.SequenceFileInputFormat
 426                 output format: org.apache.hadoop.hive.ql.io.HiveSequenceFileOutputFormat
 427                 serde: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
 428