ql/src/test/results/clientpositive/ppd_vc.q.out

   1 PREHOOK: query: explain extended
   2 select * from srcpart where BLOCK__OFFSET__INSIDE__FILE<100
   3 PREHOOK: type: QUERY
   4 POSTHOOK: query: explain extended
   5 select * from srcpart where BLOCK__OFFSET__INSIDE__FILE<100
   6 POSTHOOK: type: QUERY
   7 STAGE DEPENDENCIES:
   8   Stage-1 is a root stage
   9   Stage-0 depends on stages: Stage-1
  10
  11 STAGE PLANS:
  12   Stage: Stage-1
  13     Map Reduce
  14       Map Operator Tree:
  15           TableScan
  16             alias: srcpart
  17             Statistics: Num rows: 2000 Data size: 21248 Basic stats: COMPLETE Column stats: NONE
  18             GatherStats: false
  19             Filter Operator
  20               isSamplingPred: false
  21               predicate: (BLOCK__OFFSET__INSIDE__FILE < 100L) (type: boolean)
  22               Statistics: Num rows: 666 Data size: 7075 Basic stats: COMPLETE Column stats: NONE
  23               Select Operator
  24                 expressions: key (type: string), value (type: string), ds (type: string), hr (type: string)
  25                 outputColumnNames: _col0, _col1, _col2, _col3
  26                 Statistics: Num rows: 666 Data size: 7075 Basic stats: COMPLETE Column stats: NONE
  27                 File Output Operator
  28                   compressed: false
  29                   GlobalTableId: 0
  30 #### A masked pattern was here ####
  31                   NumFilesPerFileSink: 1
  32                   Statistics: Num rows: 666 Data size: 7075 Basic stats: COMPLETE Column stats: NONE
  33 #### A masked pattern was here ####
  34                   table:
  35                       input format: org.apache.hadoop.mapred.SequenceFileInputFormat
  36                       output format: org.apache.hadoop.hive.ql.io.HiveSequenceFileOutputFormat
  37                       properties:
  38                         columns _col0,_col1,_col2,_col3
  39                         columns.types string:string:string:string
  40                         escape.delim \
  41                         hive.serialization.extend.additional.nesting.levels true
  42                         serialization.escape.crlf true
  43                         serialization.format 1
  44                         serialization.lib org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
  45                       serde: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
  46                   TotalFiles: 1
  47                   GatherStats: false
  48                   MultiFileSpray: false
  49       Path -> Alias:
  50 #### A masked pattern was here ####
  51       Path -> Partition:
  52 #### A masked pattern was here ####
  53           Partition
  54             base file name: hr=11
  55             input format: org.apache.hadoop.mapred.TextInputFormat
  56             output format: org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat
  57             partition values:
  58               ds 2008-04-08
  59               hr 11
  60             properties:
  61               COLUMN_STATS_ACCURATE {"BASIC_STATS":"true","COLUMN_STATS":{"key":"true","value":"true"}}
  62               bucket_count -1
  63               column.name.delimiter ,
  64               columns key,value
  65               columns.comments 'default','default'
  66               columns.types string:string
  67 #### A masked pattern was here ####
  68               name default.srcpart
  69               numFiles 1
  70               numRows 500
  71               partition_columns ds/hr
  72               partition_columns.types string:string
  73               rawDataSize 5312
  74               serialization.ddl struct srcpart { string key, string value}
  75               serialization.format 1
  76               serialization.lib org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
  77               totalSize 5812
  78 #### A masked pattern was here ####
  79             serde: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
  80
  81               input format: org.apache.hadoop.mapred.TextInputFormat
  82               output format: org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat
  83               properties:
  84                 bucket_count -1
  85                 column.name.delimiter ,
  86                 columns key,value
  87                 columns.comments 'default','default'
  88                 columns.types string:string
  89 #### A masked pattern was here ####
  90                 name default.srcpart
  91                 partition_columns ds/hr
  92                 partition_columns.types string:string
  93                 serialization.ddl struct srcpart { string key, string value}
  94                 serialization.format 1
  95                 serialization.lib org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
  96 #### A masked pattern was here ####
  97               serde: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
  98               name: default.srcpart
  99             name: default.srcpart
 100 #### A masked pattern was here ####
 101           Partition
 102             base file name: hr=12
 103             input format: org.apache.hadoop.mapred.TextInputFormat
 104             output format: org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat
 105             partition values:
 106               ds 2008-04-08
 107               hr 12
 108             properties:
 109               COLUMN_STATS_ACCURATE {"BASIC_STATS":"true","COLUMN_STATS":{"key":"true","value":"true"}}
 110               bucket_count -1
 111               column.name.delimiter ,
 112               columns key,value
 113               columns.comments 'default','default'
 114               columns.types string:string
 115 #### A masked pattern was here ####
 116               name default.srcpart
 117               numFiles 1
 118               numRows 500
 119               partition_columns ds/hr
 120               partition_columns.types string:string
 121               rawDataSize 5312
 122               serialization.ddl struct srcpart { string key, string value}
 123               serialization.format 1
 124               serialization.lib org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
 125               totalSize 5812
 126 #### A masked pattern was here ####
 127             serde: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
 128
 129               input format: org.apache.hadoop.mapred.TextInputFormat
 130               output format: org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat
 131               properties:
 132                 bucket_count -1
 133                 column.name.delimiter ,
 134                 columns key,value
 135                 columns.comments 'default','default'
 136                 columns.types string:string
 137 #### A masked pattern was here ####
 138                 name default.srcpart
 139                 partition_columns ds/hr
 140                 partition_columns.types string:string
 141                 serialization.ddl struct srcpart { string key, string value}
 142                 serialization.format 1
 143                 serialization.lib org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
 144 #### A masked pattern was here ####
 145               serde: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
 146               name: default.srcpart
 147             name: default.srcpart
 148 #### A masked pattern was here ####
 149           Partition
 150             base file name: hr=11
 151             input format: org.apache.hadoop.mapred.TextInputFormat
 152             output format: org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat
 153             partition values:
 154               ds 2008-04-09
 155               hr 11
 156             properties:
 157               COLUMN_STATS_ACCURATE {"BASIC_STATS":"true","COLUMN_STATS":{"key":"true","value":"true"}}
 158               bucket_count -1
 159               column.name.delimiter ,
 160               columns key,value
 161               columns.comments 'default','default'
 162               columns.types string:string
 163 #### A masked pattern was here ####
 164               name default.srcpart
 165               numFiles 1
 166               numRows 500
 167               partition_columns ds/hr
 168               partition_columns.types string:string
 169               rawDataSize 5312
 170               serialization.ddl struct srcpart { string key, string value}
 171               serialization.format 1
 172               serialization.lib org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
 173               totalSize 5812
 174 #### A masked pattern was here ####
 175             serde: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
 176
 177               input format: org.apache.hadoop.mapred.TextInputFormat
 178               output format: org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat
 179               properties:
 180                 bucket_count -1
 181                 column.name.delimiter ,
 182                 columns key,value
 183                 columns.comments 'default','default'
 184                 columns.types string:string
 185 #### A masked pattern was here ####
 186                 name default.srcpart
 187                 partition_columns ds/hr
 188                 partition_columns.types string:string
 189                 serialization.ddl struct srcpart { string key, string value}
 190                 serialization.format 1
 191                 serialization.lib org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
 192 #### A masked pattern was here ####
 193               serde: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
 194               name: default.srcpart
 195             name: default.srcpart
 196 #### A masked pattern was here ####
 197           Partition
 198             base file name: hr=12
 199             input format: org.apache.hadoop.mapred.TextInputFormat
 200             output format: org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat
 201             partition values:
 202               ds 2008-04-09
 203               hr 12
 204             properties:
 205               COLUMN_STATS_ACCURATE {"BASIC_STATS":"true","COLUMN_STATS":{"key":"true","value":"true"}}
 206               bucket_count -1
 207               column.name.delimiter ,
 208               columns key,value
 209               columns.comments 'default','default'
 210               columns.types string:string
 211 #### A masked pattern was here ####
 212               name default.srcpart
 213               numFiles 1
 214               numRows 500
 215               partition_columns ds/hr
 216               partition_columns.types string:string
 217               rawDataSize 5312
 218               serialization.ddl struct srcpart { string key, string value}
 219               serialization.format 1
 220               serialization.lib org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
 221               totalSize 5812
 222 #### A masked pattern was here ####
 223             serde: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
 224
 225               input format: org.apache.hadoop.mapred.TextInputFormat
 226               output format: org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat
 227               properties:
 228                 bucket_count -1
 229                 column.name.delimiter ,
 230                 columns key,value
 231                 columns.comments 'default','default'
 232                 columns.types string:string
 233 #### A masked pattern was here ####
 234                 name default.srcpart
 235                 partition_columns ds/hr
 236                 partition_columns.types string:string
 237                 serialization.ddl struct srcpart { string key, string value}
 238                 serialization.format 1
 239                 serialization.lib org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
 240 #### A masked pattern was here ####
 241               serde: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
 242               name: default.srcpart
 243             name: default.srcpart
 244       Truncated Path -> Alias:
 245         /srcpart/ds=2008-04-08/hr=11 [srcpart]
 246         /srcpart/ds=2008-04-08/hr=12 [srcpart]
 247         /srcpart/ds=2008-04-09/hr=11 [srcpart]
 248         /srcpart/ds=2008-04-09/hr=12 [srcpart]
 249
 250   Stage: Stage-0
 251     Fetch Operator
 252       limit: -1
 253       Processor Tree:
 254         ListSink
 255
 256 PREHOOK: query: select * from srcpart where BLOCK__OFFSET__INSIDE__FILE<100
 257 PREHOOK: type: QUERY
 258 PREHOOK: Input: default@srcpart
 259 PREHOOK: Input: default@srcpart@ds=2008-04-08/hr=11
 260 PREHOOK: Input: default@srcpart@ds=2008-04-08/hr=12
 261 PREHOOK: Input: default@srcpart@ds=2008-04-09/hr=11
 262 PREHOOK: Input: default@srcpart@ds=2008-04-09/hr=12
 263 #### A masked pattern was here ####
 264 POSTHOOK: query: select * from srcpart where BLOCK__OFFSET__INSIDE__FILE<100
 265 POSTHOOK: type: QUERY
 266 POSTHOOK: Input: default@srcpart
 267 POSTHOOK: Input: default@srcpart@ds=2008-04-08/hr=11
 268 POSTHOOK: Input: default@srcpart@ds=2008-04-08/hr=12
 269 POSTHOOK: Input: default@srcpart@ds=2008-04-09/hr=11
 270 POSTHOOK: Input: default@srcpart@ds=2008-04-09/hr=12
 271 #### A masked pattern was here ####
 272 238     val_238 2008-04-08      11
 273 86      val_86  2008-04-08      11
 274 311     val_311 2008-04-08      11
 275 27      val_27  2008-04-08      11
 276 165     val_165 2008-04-08      11
 277 409     val_409 2008-04-08      11
 278 255     val_255 2008-04-08      11
 279 278     val_278 2008-04-08      11
 280 98      val_98  2008-04-08      11
 281 238     val_238 2008-04-08      12
 282 86      val_86  2008-04-08      12
 283 311     val_311 2008-04-08      12
 284 27      val_27  2008-04-08      12
 285 165     val_165 2008-04-08      12
 286 409     val_409 2008-04-08      12
 287 255     val_255 2008-04-08      12
 288 278     val_278 2008-04-08      12
 289 98      val_98  2008-04-08      12
 290 238     val_238 2008-04-09      11
 291 86      val_86  2008-04-09      11
 292 311     val_311 2008-04-09      11
 293 27      val_27  2008-04-09      11
 294 165     val_165 2008-04-09      11
 295 409     val_409 2008-04-09      11
 296 255     val_255 2008-04-09      11
 297 278     val_278 2008-04-09      11
 298 98      val_98  2008-04-09      11
 299 238     val_238 2008-04-09      12
 300 86      val_86  2008-04-09      12
 301 311     val_311 2008-04-09      12
 302 27      val_27  2008-04-09      12
 303 165     val_165 2008-04-09      12
 304 409     val_409 2008-04-09      12
 305 255     val_255 2008-04-09      12
 306 278     val_278 2008-04-09      12
 307 98      val_98  2008-04-09      12
 308 PREHOOK: query: explain extended
 309 select b.* from src a join
 310   (select *,BLOCK__OFFSET__INSIDE__FILE from srcpart where BLOCK__OFFSET__INSIDE__FILE<100) b
 311     on a.key=b.key AND b.BLOCK__OFFSET__INSIDE__FILE<50 order by ds,hr,BLOCK__OFFSET__INSIDE__FILE
 312 PREHOOK: type: QUERY
 313 POSTHOOK: query: explain extended
 314 select b.* from src a join
 315   (select *,BLOCK__OFFSET__INSIDE__FILE from srcpart where BLOCK__OFFSET__INSIDE__FILE<100) b
 316     on a.key=b.key AND b.BLOCK__OFFSET__INSIDE__FILE<50 order by ds,hr,BLOCK__OFFSET__INSIDE__FILE
 317 POSTHOOK: type: QUERY
 318 STAGE DEPENDENCIES:
 319   Stage-1 is a root stage
 320   Stage-2 depends on stages: Stage-1
 321   Stage-0 depends on stages: Stage-2
 322
 323 STAGE PLANS:
 324   Stage: Stage-1
 325     Map Reduce
 326       Map Operator Tree:
 327           TableScan
 328             alias: a
 329             Statistics: Num rows: 500 Data size: 5312 Basic stats: COMPLETE Column stats: NONE
 330             GatherStats: false
 331             Filter Operator
 332               isSamplingPred: false
 333               predicate: key is not null (type: boolean)
 334               Statistics: Num rows: 500 Data size: 5312 Basic stats: COMPLETE Column stats: NONE
 335               Select Operator
 336                 expressions: key (type: string)
 337                 outputColumnNames: _col0
 338                 Statistics: Num rows: 500 Data size: 5312 Basic stats: COMPLETE Column stats: NONE
 339                 Reduce Output Operator
 340                   key expressions: _col0 (type: string)
 341                   null sort order: a
 342                   sort order: +
 343                   Map-reduce partition columns: _col0 (type: string)
 344                   Statistics: Num rows: 500 Data size: 5312 Basic stats: COMPLETE Column stats: NONE
 345                   tag: 0
 346                   auto parallelism: false
 347           TableScan
 348             alias: srcpart
 349             Statistics: Num rows: 2000 Data size: 21248 Basic stats: COMPLETE Column stats: NONE
 350             GatherStats: false
 351             Filter Operator
 352               isSamplingPred: false
 353               predicate: ((BLOCK__OFFSET__INSIDE__FILE < 50L) and key is not null) (type: boolean)
 354               Statistics: Num rows: 666 Data size: 7075 Basic stats: COMPLETE Column stats: NONE
 355               Select Operator
 356                 expressions: key (type: string), value (type: string), ds (type: string), hr (type: string), BLOCK__OFFSET__INSIDE__FILE (type: bigint)
 357                 outputColumnNames: _col0, _col1, _col2, _col3, _col4
 358                 Statistics: Num rows: 666 Data size: 7075 Basic stats: COMPLETE Column stats: NONE
 359                 Reduce Output Operator
 360                   key expressions: _col0 (type: string)
 361                   null sort order: a
 362                   sort order: +
 363                   Map-reduce partition columns: _col0 (type: string)
 364                   Statistics: Num rows: 666 Data size: 7075 Basic stats: COMPLETE Column stats: NONE
 365                   tag: 1
 366                   value expressions: _col1 (type: string), _col2 (type: string), _col3 (type: string), _col4 (type: bigint)
 367                   auto parallelism: false
 368       Path -> Alias:
 369 #### A masked pattern was here ####
 370       Path -> Partition:
 371 #### A masked pattern was here ####
 372           Partition
 373             base file name: src
 374             input format: org.apache.hadoop.mapred.TextInputFormat
 375             output format: org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat
 376             properties:
 377               COLUMN_STATS_ACCURATE {"BASIC_STATS":"true","COLUMN_STATS":{"key":"true","value":"true"}}
 378               bucket_count -1
 379               column.name.delimiter ,
 380               columns key,value
 381               columns.comments 'default','default'
 382               columns.types string:string
 383 #### A masked pattern was here ####
 384               name default.src
 385               numFiles 1
 386               numRows 500
 387               rawDataSize 5312
 388               serialization.ddl struct src { string key, string value}
 389               serialization.format 1
 390               serialization.lib org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
 391               totalSize 5812
 392 #### A masked pattern was here ####
 393             serde: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
 394
 395               input format: org.apache.hadoop.mapred.TextInputFormat
 396               output format: org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat
 397               properties:
 398                 COLUMN_STATS_ACCURATE {"BASIC_STATS":"true","COLUMN_STATS":{"key":"true","value":"true"}}
 399                 bucket_count -1
 400                 column.name.delimiter ,
 401                 columns key,value
 402                 columns.comments 'default','default'
 403                 columns.types string:string
 404 #### A masked pattern was here ####
 405                 name default.src
 406                 numFiles 1
 407                 numRows 500
 408                 rawDataSize 5312
 409                 serialization.ddl struct src { string key, string value}
 410                 serialization.format 1
 411                 serialization.lib org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
 412                 totalSize 5812
 413 #### A masked pattern was here ####
 414               serde: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
 415               name: default.src
 416             name: default.src
 417 #### A masked pattern was here ####
 418           Partition
 419             base file name: hr=11
 420             input format: org.apache.hadoop.mapred.TextInputFormat
 421             output format: org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat
 422             partition values:
 423               ds 2008-04-08
 424               hr 11
 425             properties:
 426               COLUMN_STATS_ACCURATE {"BASIC_STATS":"true","COLUMN_STATS":{"key":"true","value":"true"}}
 427               bucket_count -1
 428               column.name.delimiter ,
 429               columns key,value
 430               columns.comments 'default','default'
 431               columns.types string:string
 432 #### A masked pattern was here ####
 433               name default.srcpart
 434               numFiles 1
 435               numRows 500
 436               partition_columns ds/hr
 437               partition_columns.types string:string
 438               rawDataSize 5312
 439               serialization.ddl struct srcpart { string key, string value}
 440               serialization.format 1
 441               serialization.lib org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
 442               totalSize 5812
 443 #### A masked pattern was here ####
 444             serde: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
 445
 446               input format: org.apache.hadoop.mapred.TextInputFormat
 447               output format: org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat
 448               properties:
 449                 bucket_count -1
 450                 column.name.delimiter ,
 451                 columns key,value
 452                 columns.comments 'default','default'
 453                 columns.types string:string
 454 #### A masked pattern was here ####
 455                 name default.srcpart
 456                 partition_columns ds/hr
 457                 partition_columns.types string:string
 458                 serialization.ddl struct srcpart { string key, string value}
 459                 serialization.format 1
 460                 serialization.lib org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
 461 #### A masked pattern was here ####
 462               serde: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
 463               name: default.srcpart
 464             name: default.srcpart
 465 #### A masked pattern was here ####
 466           Partition
 467             base file name: hr=12
 468             input format: org.apache.hadoop.mapred.TextInputFormat
 469             output format: org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat
 470             partition values:
 471               ds 2008-04-08
 472               hr 12
 473             properties:
 474               COLUMN_STATS_ACCURATE {"BASIC_STATS":"true","COLUMN_STATS":{"key":"true","value":"true"}}
 475               bucket_count -1
 476               column.name.delimiter ,
 477               columns key,value
 478               columns.comments 'default','default'
 479               columns.types string:string
 480 #### A masked pattern was here ####
 481               name default.srcpart
 482               numFiles 1
 483               numRows 500
 484               partition_columns ds/hr
 485               partition_columns.types string:string
 486               rawDataSize 5312
 487               serialization.ddl struct srcpart { string key, string value}
 488               serialization.format 1
 489               serialization.lib org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
 490               totalSize 5812
 491 #### A masked pattern was here ####
 492             serde: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
 493
 494               input format: org.apache.hadoop.mapred.TextInputFormat
 495               output format: org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat
 496               properties:
 497                 bucket_count -1
 498                 column.name.delimiter ,
 499                 columns key,value
 500                 columns.comments 'default','default'
 501                 columns.types string:string
 502 #### A masked pattern was here ####
 503                 name default.srcpart
 504                 partition_columns ds/hr
 505                 partition_columns.types string:string
 506                 serialization.ddl struct srcpart { string key, string value}
 507                 serialization.format 1
 508                 serialization.lib org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
 509 #### A masked pattern was here ####
 510               serde: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
 511               name: default.srcpart
 512             name: default.srcpart
 513 #### A masked pattern was here ####
 514           Partition
 515             base file name: hr=11
 516             input format: org.apache.hadoop.mapred.TextInputFormat
 517             output format: org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat
 518             partition values:
 519               ds 2008-04-09
 520               hr 11
 521             properties:
 522               COLUMN_STATS_ACCURATE {"BASIC_STATS":"true","COLUMN_STATS":{"key":"true","value":"true"}}
 523               bucket_count -1
 524               column.name.delimiter ,
 525               columns key,value
 526               columns.comments 'default','default'
 527               columns.types string:string
 528 #### A masked pattern was here ####
 529               name default.srcpart
 530               numFiles 1
 531               numRows 500
 532               partition_columns ds/hr
 533               partition_columns.types string:string
 534               rawDataSize 5312
 535               serialization.ddl struct srcpart { string key, string value}
 536               serialization.format 1
 537               serialization.lib org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
 538               totalSize 5812
 539 #### A masked pattern was here ####
 540             serde: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
 541
 542               input format: org.apache.hadoop.mapred.TextInputFormat
 543               output format: org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat
 544               properties:
 545                 bucket_count -1
 546                 column.name.delimiter ,
 547                 columns key,value
 548                 columns.comments 'default','default'
 549                 columns.types string:string
 550 #### A masked pattern was here ####
 551                 name default.srcpart
 552                 partition_columns ds/hr
 553                 partition_columns.types string:string
 554                 serialization.ddl struct srcpart { string key, string value}
 555                 serialization.format 1
 556                 serialization.lib org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
 557 #### A masked pattern was here ####
 558               serde: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
 559               name: default.srcpart
 560             name: default.srcpart
 561 #### A masked pattern was here ####
 562           Partition
 563             base file name: hr=12
 564             input format: org.apache.hadoop.mapred.TextInputFormat
 565             output format: org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat
 566             partition values:
 567               ds 2008-04-09
 568               hr 12
 569             properties:
 570               COLUMN_STATS_ACCURATE {"BASIC_STATS":"true","COLUMN_STATS":{"key":"true","value":"true"}}
 571               bucket_count -1
 572               column.name.delimiter ,
 573               columns key,value
 574               columns.comments 'default','default'
 575               columns.types string:string
 576 #### A masked pattern was here ####
 577               name default.srcpart
 578               numFiles 1
 579               numRows 500
 580               partition_columns ds/hr
 581               partition_columns.types string:string
 582               rawDataSize 5312
 583               serialization.ddl struct srcpart { string key, string value}
 584               serialization.format 1
 585               serialization.lib org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
 586               totalSize 5812
 587 #### A masked pattern was here ####
 588             serde: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
 589
 590               input format: org.apache.hadoop.mapred.TextInputFormat
 591               output format: org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat
 592               properties:
 593                 bucket_count -1
 594                 column.name.delimiter ,
 595                 columns key,value
 596                 columns.comments 'default','default'
 597                 columns.types string:string
 598 #### A masked pattern was here ####
 599                 name default.srcpart
 600                 partition_columns ds/hr
 601                 partition_columns.types string:string
 602                 serialization.ddl struct srcpart { string key, string value}
 603                 serialization.format 1
 604                 serialization.lib org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
 605 #### A masked pattern was here ####
 606               serde: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
 607               name: default.srcpart
 608             name: default.srcpart
 609       Truncated Path -> Alias:
 610         /src [$hdt$_0:a]
 611         /srcpart/ds=2008-04-08/hr=11 [$hdt$_1:srcpart]
 612         /srcpart/ds=2008-04-08/hr=12 [$hdt$_1:srcpart]
 613         /srcpart/ds=2008-04-09/hr=11 [$hdt$_1:srcpart]
 614         /srcpart/ds=2008-04-09/hr=12 [$hdt$_1:srcpart]
 615       Needs Tagging: true
 616       Reduce Operator Tree:
 617         Join Operator
 618           condition map:
 619                Inner Join 0 to 1
 620           keys:
 621             0 _col0 (type: string)
 622             1 _col0 (type: string)
 623           outputColumnNames: _col1, _col2, _col3, _col4, _col5
 624           Statistics: Num rows: 732 Data size: 7782 Basic stats: COMPLETE Column stats: NONE
 625           Select Operator
 626             expressions: _col1 (type: string), _col2 (type: string), _col3 (type: string), _col4 (type: string), _col5 (type: bigint)
 627             outputColumnNames: _col0, _col1, _col2, _col3, _col4
 628             Statistics: Num rows: 732 Data size: 7782 Basic stats: COMPLETE Column stats: NONE
 629             File Output Operator
 630               compressed: false
 631               GlobalTableId: 0
 632 #### A masked pattern was here ####
 633               NumFilesPerFileSink: 1
 634               table:
 635                   input format: org.apache.hadoop.mapred.SequenceFileInputFormat
 636                   output format: org.apache.hadoop.hive.ql.io.HiveSequenceFileOutputFormat
 637                   properties:
 638                     column.name.delimiter ,
 639                     columns _col0,_col1,_col2,_col3,_col4
 640                     columns.types string,string,string,string,bigint
 641                     escape.delim \
 642                     serialization.lib org.apache.hadoop.hive.serde2.lazybinary.LazyBinarySerDe
 643                   serde: org.apache.hadoop.hive.serde2.lazybinary.LazyBinarySerDe
 644               TotalFiles: 1
 645               GatherStats: false
 646               MultiFileSpray: false
 647
 648   Stage: Stage-2
 649     Map Reduce
 650       Map Operator Tree:
 651           TableScan
 652             GatherStats: false
 653             Reduce Output Operator
 654               key expressions: _col2 (type: string), _col3 (type: string), _col4 (type: bigint)
 655               null sort order: aaa
 656               sort order: +++
 657               Statistics: Num rows: 732 Data size: 7782 Basic stats: COMPLETE Column stats: NONE
 658               tag: -1
 659               value expressions: _col0 (type: string), _col1 (type: string)
 660               auto parallelism: false
 661       Path -> Alias:
 662 #### A masked pattern was here ####
 663       Path -> Partition:
 664 #### A masked pattern was here ####
 665           Partition
 666             base file name: -mr-10004
 667             input format: org.apache.hadoop.mapred.SequenceFileInputFormat
 668             output format: org.apache.hadoop.hive.ql.io.HiveSequenceFileOutputFormat
 669             properties:
 670               column.name.delimiter ,
 671               columns _col0,_col1,_col2,_col3,_col4
 672               columns.types string,string,string,string,bigint
 673               escape.delim \
 674               serialization.lib org.apache.hadoop.hive.serde2.lazybinary.LazyBinarySerDe
 675             serde: org.apache.hadoop.hive.serde2.lazybinary.LazyBinarySerDe
 676
 677               input format: org.apache.hadoop.mapred.SequenceFileInputFormat
 678               output format: org.apache.hadoop.hive.ql.io.HiveSequenceFileOutputFormat
 679               properties:
 680                 column.name.delimiter ,
 681                 columns _col0,_col1,_col2,_col3,_col4
 682                 columns.types string,string,string,string,bigint
 683                 escape.delim \
 684                 serialization.lib org.apache.hadoop.hive.serde2.lazybinary.LazyBinarySerDe
 685               serde: org.apache.hadoop.hive.serde2.lazybinary.LazyBinarySerDe
 686       Truncated Path -> Alias:
 687 #### A masked pattern was here ####
 688       Needs Tagging: false
 689       Reduce Operator Tree:
 690         Select Operator
 691           expressions: VALUE._col0 (type: string), VALUE._col1 (type: string), KEY.reducesinkkey0 (type: string), KEY.reducesinkkey1 (type: string), KEY.reducesinkkey2 (type: bigint)
 692           outputColumnNames: _col0, _col1, _col2, _col3, _col4
 693           Statistics: Num rows: 732 Data size: 7782 Basic stats: COMPLETE Column stats: NONE
 694           File Output Operator
 695             compressed: false
 696             GlobalTableId: 0
 697 #### A masked pattern was here ####
 698             NumFilesPerFileSink: 1
 699             Statistics: Num rows: 732 Data size: 7782 Basic stats: COMPLETE Column stats: NONE
 700 #### A masked pattern was here ####
 701             table:
 702                 input format: org.apache.hadoop.mapred.SequenceFileInputFormat
 703                 output format: org.apache.hadoop.hive.ql.io.HiveSequenceFileOutputFormat
 704                 properties:
 705                   columns _col0,_col1,_col2,_col3,_col4
 706                   columns.types string:string:string:string:bigint
 707                   escape.delim \
 708                   hive.serialization.extend.additional.nesting.levels true
 709                   serialization.escape.crlf true
 710                   serialization.format 1
 711                   serialization.lib org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
 712                 serde: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
 713             TotalFiles: 1
 714             GatherStats: false
 715             MultiFileSpray: false
 716
 717   Stage: Stage-0
 718     Fetch Operator
 719       limit: -1
 720       Processor Tree:
 721         ListSink
 722
 723 PREHOOK: query: select b.* from src a join
 724   (select *,BLOCK__OFFSET__INSIDE__FILE from srcpart where BLOCK__OFFSET__INSIDE__FILE<100) b
 725     on a.key=b.key AND b.BLOCK__OFFSET__INSIDE__FILE<50 order by ds,hr,BLOCK__OFFSET__INSIDE__FILE
 726 PREHOOK: type: QUERY
 727 PREHOOK: Input: default@src
 728 PREHOOK: Input: default@srcpart
 729 PREHOOK: Input: default@srcpart@ds=2008-04-08/hr=11
 730 PREHOOK: Input: default@srcpart@ds=2008-04-08/hr=12
 731 PREHOOK: Input: default@srcpart@ds=2008-04-09/hr=11
 732 PREHOOK: Input: default@srcpart@ds=2008-04-09/hr=12
 733 #### A masked pattern was here ####
 734 POSTHOOK: query: select b.* from src a join
 735   (select *,BLOCK__OFFSET__INSIDE__FILE from srcpart where BLOCK__OFFSET__INSIDE__FILE<100) b
 736     on a.key=b.key AND b.BLOCK__OFFSET__INSIDE__FILE<50 order by ds,hr,BLOCK__OFFSET__INSIDE__FILE
 737 POSTHOOK: type: QUERY
 738 POSTHOOK: Input: default@src
 739 POSTHOOK: Input: default@srcpart
 740 POSTHOOK: Input: default@srcpart@ds=2008-04-08/hr=11
 741 POSTHOOK: Input: default@srcpart@ds=2008-04-08/hr=12
 742 POSTHOOK: Input: default@srcpart@ds=2008-04-09/hr=11
 743 POSTHOOK: Input: default@srcpart@ds=2008-04-09/hr=12
 744 #### A masked pattern was here ####
 745 238     val_238 2008-04-08      11      0
 746 238     val_238 2008-04-08      11      0
 747 86      val_86  2008-04-08      11      12
 748 311     val_311 2008-04-08      11      22
 749 311     val_311 2008-04-08      11      22
 750 311     val_311 2008-04-08      11      22
 751 27      val_27  2008-04-08      11      34
 752 165     val_165 2008-04-08      11      44
 753 165     val_165 2008-04-08      11      44
 754 238     val_238 2008-04-08      12      0
 755 238     val_238 2008-04-08      12      0
 756 86      val_86  2008-04-08      12      12
 757 311     val_311 2008-04-08      12      22
 758 311     val_311 2008-04-08      12      22
 759 311     val_311 2008-04-08      12      22
 760 27      val_27  2008-04-08      12      34
 761 165     val_165 2008-04-08      12      44
 762 165     val_165 2008-04-08      12      44
 763 238     val_238 2008-04-09      11      0
 764 238     val_238 2008-04-09      11      0
 765 86      val_86  2008-04-09      11      12
 766 311     val_311 2008-04-09      11      22
 767 311     val_311 2008-04-09      11      22
 768 311     val_311 2008-04-09      11      22
 769 27      val_27  2008-04-09      11      34
 770 165     val_165 2008-04-09      11      44
 771 165     val_165 2008-04-09      11      44
 772 238     val_238 2008-04-09      12      0
 773 238     val_238 2008-04-09      12      0
 774 86      val_86  2008-04-09      12      12
 775 311     val_311 2008-04-09      12      22
 776 311     val_311 2008-04-09      12      22
 777 311     val_311 2008-04-09      12      22
 778 27      val_27  2008-04-09      12      34
 779 165     val_165 2008-04-09      12      44
 780 165     val_165 2008-04-09      12      44