HIVE-18797 : ExprConstNodeDesc's getExprString should put appropriate qualifier with...
[hive.git] / ql / src / test / results / clientpositive / perf / spark / query36.q.out
1 PREHOOK: query: explain
2 select  
3     sum(ss_net_profit)/sum(ss_ext_sales_price) as gross_margin
4    ,i_category
5    ,i_class
6    ,grouping(i_category)+grouping(i_class) as lochierarchy
7    ,rank() over (
8         partition by grouping(i_category)+grouping(i_class),
9         case when grouping(i_class) = 0 then i_category end 
10         order by sum(ss_net_profit)/sum(ss_ext_sales_price) asc) as rank_within_parent
11  from
12     store_sales
13    ,date_dim       d1
14    ,item
15    ,store
16  where
17     d1.d_year = 1999 
18  and d1.d_date_sk = ss_sold_date_sk
19  and i_item_sk  = ss_item_sk 
20  and s_store_sk  = ss_store_sk
21  and s_state in ('SD','FL','MI','LA',
22                  'MO','SC','AL','GA')
23  group by rollup(i_category,i_class)
24  order by
25    lochierarchy desc
26   ,case when lochierarchy = 0 then i_category end
27   ,rank_within_parent
28   limit 100
29 PREHOOK: type: QUERY
30 POSTHOOK: query: explain
31 select  
32     sum(ss_net_profit)/sum(ss_ext_sales_price) as gross_margin
33    ,i_category
34    ,i_class
35    ,grouping(i_category)+grouping(i_class) as lochierarchy
36    ,rank() over (
37         partition by grouping(i_category)+grouping(i_class),
38         case when grouping(i_class) = 0 then i_category end 
39         order by sum(ss_net_profit)/sum(ss_ext_sales_price) asc) as rank_within_parent
40  from
41     store_sales
42    ,date_dim       d1
43    ,item
44    ,store
45  where
46     d1.d_year = 1999 
47  and d1.d_date_sk = ss_sold_date_sk
48  and i_item_sk  = ss_item_sk 
49  and s_store_sk  = ss_store_sk
50  and s_state in ('SD','FL','MI','LA',
51                  'MO','SC','AL','GA')
52  group by rollup(i_category,i_class)
53  order by
54    lochierarchy desc
55   ,case when lochierarchy = 0 then i_category end
56   ,rank_within_parent
57   limit 100
58 POSTHOOK: type: QUERY
59 STAGE DEPENDENCIES:
60   Stage-2 is a root stage
61   Stage-1 depends on stages: Stage-2
62   Stage-0 depends on stages: Stage-1
63
64 STAGE PLANS:
65   Stage: Stage-2
66     Spark
67 #### A masked pattern was here ####
68       Vertices:
69         Map 8 
70             Map Operator Tree:
71                 TableScan
72                   alias: store
73                   Statistics: Num rows: 1704 Data size: 3256276 Basic stats: COMPLETE Column stats: NONE
74                   Filter Operator
75                     predicate: ((s_state) IN ('SD', 'FL', 'MI', 'LA', 'MO', 'SC', 'AL', 'GA') and s_store_sk is not null) (type: boolean)
76                     Statistics: Num rows: 852 Data size: 1628138 Basic stats: COMPLETE Column stats: NONE
77                     Select Operator
78                       expressions: s_store_sk (type: int)
79                       outputColumnNames: _col0
80                       Statistics: Num rows: 852 Data size: 1628138 Basic stats: COMPLETE Column stats: NONE
81                       Spark HashTable Sink Operator
82                         keys:
83                           0 _col2 (type: int)
84                           1 _col0 (type: int)
85             Local Work:
86               Map Reduce Local Work
87
88   Stage: Stage-1
89     Spark
90       Edges:
91         Reducer 2 <- Map 1 (PARTITION-LEVEL SORT, 398), Map 7 (PARTITION-LEVEL SORT, 398)
92         Reducer 3 <- Map 9 (PARTITION-LEVEL SORT, 486), Reducer 2 (PARTITION-LEVEL SORT, 486)
93         Reducer 4 <- Reducer 3 (GROUP, 1009)
94         Reducer 5 <- Reducer 4 (PARTITION-LEVEL SORT, 793)
95         Reducer 6 <- Reducer 5 (SORT, 1)
96 #### A masked pattern was here ####
97       Vertices:
98         Map 1 
99             Map Operator Tree:
100                 TableScan
101                   alias: store_sales
102                   Statistics: Num rows: 575995635 Data size: 50814502088 Basic stats: COMPLETE Column stats: NONE
103                   Filter Operator
104                     predicate: (ss_item_sk is not null and ss_sold_date_sk is not null and ss_store_sk is not null) (type: boolean)
105                     Statistics: Num rows: 575995635 Data size: 50814502088 Basic stats: COMPLETE Column stats: NONE
106                     Select Operator
107                       expressions: ss_sold_date_sk (type: int), ss_item_sk (type: int), ss_store_sk (type: int), ss_ext_sales_price (type: decimal(7,2)), ss_net_profit (type: decimal(7,2))
108                       outputColumnNames: _col0, _col1, _col2, _col3, _col4
109                       Statistics: Num rows: 575995635 Data size: 50814502088 Basic stats: COMPLETE Column stats: NONE
110                       Reduce Output Operator
111                         key expressions: _col0 (type: int)
112                         sort order: +
113                         Map-reduce partition columns: _col0 (type: int)
114                         Statistics: Num rows: 575995635 Data size: 50814502088 Basic stats: COMPLETE Column stats: NONE
115                         value expressions: _col1 (type: int), _col2 (type: int), _col3 (type: decimal(7,2)), _col4 (type: decimal(7,2))
116         Map 7 
117             Map Operator Tree:
118                 TableScan
119                   alias: d1
120                   Statistics: Num rows: 73049 Data size: 81741831 Basic stats: COMPLETE Column stats: NONE
121                   Filter Operator
122                     predicate: ((d_year = 1999) and d_date_sk is not null) (type: boolean)
123                     Statistics: Num rows: 36524 Data size: 40870356 Basic stats: COMPLETE Column stats: NONE
124                     Select Operator
125                       expressions: d_date_sk (type: int)
126                       outputColumnNames: _col0
127                       Statistics: Num rows: 36524 Data size: 40870356 Basic stats: COMPLETE Column stats: NONE
128                       Reduce Output Operator
129                         key expressions: _col0 (type: int)
130                         sort order: +
131                         Map-reduce partition columns: _col0 (type: int)
132                         Statistics: Num rows: 36524 Data size: 40870356 Basic stats: COMPLETE Column stats: NONE
133         Map 9 
134             Map Operator Tree:
135                 TableScan
136                   alias: item
137                   Statistics: Num rows: 462000 Data size: 663560457 Basic stats: COMPLETE Column stats: NONE
138                   Filter Operator
139                     predicate: i_item_sk is not null (type: boolean)
140                     Statistics: Num rows: 462000 Data size: 663560457 Basic stats: COMPLETE Column stats: NONE
141                     Select Operator
142                       expressions: i_item_sk (type: int), i_class (type: string), i_category (type: string)
143                       outputColumnNames: _col0, _col1, _col2
144                       Statistics: Num rows: 462000 Data size: 663560457 Basic stats: COMPLETE Column stats: NONE
145                       Reduce Output Operator
146                         key expressions: _col0 (type: int)
147                         sort order: +
148                         Map-reduce partition columns: _col0 (type: int)
149                         Statistics: Num rows: 462000 Data size: 663560457 Basic stats: COMPLETE Column stats: NONE
150                         value expressions: _col1 (type: string), _col2 (type: string)
151         Reducer 2 
152             Local Work:
153               Map Reduce Local Work
154             Reduce Operator Tree:
155               Join Operator
156                 condition map:
157                      Inner Join 0 to 1
158                 keys:
159                   0 _col0 (type: int)
160                   1 _col0 (type: int)
161                 outputColumnNames: _col1, _col2, _col3, _col4
162                 Statistics: Num rows: 633595212 Data size: 55895953508 Basic stats: COMPLETE Column stats: NONE
163                 Map Join Operator
164                   condition map:
165                        Inner Join 0 to 1
166                   keys:
167                     0 _col2 (type: int)
168                     1 _col0 (type: int)
169                   outputColumnNames: _col1, _col3, _col4
170                   input vertices:
171                     1 Map 8
172                   Statistics: Num rows: 696954748 Data size: 61485550191 Basic stats: COMPLETE Column stats: NONE
173                   Reduce Output Operator
174                     key expressions: _col1 (type: int)
175                     sort order: +
176                     Map-reduce partition columns: _col1 (type: int)
177                     Statistics: Num rows: 696954748 Data size: 61485550191 Basic stats: COMPLETE Column stats: NONE
178                     value expressions: _col3 (type: decimal(7,2)), _col4 (type: decimal(7,2))
179         Reducer 3 
180             Reduce Operator Tree:
181               Join Operator
182                 condition map:
183                      Inner Join 0 to 1
184                 keys:
185                   0 _col1 (type: int)
186                   1 _col0 (type: int)
187                 outputColumnNames: _col3, _col4, _col10, _col11
188                 Statistics: Num rows: 766650239 Data size: 67634106676 Basic stats: COMPLETE Column stats: NONE
189                 Select Operator
190                   expressions: _col11 (type: string), _col10 (type: string), _col4 (type: decimal(7,2)), _col3 (type: decimal(7,2))
191                   outputColumnNames: _col0, _col1, _col2, _col3
192                   Statistics: Num rows: 766650239 Data size: 67634106676 Basic stats: COMPLETE Column stats: NONE
193                   Group By Operator
194                     aggregations: sum(_col2), sum(_col3)
195                     keys: _col0 (type: string), _col1 (type: string), 0L (type: bigint)
196                     mode: hash
197                     outputColumnNames: _col0, _col1, _col2, _col3, _col4
198                     Statistics: Num rows: 2299950717 Data size: 202902320028 Basic stats: COMPLETE Column stats: NONE
199                     Reduce Output Operator
200                       key expressions: _col0 (type: string), _col1 (type: string), _col2 (type: bigint)
201                       sort order: +++
202                       Map-reduce partition columns: _col0 (type: string), _col1 (type: string), _col2 (type: bigint)
203                       Statistics: Num rows: 2299950717 Data size: 202902320028 Basic stats: COMPLETE Column stats: NONE
204                       value expressions: _col3 (type: decimal(17,2)), _col4 (type: decimal(17,2))
205         Reducer 4 
206             Reduce Operator Tree:
207               Group By Operator
208                 aggregations: sum(VALUE._col0), sum(VALUE._col1)
209                 keys: KEY._col0 (type: string), KEY._col1 (type: string), KEY._col2 (type: bigint)
210                 mode: mergepartial
211                 outputColumnNames: _col0, _col1, _col2, _col3, _col4
212                 Statistics: Num rows: 1149975358 Data size: 101451159969 Basic stats: COMPLETE Column stats: NONE
213                 Select Operator
214                   expressions: _col0 (type: string), _col1 (type: string), _col3 (type: decimal(17,2)), _col4 (type: decimal(17,2)), _col2 (type: bigint)
215                   outputColumnNames: _col0, _col1, _col2, _col3, _col4
216                   Statistics: Num rows: 1149975358 Data size: 101451159969 Basic stats: COMPLETE Column stats: NONE
217                   Reduce Output Operator
218                     key expressions: (grouping(_col4, 1) + grouping(_col4, 0)) (type: bigint), CASE WHEN ((grouping(_col4, 0) = 0)) THEN (_col0) ELSE (UDFToString(null)) END (type: string), (_col2 / _col3) (type: decimal(37,20))
219                     sort order: +++
220                     Map-reduce partition columns: (grouping(_col4, 1) + grouping(_col4, 0)) (type: bigint), CASE WHEN ((grouping(_col4, 0) = 0)) THEN (_col0) ELSE (UDFToString(null)) END (type: string)
221                     Statistics: Num rows: 1149975358 Data size: 101451159969 Basic stats: COMPLETE Column stats: NONE
222                     value expressions: _col0 (type: string), _col1 (type: string), _col2 (type: decimal(17,2)), _col3 (type: decimal(17,2)), _col4 (type: bigint)
223         Reducer 5 
224             Reduce Operator Tree:
225               Select Operator
226                 expressions: VALUE._col0 (type: string), VALUE._col1 (type: string), VALUE._col2 (type: decimal(17,2)), VALUE._col3 (type: decimal(17,2)), VALUE._col4 (type: bigint)
227                 outputColumnNames: _col0, _col1, _col2, _col3, _col4
228                 Statistics: Num rows: 1149975358 Data size: 101451159969 Basic stats: COMPLETE Column stats: NONE
229                 PTF Operator
230                   Function definitions:
231                       Input definition
232                         input alias: ptf_0
233                         output shape: _col0: string, _col1: string, _col2: decimal(17,2), _col3: decimal(17,2), _col4: bigint
234                         type: WINDOWING
235                       Windowing table definition
236                         input alias: ptf_1
237                         name: windowingtablefunction
238                         order by: (_col2 / _col3) ASC NULLS FIRST
239                         partition by: (grouping(_col4, 1) + grouping(_col4, 0)), CASE WHEN ((grouping(_col4, 0) = 0)) THEN (_col0) ELSE (UDFToString(null)) END
240                         raw input shape:
241                         window functions:
242                             window function definition
243                               alias: rank_window_0
244                               arguments: (_col2 / _col3)
245                               name: rank
246                               window function: GenericUDAFRankEvaluator
247                               window frame: ROWS PRECEDING(MAX)~FOLLOWING(MAX)
248                               isPivotResult: true
249                   Statistics: Num rows: 1149975358 Data size: 101451159969 Basic stats: COMPLETE Column stats: NONE
250                   Select Operator
251                     expressions: (_col2 / _col3) (type: decimal(37,20)), _col0 (type: string), _col1 (type: string), (grouping(_col4, 1) + grouping(_col4, 0)) (type: bigint), rank_window_0 (type: int), CASE WHEN (((grouping(_col4, 1) + grouping(_col4, 0)) = 0)) THEN (_col0) ELSE (null) END (type: string)
252                     outputColumnNames: _col0, _col1, _col2, _col3, _col4, _col5
253                     Statistics: Num rows: 1149975358 Data size: 101451159969 Basic stats: COMPLETE Column stats: NONE
254                     Reduce Output Operator
255                       key expressions: _col3 (type: bigint), _col5 (type: string), _col4 (type: int)
256                       sort order: -++
257                       Statistics: Num rows: 1149975358 Data size: 101451159969 Basic stats: COMPLETE Column stats: NONE
258                       TopN Hash Memory Usage: 0.1
259                       value expressions: _col0 (type: decimal(37,20)), _col1 (type: string), _col2 (type: string)
260         Reducer 6 
261             Reduce Operator Tree:
262               Select Operator
263                 expressions: VALUE._col0 (type: decimal(37,20)), VALUE._col1 (type: string), VALUE._col2 (type: string), KEY.reducesinkkey0 (type: bigint), KEY.reducesinkkey2 (type: int)
264                 outputColumnNames: _col0, _col1, _col2, _col3, _col4
265                 Statistics: Num rows: 1149975358 Data size: 101451159969 Basic stats: COMPLETE Column stats: NONE
266                 Limit
267                   Number of rows: 100
268                   Statistics: Num rows: 100 Data size: 8800 Basic stats: COMPLETE Column stats: NONE
269                   File Output Operator
270                     compressed: false
271                     Statistics: Num rows: 100 Data size: 8800 Basic stats: COMPLETE Column stats: NONE
272                     table:
273                         input format: org.apache.hadoop.mapred.SequenceFileInputFormat
274                         output format: org.apache.hadoop.hive.ql.io.HiveSequenceFileOutputFormat
275                         serde: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
276
277   Stage: Stage-0
278     Fetch Operator
279       limit: -1
280       Processor Tree:
281         ListSink
282