fix `NULL <op> column` evaluation, tests for same (#2510)

Move expression utils from sql module to expr crate (#2553)

Fix some 404 links in the contribution guide (#2561)

Signed-off-by: hi-rustin <rustin.liu@gmail.com>

Support for OFFSET in LogicalPlan (#2521)

* Introduce support for OFFSET

* lint fixes

* Slightly modify existing test to include LIMIT and OFFSET

* Uncomment accidental comment out for pre-commit script

* OFFSET should come before LIMIT

* Check for OFFSET <= 0 and add more tests

Fix Redundant ScalarValue Boxed Collection (#2523)

* unbox scalars

* fix conflicts

* fix clippy

* Update datafusion/common/src/scalar.rs

Co-authored-by: Andrew Lamb <andrew@nerdnetworks.org>
* Update datafusion/common/src/scalar.rs

Co-authored-by: Andrew Lamb <andrew@nerdnetworks.org>
* boxing datatype

* fixing test

Co-authored-by: Andrew Lamb <andrew@nerdnetworks.org>

Update datafusion-cli readme cli version (#2559)

Signed-off-by: hi-rustin <rustin.liu@gmail.com>

MINOR: Move `expr_rewriter.rs` to `datafusion-expr` crate (#2552)

* move expr_rewrite to expr crate

* Move expr_rewriter to expr crate

Update to arrow-rs 14.0.0  (#2528)

* TEMP: Patch to use apache repo

* Update to arrow 14.0.0

* Consolidate to single OffsetSizeTrait

* Update for new API

* clippy

* moar clippy

* TEMP: patch datafusion cli

* fixup

* Update datafusion-cli deps

Remove `scan_csv` methods from `LogicalPlanBuilder` (#2537)

MINOR: Fix release packaging issues (#2545)

* fix release issues

* add newline at end of Cargo.toml

Fix size_of_scalar test (#2531)

* Fix size_of_scalar test

* add comments

* Update tests

Remove scan_avro methods from LogicalPlanBuilder (#2540)

split ON expressions only by AND operator (#2534)

Remove scan_json methods from LogicalPlanBuilder (#2541)

Remove `scan_parquet` methods from `LogicalPlanBuilder` (#2539)

* Remove scan_parquet methods from LogicalPlanBuilder

* simplify code

MINOR: Move `ExprVisitable` and `exprlist_to_columns` to datafusion-expr crate (#2538)

* Move ExprVisitable to datafusion-expr crate

* move more utility methods

Reduce duplication in file scan tests (#2533)

Fix projection pushdown produces incorrect results when column names are reused (#2463)

* Add failing select_with_alias_overwrite test

* candidate fix

* reinstate optimization, but check that expressions are plain columns

ObjectStoreRegistry get_by_uri now returns correct path when "scheme" is provided (#2526)

* demonstrate and fix bug with get uri

* linting

Add ORDER BY clause to test (#2524)

update verification script and add notes on signing keys (#2520)

Prepare for datafusion 8.0.0 , ballista 0.7.0 release (#2490)

* bump versions

* changelog 7.0.0 to 8.0.0

* update versions in docs

* revert changelog

* re-generate changelogs

* revert ballista changelog

* update version missed by script and update script

* regenerate ballista changelog with correct version

Add new `ballista-cli` crate (#2495)

* Add new ballista-cli crate

* update dependency diagram

* re-use PrintFormat from datafusion-cli

* re-use PrintOptions from datafusion-cli

* re-use Helper

* re-use functions

* update dev scripts

* update diagram and docs

* stop building DataFusion CLI with ballista in CI

* update user guide

* docs for building ballista-cli with docker

* make version numbers consistent with repo

* update Cargo.lock files for CLIs and add ballista-cli to GitHub workflow

* disable ballista tests

* fix ci

* fix merge conflict

* fix

Add `CREATE VIEW` (#2279)

* Initial commit

* First passing test

* Add OR REPLACE and more tests

* Update doc comment

* More tests

* Add CreateView to Ballista

* Include Q15 for TPCH

* Ignore q15

* Delete view physical plan

Minor: remove code that is now in arrow (#2511)

Add metrics for ParquetExec (#2499)

* Add metrics for ParquetExec

* fix row_count

Enable multi-statement benchmark queries (#2507)

MINOR: Add ignored tests for all remaining benchmark queries (#2506)

Move `data-access` crate into `datafusion` directory (#2479)

* move data-access crate

* update references

Numeric, String, Boolean comparisons with literal NULL (#2481)

Optimize MergeJoin by storing joined indices instead of creating small record batches for each match (#2492)

* optimize smj

* fix timer not working problem

* implement smj's fmt_as() and relies_on_input_order()

* add comments

* add join_type checking in freeze methods

Co-authored-by: zhangli20 <zhangli20@kuaishou.com>

[Ballista] Persist session configs in scheduler (#2501)

Add SQL planner support for `grouping()` aggregate expressions (#2486)

* Add SQL planner support for grouping() aggregate function

* complex test with rank and partition

* fix window aggregate case

* code cleanup

Add SQL planner support for calling `round` function with two arguments (#2503)

* test

* specify correct signature for ROUND function

Update to `sqlparser` `0.17.0` (#2500)

* fix: Update parser for indexed field

* Update to sqlparser 0.17

* Update more cargo

* Fix test to use string key rather than identifier

Limit cpu cores used when generating changelog (#2494)

Add support for list_dir() on local fs (#2467)

* Add support for list_dir on local fs

* Format

* Print invalid values in errors

* Update data-access/src/object_store/local.rs

Co-authored-by: Andrew Lamb <andrew@nerdnetworks.org>
* Use ok_or_else

* Format

Co-authored-by: Andrew Lamb <andrew@nerdnetworks.org>

Fix bug in ballista version upgrade script (#2488)

Add SQL planner support for `ROLLUP` and `CUBE` grouping set expressions (#2446)

* Add SQL planner support for ROLLUP and CUBE grouping sets

* prep for review

* fix more todo comments

* code cleanup

* clippy

* fmt and clippy

* revert change

* clippy

MINOR: Parameterize changelog script (#2484)

* modify script to respect release branch

* Separate usage and example

* Update dev/release/README.md

Co-authored-by: Andy Grove <andygrove73@gmail.com>

Support struct_expr generate struct in sql (#2389)

add unit tests of mathematical expressions with null (#2478)

Grouped Aggregate in row format (#2375)

* first move: re-group aggregates functionalities in core/physical_p/aggregates

* basic accumulators

* main updating procedure

* output as record batch

* aggregate with row state

* make row non-optional

* address comments, add docs, part fix #2455

* Apply suggestions from code review

Co-authored-by: Andrew Lamb <andrew@nerdnetworks.org>
Co-authored-by: Andrew Lamb <andrew@nerdnetworks.org>

Minor: Move test code from `context.rs` into `sql_integration`  (#2473)

Fix stage key extraction (#2472)

minor: remove expr dependency from the row crate, update crate-deps.dot/svg (#2470)

Minor: Use ExprVisitor to find columns referenced by expr (#2471)

feat: Support CompoundIdentifier access as GetIndexedField (#2454)

Add proper support for `null` literal by introducing `ScalarValue::Null` (#2364)

* introduce null

* fix fmt

Fix `read_from_registered_table_with_glob_path` fails if path contains // #2465 (#2468)

* reproduce and fix issue

* fix reference reported by clippy

Fix bugs in SQL planner with GROUP BY scalar function and alias (#2457)

MINOR: Partial fix for SQL aggregate queries with aliases (#2464)

Issue 2321: Add code formatting instructions to CONTRIBUTING (#2444)

* ehance documentation on how to format/check your code

* Update dev/format-code.sh

Co-authored-by: Raphael Taylor-Davies <1781103+tustvold@users.noreply.github.com>
* Update dev/format-code.sh

Co-authored-by: Raphael Taylor-Davies <1781103+tustvold@users.noreply.github.com>
* attempt to share lint infra

* corrected invalid /

* mention scripts in formatting instructions

Co-authored-by: Raphael Taylor-Davies <1781103+tustvold@users.noreply.github.com>

minor: move struct definition out of `aggregate/mod.rs`, etc (#2458)

Table provider error propagation (#2438)

* Change return type of get_table_provider from Option<T> to Result<T>

* cargo fmt changes

* Update another error location

* Update datafusion/core/src/execution/context.rs

Co-authored-by: Andy Grove <andygrove73@gmail.com>
* Update datafusion/core/src/execution/context.rs

Co-authored-by: Andy Grove <andygrove73@gmail.com>
* Update error messages now that errors are propagated

* linter updates

* Remove commented out code that was left by mistake

* Cargo fmt

Co-authored-by: Andy Grove <andygrove73@gmail.com>

Issue 2393: Support glob patterns for files (#2394)

* implement globbing on ObjectStore

* remove unused code

* update list_file_with_suffix to use glob_file

* reworked code such that glob_file matches list_file and glob_file_with_suffix list_file_with_suffix

* rework the way we figure out what the greatest common base path is

* refactor tests on longested_search_path_without_glob_pattern

* added comment on / value

* remove unused use stmt

* rework implementation to find largest common path

* revert accidental/temp changes

* added tests to verify globbing

* find inspiration in glob crate to better deal with windows

* when running on windows, the expected path is slightly different (\ instead of /).

* fixed clippy issue

* added section on checks that are executed during a PR build

* updated section (and script) to make explicit this is about formatting

* replace with simple break

* make filter_suffix not-async as it does not need to be async

* no need to collect

* attempt to make tests more understandable

* actually format the code instead of only verifying

* added test with ** as glob pattern as well

* remove changes related to code formatting

* remove unneeded empty line

* run cargo fmt

* Update data-access/src/object_store/mod.rs

Co-authored-by: Raphael Taylor-Davies <1781103+tustvold@users.noreply.github.com>
* use try_filter as suggested in pr review

Co-authored-by: Raphael Taylor-Davies <1781103+tustvold@users.noreply.github.com>

fix: union schema (#2334)

Make ExecutionPlan sync (#2307) (#2434)

Fix ballista integration tests (#2441)

* make dev/build-ballista-docker.sh executable

* update Dockerfile

Fix Ballista executing during plan (#2428)

Introduce new optional scheduler, using Morsel-driven Parallelism + rayon (#2199) (#2226)

* Morsel-driven Parallelism using rayon (#2199)

* Fix LIFO spawn ordering

* Further docs for ExecutionPipeline

* Deduplicate concurrent wakes

* Add license headers

* Sort Cargo.toml

* Revert accidental change to ParquetExec

* Handle wakeups triggered by other threads

* Use SeqCst memory ordering

* Review feedback

* Add panic handler

* Cleanup structs

Add test of tokio interoperation

* Review feedback

* Use BatchPartitioner

Cleanup error handling

* Clarify shutdown characteristics

* Fix racy test_panic

* Don't overload Query nomenclature

* Rename QueryResults to ExecutionResults

* Further review feedback

* Merge scheduler into datafusion/core

* Review feedback

* Fix partitioned execution

* Format

* Format Cargo.toml

* Fix doc link

Basic support for `IN` and `NOT IN` Subqueries by rewriting them to `SEMI` / `ANTI` (#2421)

* naive in subquery implementation

* 16 and 18 tpch queries enabled in benchmark

* rollback rewriting instead of fail

* try_fold used for input plan rewriting

* test readability & negative test cases

Upgrade to arrow 13 (#2382)

* Update to use arrow 13

* Updates for API change

* Update Cargo.lock for datafusion cli

* fix clippy

MINOR: Make crate READMEs consistent (#2437)

`sum(distinct)` support (#2405)

* sum(distinct) support

* fix clippy

* merge state() code logic

* revise annotation

* remove u64->i63 coercion

minor: update versions and paths in changelog scripts (#2429)

* update versions and paths in changelog scripts

* Update release process README

* fix crate publish order

* add ASL header for dot file

Improve error messages (#2435)

Fix bug in subquery join filters referencing outer query (#2416)

minor: remove redundant code (#2432)

Update `update_datafusion_versions.py` to include all crates (#2423)

* Update path to core crate in script

* update script to update deps for all df crates

* make script smarter

* also update ballista dependencies on datafusion

* do not bump data-access version

* include data-access

minor: format table result vec & remove unnecessary semicolon (#2425)

docs: Update the Ballista dev env instructions (#2419)

nested query fix (#2402)

Allow subqueries without aliases (#2418)

remove duplicated function format_state_name() (#2414)

make expected result string in ut more readable (#2413)

Update ordered-float requirement from 2.10 to 3.0 (#2403)

Updates the requirements on [ordered-float](https://github.com/reem/rust-ordered-float) to permit the latest version.
- [Release notes](https://github.com/reem/rust-ordered-float/releases)
- [Commits](https://github.com/reem/rust-ordered-float/compare/v2.10.0...v3.0.0)

---
updated-dependencies:
- dependency-name: ordered-float
  dependency-type: direct:production
...

Signed-off-by: dependabot[bot] <support@github.com>
Co-authored-by: dependabot[bot] <49699333+dependabot[bot]@users.noreply.github.com>

Re-organize and rename aggregates physical plan (#2388)

* first move: re-group aggregates functionalities in core/physical_p/aggregates

* address review comments feedback

* naming

remove duplicated aggregate() (#2400)

docs: update the renamed project Flock (Squirtle) (#2401)

minor: SchemaError code cleanup and improvements (#2391)

Allow CTEs to be referenced from subquery expressions (#2384)

Support type-coercion from Decimal to Float64 (#2396)

Implement physical planner support for DATE +/- INTERVAL (#2357)

refactor distinct_expressions.rs (#2386)

Fix bugs with CTE aliasing and normalize all identifiers in the SQL planner (#2373)

Stop optimizing queries twice (#2369)

Add `Expr` to prelude (#2348)

* Add `Expr` to prelude

* cleanup

feat: Support casting to array of primity type (#2366)

Introduce new `DataFusionError::SchemaError` type (#2371)

Improve documentation for DFSchema combine and merge functions (#2367)

minor: fix duplicate column bug in subquery support (#2362)

rewrite approx_median to approx_percentile_cont while planning phase (#2262)

Implementing math power function for SQL (#2324)

* Implementing POWER function

* Delete pv.yaml

* Delete build-ballista-docker.sh

* Delete ballista.dockerfile

* aligining with latest upstream changes

* Readding docker files

* Formatting

* Leaving only 64bit types

* Adding tests, remove type conversion

* fix for cast

* Update functions.rs

Add SQL query planner support for scalar subqueries (#2354)

Add SQL query planner support for IN subqueries (#2352)

normalize subquery alias (#2359)

Add SQL planner support for EXISTS subqueries (#2344)

* Add SQL planner support for EXISTS subqueries

* update comments

* improve formatting in test and rename outer_schema to outer_query_schema

* improve formatting in test

Add public Serialization/Deserialization API for `Expr` to/from bytes (#2341)

* Add public Serialization/Deserialization API to/from bytes

* cleanup

* Remove Expr from prelude

* RAT, add Bytes API

* Rename to `bytes`

* Break out registry into its own module

* Add more tests

Add `Expr::InSubquery` and `Expr::ScalarSubquery` (#2342)