Update readme to clarify versioning (#1142)

Update version to 7.0.0 and update CHANGELOG (#1141)

* Update changelog generator

* Bring changelog from 6.5.0

* Update changelog

* Update version to 7.0.0

feat(ipc): support for reading union arrays through IPC (#1140)

Dyn comparison of interval arrays (#1106) (#1107)

* Dyn comparison of interval arrays (#1106)

* fix fmt

* Skip test when simd is enabled

Co-authored-by: Andrew Lamb <andrew@nerdnetworks.org>

feat: union schema serialization/deserialization for ipc (#1135)

*_dyn_scalar kernels: Support Float32Array and Float64Array,  (#1127)

* *_dyn_scalar kernels: Support Float32Array and Float64Array, use ToPrimitive rather than `Into<i128>`m take take &dyn Array rather than `ArrayRef`

* Update APIs for *_dyn_bool_scalar kernels

Add more information on SIMD (#1138)

Add dyn boolean kernels (#1131)

* Add dyn bool kernels

* Add tests

* Update error messages

* Update test

* Fix test

* Update doc strings

Fix reading of dictionary encoded pages with null values (#1111) (#1130)

* fix reading of dictionary encoded pages with null values

* fix linting issues

Make arrow::array_reader private (#1032) (#1133)

Implement Array for ArrayRef, Improve as_* kernels to take `&dyn Array` (#1129)

* Implement Array for ArrayRef

* Improve as_* kernels to take &dyn Array

* remove uneeded pyarrow binding

Add Schema::with_metadata and Field::with_metadata (#1092)

allow using custom datetime format for inference and parsing csv file (#1112)

* allow using custom datetime format for inference and parsing csv file

The patch extends the current implementation to allow passing a custom
datetime_re and datetime_format to the ReaderBuilder.

datetime_re is used infer schema of the csv and then datetime_format is
used to parse the actual string to a Date64.
ofcourse  passing non-compatible datetime_re and datetime_format values
is going to fail the parsing or inference, however it is an expected but
hard-to-detect failure.

* Incorporate some clippy recommendations for limit count of call args

The patch adds a new struct to collect all these options together and
then passes the struct around. Ideally the struct could be embedded into
the reader but that can be done as separate exercise.

* Detect presence of timezone in format while parsing csv for date64

The patch decides on using NaiveDateTime or DateTime from chrono lib
based on presence of timezone components

chrono expects timezone to be presetn if DateTime is used, errors
otherwise. Whereas NaiveDateTime ignores timezone even if explicitly
provided.

Update Union Array to add `UnionMode`,  match latest Arrow Spec, and rename `new` -> `unsafe new_unchecked()` (#885)

* Update union array to new null handling

* Update arrow/src/array/array_union.rs

* correct comment

Add kernel and tests (#1125)

Add kernel and tests (#1123)

Co-authored-by: Andrew Lamb <andrew@nerdnetworks.org>

Add kernel and tests (#1122)

Co-authored-by: Andrew Lamb <andrew@nerdnetworks.org>

Add neq dyn scalar kernel (#1118)

* Add lt_dyn_scalar and tests

* Add lt_eq_dyn_scalar kernel

* Add gt_dyn_scalar kernel

* Add gt_eq_dyn_scalar kernel

* Add neq_dyn_scalar kernel

* Add kernel to err message

Co-authored-by: Andrew Lamb <andrew@nerdnetworks.org>

Add gt eq dyn scalar kernel (#1117)

* Add lt_dyn_scalar and tests

* Add lt_eq_dyn_scalar kernel

* Add gt_dyn_scalar kernel

* Add gt_eq_dyn_scalar kernel

* Add kernel to err message

Co-authored-by: Andrew Lamb <andrew@nerdnetworks.org>

Add gt dyn scalar kernel (#1116)

* Add gt_dyn_scalar kernel

Co-authored-by: Andrew Lamb <andrew@nerdnetworks.org>

Add lt eq dyn scalar kernel (#1115)

* Add lt_dyn_scalar and tests

* Add lt_eq_dyn_scalar kernel

* Add kernel to error message

* fix merge problem

Co-authored-by: Andrew Lamb <andrew@nerdnetworks.org>

Add kernel and tests (#1121)

Add kernel and tests (#1124)

Add lt dyn scalar kernel (#1114)

* Add lt_dyn_scalar and tests

* Add kernel to error message

fix bug: error type for BufferBuilder (#1104)

* fix bug: error type for BufferBuilder

* fix clippy

Define eq_dyn_scalar API (#1074)

* Squash

* Cleanup error messages

MutableArrayData support extend decimal data type (#1100)

* support extend decimal data type

* add more test

Print the 'FixedSizeBinaryArray' like a normal 'BinaryArray' (#1097)

* Print the 'FixedBinaryArray' like a normal 'BinaryArray'

* apply cargo fmt

Co-authored-by: Andrew Lamb <andrew@nerdnetworks.org>

implement eq_dyn, neq_dyn, lt_dyn, lt_eq_dyn, gt_dyn, gt_eq_dyn for timestamp types (#1095)

* implement eq_dyn, neq_dyn, lt_dyn, lt_eq_dyn, gt_dyn, gt_eq_dyn for timestamp types

* Simplify test code

Allow proc-macro2 dependency to be flexible (#1102)

support cast decimal to decimal (#1084)

* support cast decimal to decimal

* add test case

* remove meaningless code

Fix like regex escaping (#1085)

* Fix like regex escaping

* Fix like regex escaping

* Fix doctest

* Simplify

support cast decimal to signed numeric (#1073)

* add cast test macro function; refactor other type to decimal type; add decimal to signed numeric type
support decimal to unsigned numeric

* address the comments and fix the clippy

Update pyo3 to 0.15 (#1076)

* Update pyo3 to 0.15

* Update pyo3 in integration tests also

parquet: Use constant for RLE decoder buffer size (#1070)

Add Schema::project and RecordBatch::project functions  (#1033)

* Allow Schema and RecordBatch to project schemas on specific columns returning a new schema with those columns only

* Addressing PR updates and adding a test for out of range projection

* switch to &[usize]

* fix: clippy and fmt

Co-authored-by: Andrew Lamb <andrew@nerdnetworks.org>

Box RleDecoder index buffer (#1061) (#1062)

* Box RleDecoder index buffer (#1061)

* Format

support cast signed numeric to decimal (#1044)

* support cast signed numeric to decimal

* add test for i8,i16,i32,i64,f32,f64 casted to decimal

* change format of float64

* add none test; merge integer test together

fix(compute): LIKE escape parenthesis (#1042)

Signed-off-by: Dmitry Patsura <talk@dmtry.me>

Add MONTH_DAY_NANO interval type, impl `ArrowNativeType` for `i128` (#779)

* support interval MonthDayNano

* fix

* fix

* fix

* fix test

* add IPC integration test

* fix rat

* update patch

* fix

* fmt

* fix

* fix

* fix

* fix

* fix

* fix

* remove integration-testing/unskip.patch

Co-authored-by: Andrew Lamb <andrew@nerdnetworks.org>

BooleanBufferBuilder correct buffer length (#1051) (#1052)

Address benchmarks that aren't compiling (#1001)

* Add a CI job that checks benchmarks (but doesn't run them)

* The feature test_common must be turned on to build parquet benchmarks

* Align cache keys

Co-authored-by: Andrew Lamb <andrew@nerdnetworks.org>
Co-authored-by: Andrew Lamb <andrew@nerdnetworks.org>

Remove outdated safety example from doc (#1050)

Use existing array type in `take` kernel (#1046)

* Need to use type from data so that we do not lose, for example, timezone information

* add test for take preseving timezone

Avoid allocating vector of indices in lexicographical_partition_ranges (#998)

* Avoid allocating vector of indices in lexicographical_partition_ranges

* Adjust comments

* Improve comments and remove one unneeded parameter

Mark `MutableBuffer::typed_data_mut` unsafe (#1029)

* Mark `MutableBuffer::typed_data_mut` unsafe

* fmt

* Mark use of `typed_data_but` as unsafe in simd kernels

Extract method to drive PageIterator -> RecordReader (#1031)

Co-authored-by: Andrew Lamb <andrew@nerdnetworks.org>

Simplify parquet arror `RecordReader` (#1021)

Clarify governance of arrow crate (#1030)

Force new cargo and target caching to fix CI (#1023)

Fix: fixes a broken link and some missing styling in the main arrow crate docs (#1013)

Remove out of date comment (#1008)

Minimize features of indexmap and chrono (#1000)

* Disable default features of chrono; only enable features needed

Chrono's default features contain "oldtime", which is deprecated.
According to [the docs](https://docs.rs/chrono/0.4.19/chrono/#duration),

> new code should disable the oldtime feature and use the
> chrono::Duration type instead. The oldtime feature is enabled by
> default for backwards compatibility, but future versions of Chrono
> are likely to remove the feature entirely.

so follow that recommendation by setting default-features to false. And
actually, only Arrow needs the "clock" feature, so all the other
features can stay off too to minimize the feature set that projects
depending on arrow or parquet are forced to enable.

* Explicitly enable indexmap's "std" feature

The indexmap crate uses the autocfg crate to do target detection to
determine whether `std` is available. Arrow isn't targeting `no_std`
environments, so the target detection isn't necessary. This might save
some build time.

https://github.com/bluss/indexmap/pull/145

Docstrings for Timestamp*Array. (#988)

* Docstrings for TimestampSecondArray.

* fixup! Docstrings for TimestampSecondArray.

Update rust version to 1.57 (#1003)

Add full data validation for ArrayData::try_new() (#921)

* Add full data validation for ArrayData::try_new()

* Only look at offset+len indexes

Co-authored-by: Jörn Horstmann <git@jhorstmann.net>
* fix test

* fmt

* test for array indexes

Co-authored-by: Jörn Horstmann <git@jhorstmann.net>

Remove unneeded `rc` feature of serde (#990)

Fixes #989.

This feature opts into impls for `Rc` and `Arc`, but none of the data
structures that use Serialize/Deserialize actually contain `Rc` or
`Arc`s.

See:

- [Serde docs](https://serde.rs/feature-flags.html#-features-rc)
- [PR adding this](https://github.com/apache/arrow/pull/3016)

Fix warnings introduced by Rust/Clippy 1.57.0 (#992)

* Remove needless borrows identified by clippy

https://rust-lang.github.io/rust-clippy/master/index.html#needless_borrow

* Remove muts that are no longer needed

* Derive Default instead of using an equivalent manual impl

Identified by clippy.

https://rust-lang.github.io/rust-clippy/master/index.html#derivable_impls

* Remove redundant closures

Identified by clippy.

https://rust-lang.github.io/rust-clippy/master/index.html#redundant_closure

* Allow dead code on a field Rust now identifies as never read

Change `pretty_format_batches` to return `Result<impl Display>` (#975)

* Create write_batches function

* Update pretty_format_batches and pretty_format_columns to return Display

* fix import warning

* Fix compile error

Co-authored-by: Andrew Lamb <andrew@nerdnetworks.org>

fix some typos in code and comments (#985)

Upgrading parquet-format to 4.0.0 (#979)

* Upgrading parquet-format to 4.0.0
Fixes issue #978

* Update basic.rs

* Update parquet/src/basic.rs

fix clippy

Co-authored-by: Kesav Kumar Kolla <kesav@314ecorp.com>
Co-authored-by: Jiayu Liu <Jimexist@users.noreply.github.com>

add support for f16 (#888)

Add boolean comparison to scalar kernels for less then, greater than (#977)

Fix CI for latest nightly (#970)

* Fix arrow doc examples

* more cleanup

Adding Pretty Print Support For Fixed Size List (#958)

* Inferring 2. as Float64 for issue #929

* Adding pretty print support for fixed size list array

* fixing linting errors

* adding null row to test

Fix bug in temporal utilities due to DST being ignored. (#955)

* Check behaviour of temporal utilities for DST.

* Fix temporal util bug ignoring dst.

* Refactor macro for efficiency.

Fix primitive sort when input contains more nulls than the given sort limit (#954)

Update comfy-table to 5.0 (#957)

add more error test case and change the code style (#952)

Support read decimal data from csv reader if user provide the schema with decimal data type (#941)

* support decimal data type for csv reader

* format code and fix lint check

* fix the clippy error

* enchance the parse csv to decimal and add more test

Fix csv writing of timestamps to show timezone. (#849)

* Write timestamps (in csvs) with timezone.

* More tests and more verbose naming.

* Please linter.

* Please clippy.

* Cleanup based on review feedback.

Inferring 2. as Float64 for issue #929 (#950)

Fix validation for offsets of StructArrays (#942)

* reproduce validation error

* Fix validation bug

Co-authored-by: Ben Chambers <bjchambers@gmail.com>

implement take kernel for null arrays (#939)

add checker for appending i128 to decimal builder (#928)

* add check for appending i128 to decimal builder

* remove the ArrowError(DecimalError)

Adding ability to parse float from number with leading decimal (#831)

* Adding ability to parse float from number with leading decimal

* Fixing deprecated std::usize::MAX constant per https://doc.rust-lang.org/core/usize/constant.MAX.html and making consistent with other usages

* Add test case for 2. and issue link

Co-authored-by: Andrew Lamb <andrew@nerdnetworks.org>

add ilike comparitor (#874)

* add ilike comparitor

* add ilike comparitor

Co-authored-by: Jordan Deitch <jdeitch@digitalocean.com>

feat(ipc): add support for deserializing messages with nested dictionary fields (#923)

* feat(ipc): read a message containing nested dictionary fields

* Apply suggestions from code review

Co-authored-by: Andrew Lamb <andrew@nerdnetworks.org>
* address lints

Co-authored-by: Andrew Lamb <andrew@nerdnetworks.org>

Validate arguments to ArrayData::new and null bit buffer and buffers (#810)

* Validate arguments to ArrayData::new: null bit buffer and buffers

* REname is_int_type to is_dictionary_key_type()

* Correctly handle self.offset in offsets buffer

* Consolidate checks

* Fix test output

Automatically retry failed MIRI runs to work around intermittent failures (#922)

* Move MIRI checks into a shell script

* add retry loop

Mark boolean kernels public (#913)

doc example  mistype (#904)

Update mod.rs (#909)

Bump deps (#864)

* Bump deps

Signed-off-by: Chojan Shang <psiace@outlook.com>
* Setup lastest cargo-tarpaulin

Signed-off-by: Chojan Shang <psiace@outlook.com>
* Try to use the lastest cargo

Signed-off-by: Chojan Shang <psiace@outlook.com>
Co-authored-by: Andrew Lamb <andrew@nerdnetworks.org>

fix some clippy warnings (#896)

Fix clippy (#900)

Disable cargo / build caching for MIRI runs (#899)

Fix instances of UB that cause tests to not pass under miri (#878)

* Fix unaligned access in bit-packing

* Fix creation of unaligned reference in murmur_hash2_64a

* Remove now-unnecessary unsafe

Co-authored-by: Andrew Lamb <andrew@nerdnetworks.org>

test moving out (#895)

casting kernel can combine multi-match patterns (#883)

fix some warning about unused variables in panic tests (#894)

fix ffi warning on failed to drop (#893)

portable check for shasums (#887)

similar to https://github.com/apache/arrow/pull/11531

allow null array to be cased to all other types (#884)

2018 -> 2021 (#591)

Use different caching for MIRI runs (#892)

* Use different caching for MIRI runs

* Also cache cargo

Remove unpassable cargo publish check from verify-release-candidate.sh (#882)

feat(ipc): Support writing dictionaries nested in structs and unions (#870)

* feat(ipc): Support for writing dictionaries nested in structs and unions

Dictionaries are lost when serializing a RecordBatch for IPC, producing
invalid arrow data. This PR changes encoded_batch to recursively find
all dictionary fields within the schema (currently only in structs and
unions) so nested dictionaries are properly serialized.

* address lint and clippy

bump .github/workflows/miri.yaml (#875)

fix: fix a bug in offset calculation for unions (#863)

The `value_offset` function only read the least significant byte in the
offset array, causing issues with unions with more than 255 rows of any
given variant. Fix the issue by reading the entire i32 offset and add a
unit test.