Prepare for 8.0.0 release: Update CHANGELOG and versions (#1212)

* Update version to 8.0.0

* Update Changelog for 8.0.0

* restore RAT

* Remove items that were released in 7.0.0

Improve changelog generator script settings (#1210)

* Update changelog script

* fix typo

Return error from JSON writer rather than panic (#1205)

* Return error from JSON writer rather than panic

* fix comment

fix a bug in variable sized equality (#1209)

A missing validity buffer was being treated as all values being null,
rather than all values being valid, causing equality to fail on some
equivalent string and binary arrays.

Update parquet crate readme (#1192)

* Update parquet crate readme

* prettier

Add comparison support for fully qualified BinaryArray (#1195)

* add eq_dyn for BinaryArray

Signed-off-by: remzi <13716567376yh@gmail.com>
* correct the code formatting

Signed-off-by: remzi <13716567376yh@gmail.com>
* add comparison support for fully qualified binary array
delete dyn comparison which will be added in successive PRs

Signed-off-by: remzi <13716567376yh@gmail.com>
* add tests for comparison of fully qualified BinaryArray

Signed-off-by: remzi <13716567376yh@gmail.com>
* add 2 missed tests

Signed-off-by: remzi <13716567376yh@gmail.com>
* move 2 functions

Signed-off-by: remzi <13716567376yh@gmail.com>
* fix reference error

Signed-off-by: remzi <13716567376yh@gmail.com>

feat: add support for casting Duration/Interval to Int64Array (#1196)

* feat: add support for casting Duration to Int64Array

* feat: cast from Interval to Int64

Pin WASM / packed SIMD tests to nightly-2022-01-17 (#1204)

bugfix in display of float16 array (#1194)

Due to a typo the float16 array was being cast to a float32 array,
causing a crash when pretty printing a record batch containing float16.

 parquet: Optimized ByteArrayReader, Add UTF-8 Validation (#1040)  (#1082)

* Optimized ByteArrayReader (#1040)

UTF-8 Validation (#786)

* Fix arrow_array_reader benchmark

* Allow running subset of arrow_array_reader benchmarks

* Faster UTF-8 validation

* Tweak null handling

* Add license

* Refine `ValuesBuffer::pad_nulls`

* Tweak error handling

* Use page null count if available

* Doc comments

* Test DELTA_BYTE_ARRAY encoding

* Support legacy Encoding::PLAIN_DICTIONARY

* Add OffsetBuffer unit tests

Review feedback

* More tests

* Fix lint

* Review feedback

feat(parquet): support for reading structs nested within lists (#1187)

* feat(parquet): support for reading structs nested within lists

* fix: logical conflict

Co-authored-by: Andrew Lamb <andrew@nerdnetworks.org>

update nightly version for miri (#1189)

Truncate bitmask on split (#1183)

* Truncate bitmask on split

* Fix BooleanBufferBuilder::resize

* Format

fix: Fix a bug in how filter indices are calculated (#1185)

* fix: Fix a bug in how filter indices are calculated

Using the definition level and the nullability of the column only
produces the correct indices if max_definition - 1 is the list level.
For deeper nesting (struct in a list) this produces incorrect indices,
silently causing incorrect data to be written.

This fix uses the array offsets to compute the indices instead.

* add assertions

Support DecimalType in sort and take kernels (#1172)

add from_iter_values for binary array (#1188)

Use tempfile for parquet tests (#1165)

Co-authored-by: Andrew Lamb <andrew@nerdnetworks.org>

Serialize i128 as JSON string (#1175)

Add ticket reference for false positive (#1181)

Fix record formatting in 1.58 (#1178)

Bugfix in parquet writing empty lists of structs (#1166)

Fix a bug in the definition level calculation for fields nested within a
struct and a list. When a list is empty or null in parquet the nested
field gets a null value. However, in arrow, the value is simply missing.
When serializing an immediate child of the list, the list offsets are
used to calculate the correct definition level for its children, but it
is not carried further to fields nested deeper (e.g., fields on a struct
within a list).  This (somewhat hacky) fix treats a struct within a list
as if it were a list.

Fix compilation error with simd feature (#1169)

Fix new clippy lints introduced in Rust 1.58 (#1170)

Simplify and reduce code duplication in arithmetic kernels (#1161)

* Simplify and reduce code duplication in arithmetic kernels

* Update comments

Update dev/release/README for master releases, remove supporting scripts (#1143)

* Update dev/release/README for master releases

* remove cherry pick script

Improve parquet reading performance for columns with nulls by preserving bitmask when possible (#1037) (#1054)

* Preserve bitmask (#1037)

* Remove now unnecessary box (#1061)

* Fix handling of empty bitmasks

* More docs

* Add nested nullability test case

* Add packed decoder test

Remove left over readme file from arrow/arrow-rs split (#1162)

Fuzz test different parquet encodings (#1156)

Add subtract_scalar kernel (#1152)

* Add subtract_scalar

* Rebase

Add multiply_scalar (#1159)

feat(json): support for map arrays in json writer (#1149)

Add add_scalar kernel (#1151)

* Add add_scalar

* move simd_float_unary_math_op to simd_unary_math_op

Document safety justification of some uses of `from_trusted_len_iter` (#1148)

Move simd right out of for_each loop (#1150)

 Generify ColumnReaderImpl and RecordReader (#1040)  (#1041)

* Simplify record reader

* Generify ColumnReaderImpl and RecordReader (#1040)

* Tweak count_records predicate

* Pre-allocate bitmask

* fix: TypedBuffer::split update len

* Simplify GenericRecordReader

* Move column decoders into module

* Remove `RecordBuffer::create` method

* Remove `TypedBuffer<i16>::count_records`

* Pass null count to `ColumnValueDecoder::read`

* Pull null padding out of column reader

* Review feedback

* Format

* License headers

* Further doc tweaks

* Further docs

* Restrict ScalarBuffer types

Remove `GenericStringArray::from_vec` and `GenericStringArray::from_opt_vec` (#1147)

BooleanBufferBuilder::append_packed (#1038) (#1039)

* BooleanBufferBuilder::append_packed (#1038)

* Update docstring

* Add packed_append_range

* Fix capacity

* Use set_bits from transform::util

* Add license

* Format

Improve parquet performance: Skip levels computation for required struct arrays in parquet (#1035)

* Skip levels computation for required struct arrays (#1034)

* Review feedback

Restrict RecordReader and friends to scalar types (#1132) (#1155)

Extends parquet fuzz tests to also tests nulls, dictionaries and row groups with multiple pages  (#1053) (#1110)

* Parquet fuzz tests (#1053)

* Test multiple WriterVersions

* Revert array_reader change

Move more parquet functionality behind experimental feature flag (#1032)  (#1134)

* Move more parquet functionality behind experimental feature flag (#1032)

* Fix logical conflicts

Implement SIMD comparison operations for types with less than 4 lanes (i128) (#1146)

* Implement simd mask creation for 128 bit types

* Adjust comparison kernels to always append 64 bit chunks

* Only append minimal number of bytes

* Add benchmark for MonthDayNano comparison

* Fix typo in comment

Co-authored-by: Paddy Horan <5733408+paddyhoran@users.noreply.github.com>
* Fix typo in comment

Co-authored-by: Paddy Horan <5733408+paddyhoran@users.noreply.github.com>
Co-authored-by: Paddy Horan <5733408+paddyhoran@users.noreply.github.com>

Fix undefined behavor in GenericStringArray::from_iter_values (#1145)

* Fix undefined behavor in GenericStringArray::from_iter_values

* Cleanup code and tests

* clippy

* Fix test

Update readme to clarify versioning (#1142)

Update version to 7.0.0 and update CHANGELOG (#1141)

* Update changelog generator

* Bring changelog from 6.5.0

* Update changelog

* Update version to 7.0.0

feat(ipc): support for reading union arrays through IPC (#1140)

Dyn comparison of interval arrays (#1106) (#1107)

* Dyn comparison of interval arrays (#1106)

* fix fmt

* Skip test when simd is enabled

Co-authored-by: Andrew Lamb <andrew@nerdnetworks.org>

feat: union schema serialization/deserialization for ipc (#1135)

*_dyn_scalar kernels: Support Float32Array and Float64Array,  (#1127)

* *_dyn_scalar kernels: Support Float32Array and Float64Array, use ToPrimitive rather than `Into<i128>`m take take &dyn Array rather than `ArrayRef`

* Update APIs for *_dyn_bool_scalar kernels

Add more information on SIMD (#1138)

Add dyn boolean kernels (#1131)

* Add dyn bool kernels

* Add tests

* Update error messages

* Update test

* Fix test

* Update doc strings

Fix reading of dictionary encoded pages with null values (#1111) (#1130)

* fix reading of dictionary encoded pages with null values

* fix linting issues

Make arrow::array_reader private (#1032) (#1133)

Implement Array for ArrayRef, Improve as_* kernels to take `&dyn Array` (#1129)

* Implement Array for ArrayRef

* Improve as_* kernels to take &dyn Array

* remove uneeded pyarrow binding

Add Schema::with_metadata and Field::with_metadata (#1092)

allow using custom datetime format for inference and parsing csv file (#1112)

* allow using custom datetime format for inference and parsing csv file

The patch extends the current implementation to allow passing a custom
datetime_re and datetime_format to the ReaderBuilder.

datetime_re is used infer schema of the csv and then datetime_format is
used to parse the actual string to a Date64.
ofcourse  passing non-compatible datetime_re and datetime_format values
is going to fail the parsing or inference, however it is an expected but
hard-to-detect failure.

* Incorporate some clippy recommendations for limit count of call args

The patch adds a new struct to collect all these options together and
then passes the struct around. Ideally the struct could be embedded into
the reader but that can be done as separate exercise.

* Detect presence of timezone in format while parsing csv for date64

The patch decides on using NaiveDateTime or DateTime from chrono lib
based on presence of timezone components

chrono expects timezone to be presetn if DateTime is used, errors
otherwise. Whereas NaiveDateTime ignores timezone even if explicitly
provided.

Update Union Array to add `UnionMode`,  match latest Arrow Spec, and rename `new` -> `unsafe new_unchecked()` (#885)

* Update union array to new null handling

* Update arrow/src/array/array_union.rs

* correct comment

Add kernel and tests (#1125)

Add kernel and tests (#1123)

Co-authored-by: Andrew Lamb <andrew@nerdnetworks.org>

Add kernel and tests (#1122)

Co-authored-by: Andrew Lamb <andrew@nerdnetworks.org>

Add neq dyn scalar kernel (#1118)

* Add lt_dyn_scalar and tests

* Add lt_eq_dyn_scalar kernel

* Add gt_dyn_scalar kernel

* Add gt_eq_dyn_scalar kernel

* Add neq_dyn_scalar kernel

* Add kernel to err message

Co-authored-by: Andrew Lamb <andrew@nerdnetworks.org>

Add gt eq dyn scalar kernel (#1117)

* Add lt_dyn_scalar and tests

* Add lt_eq_dyn_scalar kernel

* Add gt_dyn_scalar kernel

* Add gt_eq_dyn_scalar kernel

* Add kernel to err message

Co-authored-by: Andrew Lamb <andrew@nerdnetworks.org>

Add gt dyn scalar kernel (#1116)

* Add gt_dyn_scalar kernel

Co-authored-by: Andrew Lamb <andrew@nerdnetworks.org>

Add lt eq dyn scalar kernel (#1115)

* Add lt_dyn_scalar and tests

* Add lt_eq_dyn_scalar kernel

* Add kernel to error message

* fix merge problem

Co-authored-by: Andrew Lamb <andrew@nerdnetworks.org>

Add kernel and tests (#1121)

Add kernel and tests (#1124)

Add lt dyn scalar kernel (#1114)

* Add lt_dyn_scalar and tests

* Add kernel to error message

fix bug: error type for BufferBuilder (#1104)

* fix bug: error type for BufferBuilder

* fix clippy

Define eq_dyn_scalar API (#1074)

* Squash

* Cleanup error messages

MutableArrayData support extend decimal data type (#1100)

* support extend decimal data type

* add more test

Print the 'FixedSizeBinaryArray' like a normal 'BinaryArray' (#1097)

* Print the 'FixedBinaryArray' like a normal 'BinaryArray'

* apply cargo fmt

Co-authored-by: Andrew Lamb <andrew@nerdnetworks.org>

implement eq_dyn, neq_dyn, lt_dyn, lt_eq_dyn, gt_dyn, gt_eq_dyn for timestamp types (#1095)

* implement eq_dyn, neq_dyn, lt_dyn, lt_eq_dyn, gt_dyn, gt_eq_dyn for timestamp types

* Simplify test code

Allow proc-macro2 dependency to be flexible (#1102)

support cast decimal to decimal (#1084)

* support cast decimal to decimal

* add test case

* remove meaningless code

Fix like regex escaping (#1085)

* Fix like regex escaping

* Fix like regex escaping

* Fix doctest

* Simplify

support cast decimal to signed numeric (#1073)

* add cast test macro function; refactor other type to decimal type; add decimal to signed numeric type
support decimal to unsigned numeric

* address the comments and fix the clippy

Update pyo3 to 0.15 (#1076)

* Update pyo3 to 0.15

* Update pyo3 in integration tests also

parquet: Use constant for RLE decoder buffer size (#1070)

Add Schema::project and RecordBatch::project functions  (#1033)

* Allow Schema and RecordBatch to project schemas on specific columns returning a new schema with those columns only

* Addressing PR updates and adding a test for out of range projection

* switch to &[usize]

* fix: clippy and fmt

Co-authored-by: Andrew Lamb <andrew@nerdnetworks.org>

Box RleDecoder index buffer (#1061) (#1062)

* Box RleDecoder index buffer (#1061)

* Format

support cast signed numeric to decimal (#1044)

* support cast signed numeric to decimal

* add test for i8,i16,i32,i64,f32,f64 casted to decimal

* change format of float64

* add none test; merge integer test together

fix(compute): LIKE escape parenthesis (#1042)

Signed-off-by: Dmitry Patsura <talk@dmtry.me>

Add MONTH_DAY_NANO interval type, impl `ArrowNativeType` for `i128` (#779)

* support interval MonthDayNano

* fix

* fix

* fix

* fix test

* add IPC integration test

* fix rat

* update patch

* fix

* fmt

* fix

* fix

* fix

* fix

* fix

* fix

* remove integration-testing/unskip.patch

Co-authored-by: Andrew Lamb <andrew@nerdnetworks.org>

BooleanBufferBuilder correct buffer length (#1051) (#1052)

Address benchmarks that aren't compiling (#1001)

* Add a CI job that checks benchmarks (but doesn't run them)

* The feature test_common must be turned on to build parquet benchmarks

* Align cache keys

Co-authored-by: Andrew Lamb <andrew@nerdnetworks.org>
Co-authored-by: Andrew Lamb <andrew@nerdnetworks.org>

Remove outdated safety example from doc (#1050)

Use existing array type in `take` kernel (#1046)

* Need to use type from data so that we do not lose, for example, timezone information

* add test for take preseving timezone

Avoid allocating vector of indices in lexicographical_partition_ranges (#998)

* Avoid allocating vector of indices in lexicographical_partition_ranges

* Adjust comments

* Improve comments and remove one unneeded parameter

Mark `MutableBuffer::typed_data_mut` unsafe (#1029)

* Mark `MutableBuffer::typed_data_mut` unsafe

* fmt

* Mark use of `typed_data_but` as unsafe in simd kernels

Extract method to drive PageIterator -> RecordReader (#1031)

Co-authored-by: Andrew Lamb <andrew@nerdnetworks.org>

Simplify parquet arror `RecordReader` (#1021)

Clarify governance of arrow crate (#1030)

Force new cargo and target caching to fix CI (#1023)

Fix: fixes a broken link and some missing styling in the main arrow crate docs (#1013)

Remove out of date comment (#1008)

Minimize features of indexmap and chrono (#1000)

* Disable default features of chrono; only enable features needed

Chrono's default features contain "oldtime", which is deprecated.
According to [the docs](https://docs.rs/chrono/0.4.19/chrono/#duration),

> new code should disable the oldtime feature and use the
> chrono::Duration type instead. The oldtime feature is enabled by
> default for backwards compatibility, but future versions of Chrono
> are likely to remove the feature entirely.

so follow that recommendation by setting default-features to false. And
actually, only Arrow needs the "clock" feature, so all the other
features can stay off too to minimize the feature set that projects
depending on arrow or parquet are forced to enable.

* Explicitly enable indexmap's "std" feature

The indexmap crate uses the autocfg crate to do target detection to
determine whether `std` is available. Arrow isn't targeting `no_std`
environments, so the target detection isn't necessary. This might save
some build time.

https://github.com/bluss/indexmap/pull/145

Docstrings for Timestamp*Array. (#988)

* Docstrings for TimestampSecondArray.

* fixup! Docstrings for TimestampSecondArray.

Update rust version to 1.57 (#1003)

Add full data validation for ArrayData::try_new() (#921)

* Add full data validation for ArrayData::try_new()

* Only look at offset+len indexes

Co-authored-by: Jörn Horstmann <git@jhorstmann.net>
* fix test

* fmt

* test for array indexes

Co-authored-by: Jörn Horstmann <git@jhorstmann.net>

Remove unneeded `rc` feature of serde (#990)

Fixes #989.

This feature opts into impls for `Rc` and `Arc`, but none of the data
structures that use Serialize/Deserialize actually contain `Rc` or
`Arc`s.

See:

- [Serde docs](https://serde.rs/feature-flags.html#-features-rc)
- [PR adding this](https://github.com/apache/arrow/pull/3016)