Update changelog

Update version to 9.0.1

Fix bitmask creation in chunked part of simd comparison (#1286)

Prepare for 9.0.0 release: Update version + CHANGELOG (#1265)

* Update version to 9.0.0

* Update changelog generator script

* Initial changelog

* Updates

* Update again

* rat

upgrade clap (#1261)

Remove unsupported flag in rustfmt.toml (#1262)

Improve module documentation for parquet crate (#1253)

Faster bitmask iteration (#1228)

* Add UnalignedBitChunks (#1227)

* Clippy

* Fix flaky test

* Improve test legibility

* Fix SlicesIterator offset direction

* Format

* Fix byte-aligned termination

* Test edge-cases

* More tests

Co-authored-by: Andrew Lamb <andrew@nerdnetworks.org>
* Review feedback

* Make UnalignedBitChunkIterator crate local

Co-authored-by: Andrew Lamb <andrew@nerdnetworks.org>

Add `async` arrow parquet reader (#1154)

* Async parquet reader (#111)

Add Sync + Send bounds to parquet crate

* Remove Sync from DataType

* Review feedback

* Add basic test

* Fix lints

* Review feedback

* Tweak CI

Refresh readme / contributing guide (#1252)

Update chrono-tz requirement from 0.4 to 0.6 (#1259)

Updates the requirements on [chrono-tz](https://github.com/chronotope/chrono-tz) to permit the latest version.
- [Release notes](https://github.com/chronotope/chrono-tz/releases)
- [Changelog](https://github.com/chronotope/chrono-tz/blob/main/CHANGELOG.md)
- [Commits](https://github.com/chronotope/chrono-tz/commits/v0.6.1)

---
updated-dependencies:
- dependency-name: chrono-tz
  dependency-type: direct:production
...

Signed-off-by: dependabot[bot] <support@github.com>
Co-authored-by: dependabot[bot] <49699333+dependabot[bot]@users.noreply.github.com>

Update zstd requirement from 0.9 to 0.10 (#1257)

Updates the requirements on [zstd](https://github.com/gyscos/zstd-rs) to permit the latest version.
- [Release notes](https://github.com/gyscos/zstd-rs/releases)
- [Commits](https://github.com/gyscos/zstd-rs/compare/0.9.0...v0.10.0)

---
updated-dependencies:
- dependency-name: zstd
  dependency-type: direct:production
...

Signed-off-by: dependabot[bot] <support@github.com>
Co-authored-by: dependabot[bot] <49699333+dependabot[bot]@users.noreply.github.com>

Add dependabot (#1256)

Batch multiple records in ArrowWriter (#1214)

* Batch multiple records in ArrowWriter

* Document max_group_size and reduce default (#1213)

* Review feedback

* Write multiple arrays without concat

* Clippy

* Test aggregating complex types

* Test complex slice

* Clippy

Revert "Pin WASM / packed SIMD tests to nightly-2022-01-17 (#1204)" (#1251)

This reverts commit d68c4ae14077d60326eb57fe28133645f800d7e5.

Add docs examples for dynamically compare functions  (#1250)

* add examples

Signed-off-by: remzi <13716567376yh@gmail.com>
* correct rust format

Signed-off-by: remzi <13716567376yh@gmail.com>

Fix NullArrayReader (#1245) (#1246)

Revert making parquet::data_type and parquet::arrow::schema experimental (#1244)

rename to Bitmap::bit_len (#1242)

Signed-off-by: remzi <13716567376yh@gmail.com>

Add Rust Docs examples for UnionArray (#1241)

Signed-off-by: remzi <13716567376yh@gmail.com>

Remove Copy trait from dyn scalar kernels (#1243)

dyn compare for binary array (#1238)

* dyn compare two binary array

Signed-off-by: remzi <13716567376yh@gmail.com>
* add dyn comparison for binary array

Signed-off-by: remzi <13716567376yh@gmail.com>
* add tests for dyn compare binary array and scalar

Signed-off-by: remzi <13716567376yh@gmail.com>
* remove DictionaryArray from dyn compare, because not find an easy way to build binary dictionary array

Signed-off-by: remzi <13716567376yh@gmail.com>
* fix mistakes in test code

Signed-off-by: remzi <13716567376yh@gmail.com>
* add Nones into the test cases

Signed-off-by: remzi <13716567376yh@gmail.com>
* add non utf8 scalar

Signed-off-by: remzi <13716567376yh@gmail.com>
* correct the code format

Signed-off-by: remzi <13716567376yh@gmail.com>

Improve documentation for Bitmap (#1237)

Fix null bitmap length validation (#1231) (#1232)

* Fix null bitmap length validation (#1231)

* Reuse existing test

Remove explicit simd arithmetic kernels except for division/modulo (#1221)

* Extend arithmetic benchmarks

* Remove explicit simd arithmetic except for div/mod because autovectorization generates better code

* Remove unneeded return keywords

Remove memory-check feature (#1222)

[Minor]Re-export `array::builder::make_builder` to make it available for downstream (#1235)

* Re-export `array::builder::make_builder`

* Update mod.rs

[Minor]`into_inner` for IPC `FileWriter` (#1236)

* `into_inner` for IPC `FileWriter`

* lint

Do not concatenate identical dictionaries (#1219)

* Do not concatenate identical dictionaries (#504)

* Review feedback

Remove arrow array reader (#1197) (#1234)

Preserve dictionary encoding when decoding parquet into Arrow arrays, 60x perf improvement (#171) (#1180)

* Preserve dictionary encoding from parquet (#171)

* Use OffsetBuffer::into_array for dictionary

* Fix and test handling of empty dictionaries

Don't panic if missing dictionary page

* Use ArrayRef instead of Arc<ArrayData>

* Update doc comments

* Add integration test

Tweak RecordReader buffering logic

* Add benchmark

* Set write batch size in parquet fuzz tests

Fix bug in column writer with small page sizes

* Fix test_dictionary_preservation

* Add batch_size comment

Add non utf8 values into the test cases of BinaryArray comparison (#1220)

* add eq_dyn for BinaryArray

Signed-off-by: remzi <13716567376yh@gmail.com>
* correct the code formatting

Signed-off-by: remzi <13716567376yh@gmail.com>
* add comparison support for fully qualified binary array
delete dyn comparison which will be added in successive PRs

Signed-off-by: remzi <13716567376yh@gmail.com>
* add tests for comparison of fully qualified BinaryArray

Signed-off-by: remzi <13716567376yh@gmail.com>
* add 2 missed tests

Signed-off-by: remzi <13716567376yh@gmail.com>
* move 2 functions

Signed-off-by: remzi <13716567376yh@gmail.com>
* fix reference error

Signed-off-by: remzi <13716567376yh@gmail.com>
* add non utf8 bytes to the test cases of BinaryArray comparision

Signed-off-by: remzi <13716567376yh@gmail.com>

Update DECIMAL_RE to allow scientific notation in auto inferred schemas (#1216)

* Update DECIMAL_RE to allow scientific notation in auto inferred schemas

* Fixed format lint

Prepare for 8.0.0 release: Update CHANGELOG and versions (#1212)

* Update version to 8.0.0

* Update Changelog for 8.0.0

* restore RAT

* Remove items that were released in 7.0.0

Improve changelog generator script settings (#1210)

* Update changelog script

* fix typo

Return error from JSON writer rather than panic (#1205)

* Return error from JSON writer rather than panic

* fix comment

fix a bug in variable sized equality (#1209)

A missing validity buffer was being treated as all values being null,
rather than all values being valid, causing equality to fail on some
equivalent string and binary arrays.

Update parquet crate readme (#1192)

* Update parquet crate readme

* prettier

Add comparison support for fully qualified BinaryArray (#1195)

* add eq_dyn for BinaryArray

Signed-off-by: remzi <13716567376yh@gmail.com>
* correct the code formatting

Signed-off-by: remzi <13716567376yh@gmail.com>
* add comparison support for fully qualified binary array
delete dyn comparison which will be added in successive PRs

Signed-off-by: remzi <13716567376yh@gmail.com>
* add tests for comparison of fully qualified BinaryArray

Signed-off-by: remzi <13716567376yh@gmail.com>
* add 2 missed tests

Signed-off-by: remzi <13716567376yh@gmail.com>
* move 2 functions

Signed-off-by: remzi <13716567376yh@gmail.com>
* fix reference error

Signed-off-by: remzi <13716567376yh@gmail.com>

feat: add support for casting Duration/Interval to Int64Array (#1196)

* feat: add support for casting Duration to Int64Array

* feat: cast from Interval to Int64

Pin WASM / packed SIMD tests to nightly-2022-01-17 (#1204)

bugfix in display of float16 array (#1194)

Due to a typo the float16 array was being cast to a float32 array,
causing a crash when pretty printing a record batch containing float16.

 parquet: Optimized ByteArrayReader, Add UTF-8 Validation (#1040)  (#1082)

* Optimized ByteArrayReader (#1040)

UTF-8 Validation (#786)

* Fix arrow_array_reader benchmark

* Allow running subset of arrow_array_reader benchmarks

* Faster UTF-8 validation

* Tweak null handling

* Add license

* Refine `ValuesBuffer::pad_nulls`

* Tweak error handling

* Use page null count if available

* Doc comments

* Test DELTA_BYTE_ARRAY encoding

* Support legacy Encoding::PLAIN_DICTIONARY

* Add OffsetBuffer unit tests

Review feedback

* More tests

* Fix lint

* Review feedback

feat(parquet): support for reading structs nested within lists (#1187)

* feat(parquet): support for reading structs nested within lists

* fix: logical conflict

Co-authored-by: Andrew Lamb <andrew@nerdnetworks.org>

update nightly version for miri (#1189)

Truncate bitmask on split (#1183)

* Truncate bitmask on split

* Fix BooleanBufferBuilder::resize

* Format

fix: Fix a bug in how filter indices are calculated (#1185)

* fix: Fix a bug in how filter indices are calculated

Using the definition level and the nullability of the column only
produces the correct indices if max_definition - 1 is the list level.
For deeper nesting (struct in a list) this produces incorrect indices,
silently causing incorrect data to be written.

This fix uses the array offsets to compute the indices instead.

* add assertions

Support DecimalType in sort and take kernels (#1172)

add from_iter_values for binary array (#1188)

Use tempfile for parquet tests (#1165)

Co-authored-by: Andrew Lamb <andrew@nerdnetworks.org>

Serialize i128 as JSON string (#1175)

Add ticket reference for false positive (#1181)

Fix record formatting in 1.58 (#1178)

Bugfix in parquet writing empty lists of structs (#1166)

Fix a bug in the definition level calculation for fields nested within a
struct and a list. When a list is empty or null in parquet the nested
field gets a null value. However, in arrow, the value is simply missing.
When serializing an immediate child of the list, the list offsets are
used to calculate the correct definition level for its children, but it
is not carried further to fields nested deeper (e.g., fields on a struct
within a list).  This (somewhat hacky) fix treats a struct within a list
as if it were a list.

Fix compilation error with simd feature (#1169)

Fix new clippy lints introduced in Rust 1.58 (#1170)

Simplify and reduce code duplication in arithmetic kernels (#1161)

* Simplify and reduce code duplication in arithmetic kernels

* Update comments

Update dev/release/README for master releases, remove supporting scripts (#1143)

* Update dev/release/README for master releases

* remove cherry pick script

Improve parquet reading performance for columns with nulls by preserving bitmask when possible (#1037) (#1054)

* Preserve bitmask (#1037)

* Remove now unnecessary box (#1061)

* Fix handling of empty bitmasks

* More docs

* Add nested nullability test case

* Add packed decoder test

Remove left over readme file from arrow/arrow-rs split (#1162)

Fuzz test different parquet encodings (#1156)

Add subtract_scalar kernel (#1152)

* Add subtract_scalar

* Rebase

Add multiply_scalar (#1159)

feat(json): support for map arrays in json writer (#1149)

Add add_scalar kernel (#1151)

* Add add_scalar

* move simd_float_unary_math_op to simd_unary_math_op

Document safety justification of some uses of `from_trusted_len_iter` (#1148)

Move simd right out of for_each loop (#1150)

 Generify ColumnReaderImpl and RecordReader (#1040)  (#1041)

* Simplify record reader

* Generify ColumnReaderImpl and RecordReader (#1040)

* Tweak count_records predicate

* Pre-allocate bitmask

* fix: TypedBuffer::split update len

* Simplify GenericRecordReader

* Move column decoders into module

* Remove `RecordBuffer::create` method

* Remove `TypedBuffer<i16>::count_records`

* Pass null count to `ColumnValueDecoder::read`

* Pull null padding out of column reader

* Review feedback

* Format

* License headers

* Further doc tweaks

* Further docs

* Restrict ScalarBuffer types

Remove `GenericStringArray::from_vec` and `GenericStringArray::from_opt_vec` (#1147)

BooleanBufferBuilder::append_packed (#1038) (#1039)

* BooleanBufferBuilder::append_packed (#1038)

* Update docstring

* Add packed_append_range

* Fix capacity

* Use set_bits from transform::util

* Add license

* Format

Improve parquet performance: Skip levels computation for required struct arrays in parquet (#1035)

* Skip levels computation for required struct arrays (#1034)

* Review feedback

Restrict RecordReader and friends to scalar types (#1132) (#1155)

Extends parquet fuzz tests to also tests nulls, dictionaries and row groups with multiple pages  (#1053) (#1110)

* Parquet fuzz tests (#1053)

* Test multiple WriterVersions

* Revert array_reader change

Move more parquet functionality behind experimental feature flag (#1032)  (#1134)

* Move more parquet functionality behind experimental feature flag (#1032)

* Fix logical conflicts

Implement SIMD comparison operations for types with less than 4 lanes (i128) (#1146)

* Implement simd mask creation for 128 bit types

* Adjust comparison kernels to always append 64 bit chunks

* Only append minimal number of bytes

* Add benchmark for MonthDayNano comparison

* Fix typo in comment

Co-authored-by: Paddy Horan <5733408+paddyhoran@users.noreply.github.com>
* Fix typo in comment

Co-authored-by: Paddy Horan <5733408+paddyhoran@users.noreply.github.com>
Co-authored-by: Paddy Horan <5733408+paddyhoran@users.noreply.github.com>

Fix undefined behavor in GenericStringArray::from_iter_values (#1145)

* Fix undefined behavor in GenericStringArray::from_iter_values

* Cleanup code and tests

* clippy

* Fix test

Update readme to clarify versioning (#1142)

Update version to 7.0.0 and update CHANGELOG (#1141)

* Update changelog generator

* Bring changelog from 6.5.0

* Update changelog

* Update version to 7.0.0

feat(ipc): support for reading union arrays through IPC (#1140)

Dyn comparison of interval arrays (#1106) (#1107)

* Dyn comparison of interval arrays (#1106)

* fix fmt

* Skip test when simd is enabled

Co-authored-by: Andrew Lamb <andrew@nerdnetworks.org>

feat: union schema serialization/deserialization for ipc (#1135)

*_dyn_scalar kernels: Support Float32Array and Float64Array,  (#1127)

* *_dyn_scalar kernels: Support Float32Array and Float64Array, use ToPrimitive rather than `Into<i128>`m take take &dyn Array rather than `ArrayRef`

* Update APIs for *_dyn_bool_scalar kernels

Add more information on SIMD (#1138)

Add dyn boolean kernels (#1131)

* Add dyn bool kernels

* Add tests

* Update error messages

* Update test

* Fix test

* Update doc strings

Fix reading of dictionary encoded pages with null values (#1111) (#1130)

* fix reading of dictionary encoded pages with null values

* fix linting issues

Make arrow::array_reader private (#1032) (#1133)

Implement Array for ArrayRef, Improve as_* kernels to take `&dyn Array` (#1129)

* Implement Array for ArrayRef

* Improve as_* kernels to take &dyn Array

* remove uneeded pyarrow binding

Add Schema::with_metadata and Field::with_metadata (#1092)

allow using custom datetime format for inference and parsing csv file (#1112)

* allow using custom datetime format for inference and parsing csv file

The patch extends the current implementation to allow passing a custom
datetime_re and datetime_format to the ReaderBuilder.

datetime_re is used infer schema of the csv and then datetime_format is
used to parse the actual string to a Date64.
ofcourse  passing non-compatible datetime_re and datetime_format values
is going to fail the parsing or inference, however it is an expected but
hard-to-detect failure.

* Incorporate some clippy recommendations for limit count of call args

The patch adds a new struct to collect all these options together and
then passes the struct around. Ideally the struct could be embedded into
the reader but that can be done as separate exercise.

* Detect presence of timezone in format while parsing csv for date64

The patch decides on using NaiveDateTime or DateTime from chrono lib
based on presence of timezone components

chrono expects timezone to be presetn if DateTime is used, errors
otherwise. Whereas NaiveDateTime ignores timezone even if explicitly
provided.

Update Union Array to add `UnionMode`,  match latest Arrow Spec, and rename `new` -> `unsafe new_unchecked()` (#885)

* Update union array to new null handling

* Update arrow/src/array/array_union.rs

* correct comment

Add kernel and tests (#1125)

Add kernel and tests (#1123)

Co-authored-by: Andrew Lamb <andrew@nerdnetworks.org>

Add kernel and tests (#1122)

Co-authored-by: Andrew Lamb <andrew@nerdnetworks.org>

Add neq dyn scalar kernel (#1118)

* Add lt_dyn_scalar and tests

* Add lt_eq_dyn_scalar kernel

* Add gt_dyn_scalar kernel

* Add gt_eq_dyn_scalar kernel

* Add neq_dyn_scalar kernel

* Add kernel to err message

Co-authored-by: Andrew Lamb <andrew@nerdnetworks.org>

Add gt eq dyn scalar kernel (#1117)

* Add lt_dyn_scalar and tests

* Add lt_eq_dyn_scalar kernel

* Add gt_dyn_scalar kernel

* Add gt_eq_dyn_scalar kernel

* Add kernel to err message

Co-authored-by: Andrew Lamb <andrew@nerdnetworks.org>

Add gt dyn scalar kernel (#1116)

* Add gt_dyn_scalar kernel

Co-authored-by: Andrew Lamb <andrew@nerdnetworks.org>

Add lt eq dyn scalar kernel (#1115)

* Add lt_dyn_scalar and tests

* Add lt_eq_dyn_scalar kernel

* Add kernel to error message

* fix merge problem

Co-authored-by: Andrew Lamb <andrew@nerdnetworks.org>

Add kernel and tests (#1121)

Add kernel and tests (#1124)

Add lt dyn scalar kernel (#1114)

* Add lt_dyn_scalar and tests

* Add kernel to error message