Prepare for 6.2.0 release (#947)

* Update version to 6.2.0

* Add CHANGELOG for 6.2.0

Fix validation for offsets of StructArrays (#942) (#946)

* reproduce validation error

* Fix validation bug

Co-authored-by: Ben Chambers <bjchambers@gmail.com>
Co-authored-by: Ben Chambers <bjchambers@gmail.com>

implement take kernel for null arrays (#939) (#944)

Co-authored-by: Ben Chambers <35960+bjchambers@users.noreply.github.com>

add checker for appending i128 to decimal builder (#928) (#943)

* add check for appending i128 to decimal builder

* remove the ArrowError(DecimalError)

Co-authored-by: Kun Liu <liukun@apache.org>

Validate arguments to ArrayData::new and null bit buffer and buffers (#810) (#936)

* Validate arguments to ArrayData::new: null bit buffer and buffers

* REname is_int_type to is_dictionary_key_type()

* Correctly handle self.offset in offsets buffer

* Consolidate checks

* Fix test output

fix some warning about unused variables in panic tests (#894) (#933)

Co-authored-by: Jiayu Liu <Jimexist@users.noreply.github.com>

fix some clippy warnings (#896) (#930)

Co-authored-by: Jiayu Liu <Jimexist@users.noreply.github.com>

feat(ipc): add support for deserializing messages with nested dictionary fields (#923) (#931)

* feat(ipc): read a message containing nested dictionary fields

* Apply suggestions from code review

Co-authored-by: Andrew Lamb <andrew@nerdnetworks.org>
* address lints

Co-authored-by: Andrew Lamb <andrew@nerdnetworks.org>
Co-authored-by: Helgi Kristvin Sigurbjarnarson <helgi@lacework.net>

test moving out (#895) (#932)

Co-authored-by: Jiayu Liu <Jimexist@users.noreply.github.com>

Cherry pick Automatically retry failed MIRI runs to work around intermittent failures  (#934)

* Automatically retry failed MIRI runs to work around intermittent failures (#922)

* Move MIRI checks into a shell script

* add retry loop

* Do not use cache for miri

Update mod.rs (#909) (#919)

Co-authored-by: kingeasternsun <kingeasternsun@gmail.com>

Mark boolean kernels public (#913) (#920)

doc example  mistype (#904) (#918)

Co-authored-by: kingeasternsun <kingeasternsun@gmail.com>

allow null array to be cased to all other types (#884) (#917)

Co-authored-by: Jiayu Liu <Jimexist@users.noreply.github.com>

Fix instances of UB that cause tests to not pass under miri (#878) (#916)

* Fix unaligned access in bit-packing

* Fix creation of unaligned reference in murmur_hash2_64a

* Remove now-unnecessary unsafe

Co-authored-by: Andrew Lamb <andrew@nerdnetworks.org>
Co-authored-by: Ben Kimock <kimockb@gmail.com>

feat(ipc): Support writing dictionaries nested in structs and unions (#870) (#915)

* feat(ipc): Support for writing dictionaries nested in structs and unions

Dictionaries are lost when serializing a RecordBatch for IPC, producing
invalid arrow data. This PR changes encoded_batch to recursively find
all dictionary fields within the schema (currently only in structs and
unions) so nested dictionaries are properly serialized.

* address lint and clippy

Co-authored-by: Helgi Kristvin Sigurbjarnarson <helgikrs@gmail.com>

Fix references to changelog (#905)

Release 6.1.0 (#880)

* Update changelog for 6.1 release

* Update version to 6.1.0

implement eq_dyn and neq_dyn (#858) (#867)

Co-authored-by: Jiayu Liu <Jimexist@users.noreply.github.com>

fix: fix a bug in offset calculation for unions (#863) (#871)

The `value_offset` function only read the least significant byte in the
offset array, causing issues with unions with more than 255 rows of any
given variant. Fix the issue by reading the entire i32 offset and add a
unit test.

Co-authored-by: Helgi Kristvin Sigurbjarnarson <helgikrs@gmail.com>

add lt_bool, lt_eq_bool, gt_bool, gt_eq_bool (#860) (#868)

Co-authored-by: Jiayu Liu <Jimexist@users.noreply.github.com>

Test out new tarpaulin version (#852) (#866)

fix(ipc): Support serializing structs containing dictionaries (#848) (#865)

* fix(ipc): Support serializing structs containing dictionaries

Dictionary fields nested in structs were not properly marked as
dictionary fields when serializing to fb.

* style: cargo fmt

Co-authored-by: Helgi Kristvin Sigurbjarnarson <helgikrs@gmail.com>

Implement boolean equality kernels (#844) (#857)

* Implement boolean equality kernels

* Respect offset

* Simplify

Co-authored-by: Daniël Heres <danielheres@gmail.com>

Cherry pick fix parquet_derive with default features (and fix cargo publish) (#856)

* fix parquet_derive with default features (and fix `cargo publish`) (#837)

* Run all tests and do dry runs of cargo publish

* Add test for building parquet derive with default features'

* fix feature flags in parquet crate

* fixup rat

* fix default feature test

* Update parquet_derive/test/dependency/default-features/Cargo.toml

* Remove merge issue

Use kernel utility for parsing timestamps in csv reader. (#832) (#853)

* Use kernel utility for parsing timestamps in csvs.

* Remove cruft.

* Cleanup.

* Lint.

* Remove erroneous stringify.

Co-authored-by: Navin <navin@novemberkilo.com>

Update README.md (#834) (#854)

fix readme with invalid markdown syntax

Co-authored-by: Jiayu Liu <Jimexist@users.noreply.github.com>

[MINOR] Delete temp file from docs (#836) (#855)

* Delete temp file from docs

* fix

* Use gitignore instead

Force fresh cargo cache key in CI (#839) (#851)

[Minor] Fix clippy errors with new rust version (1.56) and float formatting with nightly (#845) (#850)

* Clippy fixes

* Test formatting fixes

* Test formatting fixes

* Fixup

Co-authored-by: Daniël Heres <danielheres@gmail.com>

Update version to 6.0.0 (#828)

Add Changelog for 6.0.0 (#827)

* Add Changelog

* Cleanup Changelog

Replace `ArrayData::new()` with `ArrayData::try_new()` and `unsafe ArrayData::new_unchecked` (#822)

* Replace `ArrayData::new()` with `ArrayData::try_new()` and `unsafe ArrayData::new_unchecked`

* Fix compile for simd

* remove unsafe in benches

JSON reader - empty nested list should not create child value (#826)

* JSON reader - empty nested list should not create child value

* PR review

Add support for parsing timezone using chrono-tz (#824)

- add chrono-tz as an optional depedancy
- try parse using chrono for the numeric format
- if not then try using chrono-tz if present
- return error if neither result in FixedOffset

handle tz while extractiing second/minute/hour from temporal arrays (#771)

The patch rewrites the behaviour using macros to indicate the
repetitive nutate of operations

Fewer ByteArray allocations when writing binary columns (#820)

* split benchmarks of primitive arrays

* add list benches

* Allocate one ByteArray per row group write

* enumerate

[nit] update readme.md and reformat (#821)

* update readme.md and reformat

* update arrow crate

Separate parquet writer benchmarks (#818)

* split benchmarks of primitive arrays

* add list benches

Fix null count when casting ListArray (#816)

Add Parquet writer example to docs (#797)

* First example parquet writer

* Add WriterProp examples

* Add missing imports

* Remove options and run doctest

* One more section to run

* no_run on read example

* Make reader run test

* Fix get_schema_by_cols

expose buffer ops (#809)

parquet: Avoid NaN check for non-floats (#798)

It was especially expensive for `ByteArray` columns, potentially taking as
long as the rest of encoding.

Remove extra quote in release instructions (#804)

Doctests for DictionaryArrays. (#805)

Make parquet's optional arrow dependency skip the default features (#801)

* Make parquet only depend on minimal arrow features

parquet depends on arrow but arrow by default has a large number of features. That means that users who depend on parquet get the full arrow feature set, even if they don't need it. But parquet itself only needs the ipc feature.

* ipc is not even needed

add wasm32 to hash, fix wasm32 build (#787)

* add wasm32 to hash

* cargo fmt

Doctests for arrays - via collect method. (#785)

Make BooleanBufferBuilder get_bit not require mutable reference (#784)

fix: nanosecond timestamp scaling during string conversion (#780) (#781)

Some datetime formats passed to `string_to_timestamp_nanos` were parsing
milliseconds as nanoseconds.

E.g. `1970-01-01 00:00:00.123` would parse as `123` nanoseconds instead
of milliseconds.

Add support for riscv64 (#769)

* Fix riscv64 target_arch

This should be defined for riscv64 instead, as `riscv` doesn't match it.
I have no idea for riscv32 though.

* parquet: Use murmur_hash2_64a for riscv64

chore: Reduce the amount of code generated by monomorphization (#715)

* chore: Reduce the number of instantiations of take* (-3%)

Many types have the same native type, so simplifying these functions to
work directly with native types reduces the number of instantiations.

Reduces the number of llvm lines generated by ~3%

* chore: Shrink try_from_trusted_len_iter (-0.5%)

* chore: Only compile sort_primitive per native type (-8.5%)

* chore: Make the inner take_ functions less generic (-3.5%)

* chore: Don't duplicate sort_list (-13%)

* chore: Extract the "valid" sorting (-7%)

* chore: Extract the array sorter (-1%)

fix: Support length on slices with null (#745)

* fix: Support length on slices with null

* actually test length

Added PartialEq to RecordBatch (#750)

* Added PartialEq to RecordBatch

* derive PartialEq and add tests

Export `RowColumnIter` to fix doc (#763)

* Export RowColumnIter to fix doc

* Add documentation for RowColumnIter

* Improve documentation for RowColumnIter

Use latest nightly in CI to Fix CI for SIMD  (#767)

* Fixed CI for SIMD

* Updated nightly for wasm

Update Bitmap::len to return bits (#749)

Optimize array::transform::utils::set_bits (#716)

* Added tests

* Updated tests and improved implementation

* Cleanup

* Stopped collecting bytes before writing to write_data

* Added tests

* Cleanup and comments

* Fixed clippy warning

* Fixed an endianess issue

* Fixed comments and naming

* Made tests less prone to off-by-n errors

fix: Scalar math operations on slices (#743)

* fix: Scalar math operations on slices

* remove conditional

fix: new_null_array for structs (#736)

fix: Allow parquet to be compiled without arrow (fix --no-default-features) (#731)

* fix: Allow parquet to be compiled without arrow

`--no-default-features` is currently broken in the parquet crate due to
arrow being required. With some small tweaks it can be made entirely
optional.

Added some extra steps to catch when `--no-default-features` does not
work on CI as well.

* Fix CI

* Fix path on CI

* --features test_common is needed for clippy

Add `append_nulls` and `append_trusted_len_iter` to `PrimitiveBuilder` (#728)

* stub out impl

* mark unsafe

* add tests

Upgrade lexical-core to 0.8 (#748)

* Upgrade lexical-core

* Use num instead

fix: Comparisons against scalar slices (#741)

fix: Handle slices in unary kernel (#739)

Remove optional prettytable-rs dependency (#737)

PyO3 bridge for pyarrow interoperability  (#691)

* PyO3 bridge for pyarrow interoperability

* Fix clippy warnings

* Simplify error handling

* Fix clippy warnings

* Fix integration test workflow

* Address review comments

* Virtualenv

* Fix integration test

Fix decimal repr in schema (#721)

Fixes #713

Fix decimal value_as_string (#722)

Fixes #710

Add a note on rust compiler testing and compatibility (#726)

* Add a note on rust compiler testing and compatibility

* prettier

Parquet Derive: remove obscure feature flags, make chrono time emit converted type (#712)

* remove feature flags, make timestamp emit converted types

* remove tracking numbers

* NaiveDateTime emits converted type

* formatting

* formatting

Support arrow readers for strings with DELTA_BYTE_ARRAY encoding (#709)

* Support arrow readers for strings with DELTA_BYTE_ARRAY encoding

* Review fixes

1. move slice init out of the loop,
2. add tests for nulls,
3. use `debug_assert` for programming error assertion.

fix edition 2021 (#714)

Implement `regexp_matches_utf8` (#706)

* impl regexp_matches_utf8

* fix clippy

* add bench

* optimize

Support binary data type in `build_struct_array`. (#702)

* Support binary data type in `build_struct_array`.

* Modify test case.

* cargo fmt

Co-authored-by: Andrew Lamb <andrew@nerdnetworks.org>

Doctest for PrimitiveArray using from_iter_values. (#694)

* Doctest for PrimitiveArray using from_iter_values.

* Better example for building a PrimitiveArray.

Update dev README with fancier regular expression for maintenance release notes (#687)

* Update dev README with fancier regular expression

I am trying to incrementally improve the release notes

* Add bullet

* prettier

* tweak

Change to comfy-table from prettytable-rs (#656)

* Change to comfy-table

Signed-off-by: Chojan Shang <psiace@outlook.com>
* Apply review

Signed-off-by: Chojan Shang <psiace@outlook.com>

allow casting from Timestamp based arrays to utf8 (#664)

the change adds uses the existing `PrimitiveArray::value_as_datetime` to
support casting from `Timestamp(_,_)` to ``[Large]Utf8`.

Add get_bit to BooleanBufferBuilder (#693)

* Add get_bit to BooleanBufferBuilder

* fix clippy

Allow creation of String arrays from &Option<&str> iterators (#680)

* Allow creation of String arrays from &Option<&str> iterators

* Add links in doc comments

Co-authored-by: Jorge Leitao <jorgecarleitao@gmail.com>
Co-authored-by: Andrew Lamb <andrew@nerdnetworks.org>
Co-authored-by: Jorge Leitao <jorgecarleitao@gmail.com>

Write FixedLenByteArray stats for FixedLenByteArray columns (not ByteArray stats) (#662)

Make rand an optional dependency (#674)

Closes #671

Signed-off-by: roee88 <roee88@gmail.com>

Write boolean stats for boolean columns (not i32 stats) (#661)

Doctests for DictionaryArray::from_iter, PrimitiveDictionaryBuilder and DecimalBuilder. (#673)

* Doctest for PrimitiveDictionaryBuilder.

* Doctests for DictionaryArray::from_iter.

* Documentation for DecimalBuilder.

Add some do comments to parquet bit_util (#663)

allocate enough bytes when writing booleans (#658)

* allocate enough bytes when writing booleans

* round up to nearest multiple of 256

Fix parquet string statistics generation (#643)

* Fix string statistics generation, add tests

* fix Int96 stats test

* Add notes for additional tickets

Add a note about arrow crate security / safety (#628)

* Add note about safety to arrow README.md

* Prettier

* Remove note about making modules private

Tiny tweaks to release readme (#670)

Remove undefined behavior in `value` method of boolean and primitive arrays (#644)

* Remove UB in `value`

* Add safety note

Doctests for from_iter for BooleanArray & for BooleanBuilder. (#647)

draft question template (#649)

Signed-off-by: Ruihang Xia <waynestxia@gmail.com>

update documentation (#648)

Signed-off-by: Ruihang Xia <waynestxia@gmail.com>

Fix data corruption in json decoder f64-to-i64 cast (#652)

* Add failing test for JSON writer i64 bug

* Add special handling for i64/u64 to json decoder array builder

* Fix linter error - linter wants .flatten on a new line

Add human readable Format for parquet ByteArray (#642)

Minimal MapArray support (#491)

* add DataType::Map to datatypes

* barebones MapArray and MapBuilder

This commit adds the MapArray and MapBuilder.
The interfaces are however incomplete at this stage.

* minimal IPC read and write

* barebones MapArray (missed)

* add equality for map, relying on list

A map is a list with some specific rules, so for equality it is the same as a list

* json reader for MapArray

* add schema roundtrip

* read and write maps from/to arrow map

* clippy

* Calculate map levels separately

Avoids the generic case of list > struct > [ley, value], which adds overhead

* Fix map reader context and path

* Map array tests

* add doc comments and clean up code

* wip: review feedback

* add test for map

* fix clippy 1.54 lints

Speed up filter_record_batch with one array (#637)

* Speed up filter_record_batch with one array

* Don't into()

Add note about changelog generation to README (#639)

* Add note about changelog generation to README

* make it prettier

Fix clippy lints for Rust 1.54 (#631)