Move DecimalArray to array_decimal.rs (#1986)

Signed-off-by: remzi <13716567376yh@gmail.com>

Remove PrimitiveBuilder::finish_dict (#1978) (#1980)

Fix clippy (#1984)

Declare the value_length of decimal array as a `const` (#1968)

* declare the value_length of decimal array as a const

Signed-off-by: remzi <13716567376yh@gmail.com>
* simpl the value function

Signed-off-by: remzi <13716567376yh@gmail.com>

Support dictionary array for subtract and multiply kernel (#1971)

* Support dictionary array for subtract kernel

* Support dictionary array in multiply kernel

add column index and offset index (#1935)

Calculate n_buffers in FFI_ArrowArray by data layout (#1960)

* Fix n_buffers

* Add test

* Add code comment

* Don't put null pointer if no null buffer by spec

* Trigger Build

Arbitrary size concat elements utf8 (#1787)

* arbitrary size combine_option_bitmap and tests

* more tests and error

* format

* more tests

* clone and reduce

* arbitrary size concat_elements_utf8

* nit

* tests

* Update arrow/src/compute/kernels/concat_elements.rs

* support one element input

* split implementations

* fmt

Faster StringDictionaryBuilder (#1851) (#1861)

Fix the behavior of `from_fixed_size_list` when offset > 0 (#1964)

* fix the behaviour of from_fixed_size_list when offset > 0

Signed-off-by: remzi <13716567376yh@gmail.com>
* Update arrow/src/array/array_binary.rs

Co-authored-by: Raphael Taylor-Davies <1781103+tustvold@users.noreply.github.com>
Co-authored-by: Raphael Taylor-Davies <1781103+tustvold@users.noreply.github.com>

Set is_adjusted_to_utc if any timezone set (#1932) (#1953)

* Set is_adjusted_to_utc if any timezone set (#1932)

* Fix roundtrip

Use InMemoryColumnChunkReader (#1956)

fix the doc of value_length (#1957)

Signed-off-by: remzi <13716567376yh@gmail.com>

Add add_dyn for DictionaryArray support (#1951)

* Add add_dyn for DictionaryArray support

* Print lengths in error message

* Add null values to test cases

Unpin clap (#1867) (#1954)

fix bug: write column metadata to the behind of the column chunk data (#1947)

remove casting other type to null type (#1942)

Require Send+Sync bounds for Allocation trait (#1945)

Update version and changelog for version 17.0.0 (#1926)

* Update version to 17.0.0

* Initial changelog

* Updates

* update changelog

* touchups

* Fix old changelog

* Fix heading

add readme (#1940)

Signed-off-by: remzi <13716567376yh@gmail.com>

Set adjusted to UTC if UTC timezone (#1932) (#1937)

Support casting `NULL` to/from `Decimal` (#1922)

* support NULL type values to decimal

* support NULL type values to decimal

* Update arrow/src/compute/kernels/cast.rs

* Update arrow/src/compute/kernels/cast.rs

Co-authored-by: Liang-Chi Hsieh <viirya@gmail.com>

Split up parquet::arrow::array_reader (#1483) (#1933)

* Split up parquet::arrow::array_reader

* RAT

Update indexmap dependency (#1929)

Add Decimal256 API (#1914)

* Add Decimal256

* Dedup

* Truncate string representation by precision

* Update arrow/src/util/decimal.rs

Co-authored-by: Remzi Yang <59198230+HaoYang670@users.noreply.github.com>
* Update arrow/src/util/decimal.rs

Co-authored-by: Remzi Yang <59198230+HaoYang670@users.noreply.github.com>
* Update arrow/src/util/decimal.rs

Co-authored-by: Andrew Lamb <andrew@nerdnetworks.org>
* For review

* Fix clippy

* For review

* Move another one

Co-authored-by: Remzi Yang <59198230+HaoYang670@users.noreply.github.com>
Co-authored-by: Andrew Lamb <andrew@nerdnetworks.org>

Add ArrowWriter doctest (#1927) (#1930)

Complete and fixup  split of `arrow::array::builder` module (#1843) (#1928)

* Fix merge conflicts from (#1879)

* Split out of decimal_builder (#1843)

* Fix RAT

* Format

* Restore (#1842)

replace checked_add(sub).unwrap() with +(-) (#1924)

Signed-off-by: remzi <13716567376yh@gmail.com>

Update half requirement from 1.8 to 2.0 (#1919)

Updates the requirements on [half](https://github.com/starkat99/half-rs) to permit the latest version.
- [Release notes](https://github.com/starkat99/half-rs/releases)
- [Changelog](https://github.com/starkat99/half-rs/blob/main/CHANGELOG.md)
- [Commits](https://github.com/starkat99/half-rs/compare/v1.8.0...v2.0.0)

---
updated-dependencies:
- dependency-name: half
  dependency-type: direct:production
...

Signed-off-by: dependabot[bot] <support@github.com>
Co-authored-by: dependabot[bot] <49699333+dependabot[bot]@users.noreply.github.com>

minor: add a diagram to docstring for DictionaryArray (#1909)

* minor: add a diagram to docstring for DictionaryArray

* minor: clarify docstring on `DictionaryArray::lookup_key`

* Apply suggestions from code review

Co-authored-by: Ruihang Xia <waynestxia@gmail.com>
Co-authored-by: Jörn Horstmann <git@jhorstmann.net>
* make values smaller and keys larger

Co-authored-by: Wakahisa <nevilledips@gmail.com>
Co-authored-by: Ruihang Xia <waynestxia@gmail.com>
Co-authored-by: Jörn Horstmann <git@jhorstmann.net>

minor: clarify docstring on `DictionaryArray::lookup_key` (#1910)

* minor: clarify docstring on `DictionaryArray::lookup_key`

* Update arrow/src/array/array_dictionary.rs

Co-authored-by: Liang-Chi Hsieh <viirya@gmail.com>
Co-authored-by: Liang-Chi Hsieh <viirya@gmail.com>

Fix max and min decimal (#1917)

Add `DictionaryArray::key` function (#1912)

Issue #1876: Explicitly declare the used features for each dependency in parquet (#1895)

Declare that parquet module uses rand's std and std_rng features

Signed-off-by: Martin Tzvetanov Grigorov <mgrigorov@apache.org>

Issue #1876: Explicitly declare the used features for each dependency in parquet_derive_test (#1897)

Signed-off-by: Martin Tzvetanov Grigorov <mgrigorov@apache.org>

Fix misaligned reference and logic error in crc32 (#1906)

Previously, this code tried to turn a &[u8] into a &[u32] without
checking alignment. This means it could and did create misaligned
references, which is UB. This can be detected by running the tests with
-Zbuild-std --target=x86_64-unknown-linux-gnu (or whatever your host
is). This change adopts the approach from the murmurhash implementation.

The previous implementation also ignored the tail bytes. The loop at the
end treats num_bytes as if it is the full length of the slice, but it
isn't, num_bytes number of bytes after the last 4-byte group. This can
be observed for example by changing "hello" to just "hell" in the tests.
Under the old implementation, the test will still pass. Now, the value
that comes out changes, and "hello" and "hell" hash to different values.

Issue #1876: Explicitly declare the used features for each dependency in parquet_derive (#1896)

Signed-off-by: Martin Tzvetanov Grigorov <mgrigorov@apache.org>

Issue #1876: Explicitly declare the used features for each dependency in integration_testing (#1898)

Signed-off-by: Martin Tzvetanov Grigorov <mgrigorov@apache.org>

Refine the `bit_util` of Parquet. (#1905)

* refine log2

Signed-off-by: remzi <13716567376yh@gmail.com>
* remove log2

Signed-off-by: remzi <13716567376yh@gmail.com>
* return as u8

Signed-off-by: remzi <13716567376yh@gmail.com>
* refine more functions

Signed-off-by: remzi <13716567376yh@gmail.com>
* update docs

Signed-off-by: remzi <13716567376yh@gmail.com>
* rm auto file

Signed-off-by: remzi <13716567376yh@gmail.com>

Add validation to `RecordBatch` for non-nullable fields containing null values (#1890)

Use bit_slice in combine_option_bitmap (#1900)

Correct nullable in read_dictionary (#1893)

* Correct nullable

* For review

Split up arrow::array::builder module (#1843) (#1879)

* Split up arrow::array::builder module (#1843)

* Split up arrow::array::builder module (#1843)

- Removed old builder.rs
- Added missing licensing header to builder submodules
- Updated builder submodule imports and exports
- Updated array mod file builder imports and exports

Closes #1902: Print the original and projected RecordBatch in dynamic_types example (#1903)

* Closes #1902: Print the original and projected RecordBatch in dynamic_types example

Signed-off-by: Martin Tzvetanov Grigorov <mgrigorov@apache.org>
* Issue #1902: Fix formatting issue

Signed-off-by: Martin Tzvetanov Grigorov <mgrigorov@apache.org>

Minor: Add examples to docstring for `weekday` (#1894)

Feature add weekday temporal kernel (#1891)

* add weekday temporal kernel

* add test

* fmt

* fix test

* use correct weekday numbers

Clean up the test code of `substring` kernel. (#1853)

* clean up

Signed-off-by: remzi <13716567376yh@gmail.com>
* clean up fixed binary

Signed-off-by: remzi <13716567376yh@gmail.com>
* trigger GitHub actions

* directly panic

Signed-off-by: remzi <13716567376yh@gmail.com>
* add docs for helper macros

Signed-off-by: remzi <13716567376yh@gmail.com>

Implement UnionArray FieldData using Type Erasure (#1842)

* Strongly typed UnionBuilder

* Update arrow/src/array/builder.rs

Co-authored-by: Andrew Lamb <andrew@nerdnetworks.org>
Co-authored-by: Andrew Lamb <andrew@nerdnetworks.org>

Issue #1876: Explicitly declare the used features for each dependency in parquet (#1881)

Signed-off-by: Martin Tzvetanov Grigorov <mgrigorov@apache.org>

Issue #1876: Explicitly declare the used features for each dependency in arrow-flight (#1880)

Signed-off-by: Martin Tzvetanov Grigorov <mgrigorov@apache.org>

rename function (#1889)

Support specifying list capacities for MutableArrayData (#1885)

Expose `BitSliceIterator` and `BitIndexIterator` (#1864) (#1865)

* Expose BitSliceIterator and BitIndexIterator (#1864)

* Update arrow/src/compute/kernels/filter.rs

Co-authored-by: Andrew Lamb <andrew@nerdnetworks.org>
* Format

Co-authored-by: Andrew Lamb <andrew@nerdnetworks.org>

docs: remove experimental marker on C Stream Interface (#1821)

Do not print exit code from miri, instead it should be the return value of the script (#1873)

 Add Decimal128 API and use it in DecimalArray and DecimalBuilder (#1871)

* Add Decimal128

* Fix clippy

* Add code comment

Mark typed buffer APIs safe (#996) (#1027) (#1866)

* Mark typed buffer APIs safe (#996) (#1027)

* Fix parquet

* Format

* Review feedback

Add vec-inspired APIs to BufferBuilder (#1850) (#1860)

Add `nilike` support in `comparison` (#1846)

Issue #1876 - Explicitly declare the used features for each dependency (#1877)

* Issue #1876 - Explicitly declare the used features for each dependency

Signed-off-by: Martin Tzvetanov Grigorov <mgrigorov@apache.org>
* Issue #1876 - Enable "std" and "std_rng" features for rand in dev-dependencies

Signed-off-by: Martin Tzvetanov Grigorov <mgrigorov@apache.org>

Fixes #1874 - Upgrade `regex` dependency to 1.5.6 (#1875)

Signed-off-by: Martin Tzvetanov Grigorov <mgrigorov@apache.org>

Fix memory leak in ffi test (#1878)

* Fix leaks

* Fix leaks under array::ffi::tests

Add PyArrow integration test for C Stream Interface (#1848)

* Add PyArrow integration test for ArrowArrayStream

* Trigger Build

Update vendored protobuf (#1869)

Exclude some long-running tests when running under miri (#1863)

* Exclude some long-running tests when running under miri

* Print exit code of miri

* Disable miri stacked borrows checking because it uses too much memory for github actions

* Exclude another slow test from running under miri

* Add link to miri issue

Pin clap to 3.1 (#1867) (#1868)

Omit validity buffer in PrimitiveArray::from_iter when all values are valid (#1859)

* Omit validity buffer in PrimitiveArray::from_iter when all values are valid

* Use bool::then instead of if

Co-authored-by: Raphael Taylor-Davies <1781103+tustvold@users.noreply.github.com>
Co-authored-by: Raphael Taylor-Davies <1781103+tustvold@users.noreply.github.com>

Zero copy page decoding from bytes (#1810)

Add two `from` methods for `FixedSizeBinaryArray` (#1854)

* add from

Signed-off-by: remzi <13716567376yh@gmail.com>
* fmt

Signed-off-by: remzi <13716567376yh@gmail.com>
* add tests

Signed-off-by: remzi <13716567376yh@gmail.com>

Remove simd and avx512 bitwise kernels in favor of autovectorization (#1830)

* Remove simd and avx512 bitwise kernels since they are actually slightly slower than the autovectorized version

* Add notes about target-cpu to README

Refactor parquet::arrow module (#1827)

* Refactor parquet::arrow module

* Fix doc

* Remove legacy benchmarks

speed up `substring_by_char` by about 2.5x (#1832)

* speed up substring_by_char

Signed-off-by: remzi <13716567376yh@gmail.com>
* better estimate the length of value buffer

Signed-off-by: remzi <13716567376yh@gmail.com>

Add `quarter` support in `temporal` (#1836)

MINOR: Remove version check from `test_command_help` (#1844)

* Remove version

* Update parquet/src/bin/parquet-fromcsv.rs

Update versions and CHANGELOG for `16.0.0` (#1826)

* Update versions to 16.0.0

* Update changelog

* Updates

* updates

* Update for latest

* polish

Update module docs (#1840)

Make equals_datatype method public, enabling other modules (#1838)

* we'd like to use this function in datafusion

Update safety disclaimer (#1837)

add parquet-fromcsv (#1) (#1798)

* add parquet-fromcsv (#1)

add command line tool for convert csv to parquet.

* add `text` for non-rust documentation text

* Update parquet/src/bin/parquet-fromcsv.rs

Co-authored-by: Raphael Taylor-Davies <1781103+tustvold@users.noreply.github.com>
* Update parquet/src/bin/parquet-fromcsv.rs

Co-authored-by: Raphael Taylor-Davies <1781103+tustvold@users.noreply.github.com>
* Update parquet/src/bin/parquet-fromcsv.rs

Co-authored-by: Raphael Taylor-Davies <1781103+tustvold@users.noreply.github.com>
* Update parquet/src/bin/parquet-fromcsv.rs

Co-authored-by: Raphael Taylor-Davies <1781103+tustvold@users.noreply.github.com>
* automate update help text

* remove anyhow

* add rat_exclude_files

* update test_command_help

* fix clippy warnings

* add writer-version, max-row-group-size arg

* fix cargo fmt lint

Co-authored-by: Raphael Taylor-Davies <1781103+tustvold@users.noreply.github.com>

fix annotation (#1831)

Change to use `resolver v2`, test more feature flag combinations in CI, fix errors (#1630) (#1822)

* Test more feature flag combinations in CI (#1630)

* Clippy lints

* Fix clippy fix

* Fix running examples from workspace root

* Format

* Fix arrow benchmark features

* Split up CI yaml

* Add docs

* Rework caching

* Use lockfile for cache key

Don't install unused components

Update MIRI pin (#1828)

* Update MIRI

* Unpin MIRI

Fix list equal for empty offset list array (#1818)

* Fix list equal for empty offset list array

* For review

Add ScalarBuffer abstraction (#1811) (#1820)

* Add ScalarBuffer abstraction (#1811)

* Lint fixes

Seal ArrowNativeType and OffsetSizeTrait (#1028) (#1819)

* Seal ArrowNativeType (#1028)

* Add docs

Don't overwrite existing data on snappy decompress (#1806) (#1807)

* Don't trample existing data on snappy decompress (#1806)

* Review feedback

Fix Decimal and List ArrayData Validation (#1813) (#1814) (#1816)

* Fix DecimalArray validation (#1813)

Fix offset validation for sliced children of list arrays (#1814)

* Update arrow/src/array/data.rs

Co-authored-by: Liang-Chi Hsieh <viirya@gmail.com>
Co-authored-by: Liang-Chi Hsieh <viirya@gmail.com>

Add public API for decoding parquet footer (#1804)

* Add public API for decoding parquet footer

* Review feedback

Add AsyncFileReader trait (#1803)

* Add AsyncChunkReader trait

* Review feedback

* Rename to AsyncFileReader

rename to substring_kernels.rs (#1805)

Signed-off-by: remzi <13716567376yh@gmail.com>

Use IPC row count info in IPC reader (#1796)

* Use IPC row count info

* Add test

* Update arrow/src/ipc/reader.rs

Co-authored-by: Raphael Taylor-Davies <1781103+tustvold@users.noreply.github.com>
Co-authored-by: Raphael Taylor-Davies <1781103+tustvold@users.noreply.github.com>

Write validity buffer for UnionArray in V4 IPC message (#1794)

* Write validity buffer for Union Array in V4 IPC message

* Add test

* Fix clippy

* Fix clippy

feat:Add function for row alignment with page mask (#1791)

* add range and rowRanges

* add some tests for range

* add filter logic

* fix fmt

* fix todo

* fix test

* Apply suggestions from code review

Co-authored-by: Liang-Chi Hsieh <viirya@gmail.com>
* fix compute_row_ranges

* fix annotation

* change to use std:ops:RangeInclusive

* Apply suggestions from code review

Co-authored-by: Raphael Taylor-Davies <1781103+tustvold@users.noreply.github.com>
* fix

* Update parquet/src/file/page_index/range.rs

Co-authored-by: Raphael Taylor-Davies <1781103+tustvold@users.noreply.github.com>
Co-authored-by: Liang-Chi Hsieh <viirya@gmail.com>
Co-authored-by: Raphael Taylor-Davies <1781103+tustvold@users.noreply.github.com>

Fix typos in the Memory and Buffers section of the docs home (#1795)

Add `Substring_by_char` (#1784)

* add substring by char

Signed-off-by: remzi <13716567376yh@gmail.com>
* update docs

Signed-off-by: remzi <13716567376yh@gmail.com>
* update docs

Signed-off-by: remzi <13716567376yh@gmail.com>
* add benchmark

Signed-off-by: remzi <13716567376yh@gmail.com>
* Update arrow/src/compute/kernels/substring.rs

Co-authored-by: Raphael Taylor-Davies <1781103+tustvold@users.noreply.github.com>
* Update arrow/src/compute/kernels/substring.rs

Co-authored-by: Raphael Taylor-Davies <1781103+tustvold@users.noreply.github.com>
* Update arrow/src/compute/kernels/substring.rs

Co-authored-by: Raphael Taylor-Davies <1781103+tustvold@users.noreply.github.com>
* Update arrow/src/compute/kernels/substring.rs

Co-authored-by: Raphael Taylor-Davies <1781103+tustvold@users.noreply.github.com>
Co-authored-by: Raphael Taylor-Davies <1781103+tustvold@users.noreply.github.com>

Access metadata of flushed row groups on write (#1691) (#1774)

* Access metadata of flushed row groups on write (#1691)

* Add tests

Arbitrary size combine option bitmap (#1781)

* arbitrary size combine_option_bitmap and tests

* more tests and error

* format

* more tests

* clone and reduce

* nit

Read and skip validity buffer of UnionType Array for V4 ipc message (#1789)

* Read valididy buffer for V4 ipc message

* Add unit test

* Fix clippy

Add `ParquetFileArrowReader::try_new` (#1782)

* Add ParquetFileArrowReader::try_new

* Review feedback

Implement ChunkReader for Bytes (#1775)

Deprecate SliceableCursor