Prepare for release version `11.1.0` (#1514)

* Update release version to 11.1.0

* draft: changelog

* more

* update

* Fixup

 Implement ArrayEqual for UnionArray (#1469)

* init

* more

* Remove dense/sparse case

* Fix clippy

* For review

* For review

Add FFI for Arrow C Stream Interface (#1384)

* Add FFI for Arrow C Stream Interface

* Add ArrowArrayStreamReader

* Add test

* Fix clippy

* fix format

* define error code

* Regenerate ffi binding using bindgen

* Rewrite test

* Remove CStreamInterface

* Fix clippy error

* Fix more clippy errors

* For review comment.

* Fix clippy error

* Fix clippy error

* not run example code in comment

* ignore doctest

* For review

* Fix clippy

* For review comment

* For review

* Add export_reader_into_raw

* For review

Clarify docs that SlicesIterator ignores null values (#1504)

* Clarify docs that SlicesIterator ignores null values

* Update arrow/src/compute/kernels/filter.rs

Co-authored-by: Yijie Shen <henry.yijieshen@gmail.com>
Co-authored-by: Yijie Shen <henry.yijieshen@gmail.com>

Update release scripts to automatically clean up old release versions (#1467)

* Automatically clean up old release versions

* Update dev/release/release-tarball.sh

Co-authored-by: Raphael Taylor-Davies <1781103+tustvold@users.noreply.github.com>
* Add message to delete command

* fix submodules

Co-authored-by: Raphael Taylor-Davies <1781103+tustvold@users.noreply.github.com>

Support calculating number of chars for `StringArray` (#1503)

* add functions, no tests yet

Signed-off-by: remzi <13716567376yh@gmail.com>
* add tests
delete unchecked fn
update doc

Signed-off-by: remzi <13716567376yh@gmail.com>
* use lib method
update doc and test

Signed-off-by: remzi <13716567376yh@gmail.com>

Implement `size_hint` and `ExactSizedIterator` for `DecimalArray` (#1506)

* Implement size_hint and ExactSizedIterator for DecimalArray

* clippy

* Apply suggestions from code review

Co-authored-by: Liang-Chi Hsieh <viirya@gmail.com>
* Move DecimalIter to iterator.rs

* Bring back doc fixes

Co-authored-by: Liang-Chi Hsieh <viirya@gmail.com>

update doc (#1491)

Signed-off-by: remzi <13716567376yh@gmail.com>

Use Arrow take kernel within ListArrayReader (#1490)

* Remove remove_indices

* For review

Fix miri error in try_from_trusted_len_iter (#1497)

Add `length` kernel support for List Array (#1488)

* add fn for list length
code format

Signed-off-by: remzi <13716567376yh@gmail.com>
* add list support into length function

Signed-off-by: remzi <13716567376yh@gmail.com>
* add tests

Signed-off-by: remzi <13716567376yh@gmail.com>
* update doc

Signed-off-by: remzi <13716567376yh@gmail.com>

Support sort for decimal data type (#1487)

Fix generate_non_canonical_map_case, fix `MapArray` equality  (#1476)

* Revamp list_equal for map type

* Canonicalize schema

* Add nullability and metadata

Fix reading/writing nested null arrays (#1480) (#1036) (#1399) (#1481)

Split ArrayReaderBuilder into its own module (#1483) (#1485)

* Split ArrayReaderBuilder into its own module (#1483)

* Add license header

Support the `length` kernel on Binary Array (#1465)

* support length on binary array (not test)
rewrite unary_offset using macro

Signed-off-by: remzi <13716567376yh@gmail.com>
* add tests

Signed-off-by: remzi <13716567376yh@gmail.com>
* add non-utf8 test cases

Signed-off-by: remzi <13716567376yh@gmail.com>
* fix some doc

Signed-off-by: remzi <13716567376yh@gmail.com>
* update doc
simplify the way to get offsets. No performance penalty

Signed-off-by: remzi <13716567376yh@gmail.com>

fix doc (#1471)

Signed-off-by: remzi <13716567376yh@gmail.com>

Fix doc (#1463)

Fix generate_map_case (#1457)

Improve performance of DictionaryArray::try_new()  (#1435)

* improve `DictionaryArray::try_new()` #1313

* *: fix typo

* *: add cheap validate and unit test

* *: polish the error

* Add safety note

Co-authored-by: Andrew Lamb <andrew@nerdnetworks.org>

Fix Parquet reader for null list (#1448)

* Fix Parquet reader for null list

* Test on forked parquet-testing

* For review comments

* Fix clippy

Remove Clone and copy source structs internally (#1449)

* Remove Clone and copy source structs internally

* Remove drop_in_place and add more comment

* Add export_into_raw

* Fix format

* Fix clippy

* Move to export_array_into_raw

* Fix clippy

* Fix doc

* Use write_unaligned

Prepare for 11.0.0 release (#1461)

* Update version to 11.0.0

* Update changelog

* update changelog

* fixup

* tweak

Fix generate_interval_case in integration test (#1446)

* Fix generate_interval_case

* Fix

rewrite doc (#1450)

Signed-off-by: remzi <13716567376yh@gmail.com>

enhancement: remove redundant if/clamp_min/abs (#1428)

Set `default-features = false` for `zstd` in the parquet crate to support `wasm32-unknown-unknown` (#1414)

* Update zstd version for wasm support

* Bump to 0.11.1

`filter` kernel should work with FixedSizeListArrays (#1434)

* filter kernel should work with FixedSizeListArrays

* Fix clippy

* Fix clippy

filter kernel should work with UnionArray (#1412)

Rewrite doc example of ListArray and LargeListArray (#1447)

Fix generate_decimal128_case (#1440)

Fix integration doc (#1438)

Fix DeltaBitPack MiniBlock Bit Width Padding (#1418)

* Consistent DeltaBitPackEncoder bit width padding (#1416)

Ignore non-zero padded bit widths in DeltaBitPackDecoder (#1417)

* chore: review feedback

* Add test of DeltaBitPackDecoder padding

* Revert formatting

Add doc example for creating `FixedSizeListArray` (#1426)

Support nullable keys in DictionaryArray::try_new (#1430)

* Support nullable keys in DictionaryArray::try_new

* Set null count so it does not have to be recalculated

Fix possibly unaligned writes in MutableBuffer (#1421)

* Fix possibly unaligned writes in MutableBuffer

* Remove debug output and make from_trusted_len_iter follow the same pattern

* Add comment in extend_from_slice

Add value_unchecked() for FixedSizeBinaryArray (#1420)

Update zstd requirement from 0.10 to 0.11 (#1415)

Updates the requirements on [zstd](https://github.com/gyscos/zstd-rs) to permit the latest version.
- [Release notes](https://github.com/gyscos/zstd-rs/releases)
- [Commits](https://github.com/gyscos/zstd-rs/compare/v0.10.0...v0.11.0)

---
updated-dependencies:
- dependency-name: zstd
  dependency-type: direct:production
...

Signed-off-by: dependabot[bot] <support@github.com>
Co-authored-by: dependabot[bot] <49699333+dependabot[bot]@users.noreply.github.com>

Implement basic FlightSQL Server (#1386)

* init impl flight sql server mod

Change-Id: I108b2468b078470bb8b6f95c031035cc09227986

* update according to comments

Change-Id: Ibb381e105041b38e6402850a2338403f802568ec

* fix ci error

Change-Id: I9485e510f1a960b6e094e559c3679434f8474ec1

* format code

Change-Id: I7ef4ade3acc81ccf5df088c866d41b538cf6f4f2

* fix clippy issue

Change-Id: I35d108ef43f2c2245444cfd5ea82da00b4f694f9

* add more test

Change-Id: Ic159cea2c76b017e183d2946e2d24e6fd1f9b4c1

* improve error handling

Change-Id: I709c16613092fd42ccff827eed3e3ad3f28368e2

* delete unnecessary Sync

Change-Id: I03ed0f69ddb1203ecd75982815fa72eca4d81160

* add flight_sql_server example

Change-Id: Ia35d697aaac3c72feba9c3aaf380ee3930484c48

* get rid of type annotation in unpack

Change-Id: I6006702d424ac6595f58c66057df267c4fd24476

* fix comments

Change-Id: I740d3d4e5aabbb56219291381e6a6db6506eca28

* add feature flight-sql

Change-Id: I223cf76be10ff379fcc9000c730d99c9773c7c3d

* delete all-features flag as packed_simd_2 no supported

Change-Id: I50915b85b2f806bac5cd3207623e3f4e0e1974a1

* add feature flag for example

Change-Id: I562efcfa89a606b8061d2715ca1b6775e2a952a9

* fix do_put and do_action API

Change-Id: I80bef8c2b0a713a87c43487708ae721f5f8f9da9

* format code

Change-Id: Ie664a5fca965759dbba59ad9e34fc6e33150ddbf

* rename feature

Co-authored-by: Andrew Lamb <andrew@nerdnetworks.org>
* rename to flight-sql-experimental

Change-Id: I4de4fe3768b0316e69ba6798406310632933d25d

Co-authored-by: Andrew Lamb <andrew@nerdnetworks.org>

Remove duplicate bound check in the function shift (#1409)

Signed-off-by: remzi <13716567376yh@gmail.com>

Directly write to MutableBuffer in substring (#1423)

Implement projection for arrow file / streams (#1339)

* Implement projection for arrow file / streams

* Tests

* Fix

* Fix

* Add test

* Add test

* Add link

* Undo change to existing test

* Update arrow/src/ipc/reader.rs

Co-authored-by: Andrew Lamb <andrew@nerdnetworks.org>
* Use project

Co-authored-by: Andrew Lamb <andrew@nerdnetworks.org>

Add dictionary support for C data interface (#1407)

* initial commit

* add integration tests for python

* address comments

fix (#1406)

Signed-off-by: remzi <13716567376yh@gmail.com>

add unit test to check all none (#1405)

Improve integration testing docs (#1403)

Move csv Parser trait and its implementations to utils module (#1385)

* move Parser trait to utils

this allow the parser capabilities to be re-used for json module

* implement parse_formatted for date32

* remove redundant checks

* Update arrow/src/util/mod.rs

Co-authored-by: Andrew Lamb <andrew@nerdnetworks.org>
* make Parser trait pub(crate) only and not pub

Co-authored-by: Andrew Lamb <andrew@nerdnetworks.org>

Introduce `ReadOptions` with builder API, for parquet filter row groups that satisfy all filters, and enable filter row groups by range. (#1389)

* Filter row groups by comparing midpoint with offset range

* lint

* ReadOptions with builder API

* fix comments

* precise range doc

* tab to space

Add note in contributing guideline about types of contributions (#1396)

* Add note in contributing guideline about types of contributions

* prettier

fix: Fix grpc schema hack in flight integration test (#1402)

Prepare for the 10.0.0 release (#1395)

* Update version to 10.0.0

* Initial 10.0.0 CHANGELOG

* Cleanup CHANGELOG

* Update for last change

Add extract month and day in temporal.rs (#1388)

* Add extract month in temporal.rs

* fix clippy

* implement day

* add ut

* fix clippy

Clarify release instructions about when to merge CHANGELOG update (#1370)

feat: support maps in MutableArrayData (#1379)

Additionally, this allows the use fo `filter` on record batches and
arrays containing maps.

Add write method to Json Writer (#1383)

* Add write method

* Add docs

Speed up the function `min_max_string` (#1374)

* clean up the code

Signed-off-by: remzi <13716567376yh@gmail.com>
* bring back the optimization when null count is zero

Signed-off-by: remzi <13716567376yh@gmail.com>
* pretty the trait bound and update comment

Signed-off-by: remzi <13716567376yh@gmail.com>
* use value_unchecked to replace array.value
10% extra speed up

Signed-off-by: remzi <13716567376yh@gmail.com>
* update the performance data

Signed-off-by: remzi <13716567376yh@gmail.com>

Allow primitive array creation from iterators of PrimitiveTypes (as well as `Option`) (#1367)

* More idiomatic primitive array creation

* Use From instead for clippy

* Rename to NativeAdapter and add document

Improve performance if dictionary kernels, add benchmark and add `take_iter_unchecked` (#1372)

* Add benchmark and take_iter_unchecked.

* Add Safety section for clippy

* Update arrow/src/compute/kernels/comparison.rs

Co-authored-by: Andrew Lamb <andrew@nerdnetworks.org>
Co-authored-by: Andrew Lamb <andrew@nerdnetworks.org>

Support extract `week` in temporal.rs (#1376)

* Add extract week in temporal.rs

* add more test conditions

* add comments

Add Clone to IpcWriteOptions (#1382)

Refactor `RecordBatch::validate_new_batch` (#1361)

* refactor checking same row count

Signed-off-by: remzi <13716567376yh@gmail.com>
* refactor matching schema

Signed-off-by: remzi <13716567376yh@gmail.com>
* add more comments
simplify the iterator

Signed-off-by: remzi <13716567376yh@gmail.com>

refactor (#1346)

Implement DictionaryArray support in neq_dyn, lt_dyn, lt_eq_dyn, gt_dyn, gt_eq_dyn (#1326)

* Implement DictionaryArray support in neq_dyn, lt_dyn, lt_eq_dyn, gt_dyn, gt_eq_dyn

* Fix clippy

* Fix format

* Add test

* For review comment and suggestion

* Allow reasonable boolean comparisons

Co-authored-by: Andrew Lamb <andrew@nerdnetworks.org>

Update pyo3 requirement from 0.15 to 0.16 (#1369)

support as_decimal_array api (#1356)

Use DictionaryArray's iterator (#1330)

Update contributing guide (#1368)

* add build environment

Signed-off-by: remzi <13716567376yh@gmail.com>
* update the format

Signed-off-by: remzi <13716567376yh@gmail.com>

Update flatbuffers requirement from =2.1.0 to =2.1.1 (#1364)

Updates the requirements on [flatbuffers](https://github.com/google/flatbuffers) to permit the latest version.
- [Release notes](https://github.com/google/flatbuffers/releases)
- [Commits](https://github.com/google/flatbuffers/commits)

---
updated-dependencies:
- dependency-name: flatbuffers
  dependency-type: direct:production
...

Signed-off-by: dependabot[bot] <support@github.com>
Co-authored-by: dependabot[bot] <49699333+dependabot[bot]@users.noreply.github.com>

Update flatbuffers requirement from =2.0.0 to =2.1.0 (#1359)

Updates the requirements on [flatbuffers](https://github.com/google/flatbuffers) to permit the latest version.
- [Release notes](https://github.com/google/flatbuffers/releases)
- [Commits](https://github.com/google/flatbuffers/commits)

---
updated-dependencies:
- dependency-name: flatbuffers
  dependency-type: direct:production
...

Signed-off-by: dependabot[bot] <support@github.com>
Co-authored-by: dependabot[bot] <49699333+dependabot[bot]@users.noreply.github.com>

Fix clippy lints (#1363)

* fix some

Signed-off-by: remzi <13716567376yh@gmail.com>
* fix some warnings

Signed-off-by: remzi <13716567376yh@gmail.com>
* fix some warning

Signed-off-by: remzi <13716567376yh@gmail.com>
* fix all clippy lints

Signed-off-by: remzi <13716567376yh@gmail.com>

Remove delimiter from csv Writer (#1342)

Publicly export arrow::array::MapBuilder (#1355)

Make bounds configurable in csv ReaderBuilder (#1341)

Refactor `StructArray::from` (#1360)

* add async to default features

Signed-off-by: remzi <13716567376yh@gmail.com>
* rewrite

Signed-off-by: remzi <13716567376yh@gmail.com>
* update

Signed-off-by: remzi <13716567376yh@gmail.com>

Add with_datetime_format to csv WriterBuilder (#1347)

fix: add LargeUtf8 support in json writer (#1358)

Remove redundant has_ methods for optional column metadata fields (#1345)

Arrow Rust + Conbench Integration (#1289)

* Arrow Rust + Conbench Integration

* remove --src-dir

Refactor Bitmap::new (#1343)

### Which issue does this PR close?

Closes #1337.

### Rationale for this change

`bit_util` has provided some functions to calculate the ceiling and multiple, so we can use them in `Bitmap::new` to achieve a faster and cleaner code.

### What changes are included in this PR?

### Are there any user-facing changes?

None.

Don't use Arc::from_raw when importing ArrowArray and ArrowSchema (#1334)

Update versions and CHANGELOG for 9.1.0 release (#1325)

* Update version to 10.0.0

* Update changelog generator script

* Initial Changelog

* iter

* one more

* Set version to 9.1.0

* Make it more clear 1282 was not fixed

* touchups

* Update changelog

Co-authored-by: Wakahisa <nevilledips@gmail.com>

Update the document of function `MutableArrayData::extend` (#1336)

* update document

Signed-off-by: remzi <13716567376yh@gmail.com>
* correct the fmt

Signed-off-by: remzi <13716567376yh@gmail.com>

Clean up DictionaryArray construction in test (#1314)

Cleanup: remove some dead / test only code (#1331)

Expose page encoding `ColumnChunkMetadata` (#1322)

* init

* replaced test file

* init

* thrift conversion

* refactor

* tests

* clippy

Enable dead_code lint (#1324)

Expose column index and offset index (#1318)

# Which issue does this PR close?
Closes #1317.

Exposing the column index and offset index offsets and lengths so parquet engines could optimize their reads.

Enable more lints (#1315)

fix test bug and ensure that bloom filter metadata is serialized in `to_thrift` (#1320)

* fix test bug and cc metadata to_thrift

* fmt

Implement an iterator for DictionaryArray (#1296)

* Add DictionaryIter

* Try suggested approach.

* do check

* Add to boolean, string and binary arrays

Co-authored-by: Andrew Lamb <andrew@nerdnetworks.org>

Use new DecimalArray creation API in arrow crate (#1249)

* Use new API in ffi.rs

* Use new API in sort.rs

* Use new API in pretty.rs

* Use new API in array_binary.rs

* Use new API in equal_json.rs

* Use new API in take.rs

* Use new API in cast.rs

* Use new API in equal.rs

* clippy

Add `DictionaryArray::try_new()` to create dictionaries from pre existing arrays (#1300)

* Add DictionaryArray::try_new()

* Update arrow/src/array/array_dictionary.rs

Co-authored-by: Liang-Chi Hsieh <viirya@gmail.com>
Co-authored-by: Liang-Chi Hsieh <viirya@gmail.com>

Expose has bloom offset (#1309)

* expose hasBloomFilters

* added test

* var name

* rename

* updated test to support new test file

Co-authored-by: Andrew Lamb <andrew@nerdnetworks.org>

Enable clippy::type_complexity (#1310)

Update parquet-testing pin (#1311)

Vectorized DeltaBitPackDecoder (#1281) (#1284)

* Vectorized `DeltaBitPackDecoder` (#1281)

* Review feedback

Enable clippy::float_equality_without_abs lint (#1305)

Implement DictionaryArray support in eq_dyn (#1263)

* Implement DictionaryArray support in eq_dyn

* For review comment: make eq_dict as generic and rename to cmp_dict. Remove unsafeness.

* Other integer types

* Fix clippy error

* Fix format

* Fix clippy and format

* Add cmp_dict_utf8 and cmp_dict_binary to cover the utf8/binary value array cases

* Add binary test

* Add remaining types

* Add Float32 and Float64 and update a few comments.

Clean up DecimalArray creation in parquet crate (#1247)

Changes for 9.0.2  (#1291)

* Fix bitmask creation in chunked part of simd comparison (#1286)

* Update version to 9.0.1

* Update changelog

* Fix bitmask creation also for simd comparisons with scalar (#1290)

* Update versions and changelog for 9.0.2

Co-authored-by: Jörn Horstmann <git@jhorstmann.net>