Check if column implements DataAPI.refarray for dict encoding (#12)
authorJacob Quinn <quinn.jacobd@gmail.com>
Wed, 2 Sep 2020 18:26:16 +0000 (12:26 -0600)
committerJacob Quinn <quinn.jacobd@gmail.com>
Sat, 3 Oct 2020 08:06:24 +0000 (02:06 -0600)
commit422c7a7f2ae83e3bbb1f43a891983dbed24a9728
tree5a7166b4bbf62d384f2ba27a60744b3fc92dcb4e
parent7f8c4e0385954a84adbf8450a95f40c03e2f858f
Check if column implements DataAPI.refarray for dict encoding (#12)

* Check if column implements DataAPI.refarray for dict encoding

Fixes #2. The `DataAPI.refarray` and `DataAPI.refpool` are meant to
allow custom array types to signal that they internally store integer
ref indices along with a value pool. This is a great integration with
the arrow format, which has a specific "dict encoded" format that
follows this same format (integer indices w/ value pool). So here we
leverage that by checking if an incoming column implements the interface
and, if so, signal that it should be dict encoded in the arrow format.

* Remove @show and add PooledArrays as test dep

* fix tests

* Fix tests
Project.toml
src/Arrow.jl
src/utils.jl
src/write.jl
test/runtests.jl