incubator-mxnet.git
2 days agoadd cpp example inception to nightly test (#13534) master
Lai Wei [Sat, 8 Dec 2018 03:57:54 +0000 (19:57 -0800)] 
add cpp example inception to nightly test (#13534)

* add inception test

* fix max iter for mlp

* rename and add comment

* rename epoch num

2 days agoFix exception handling api doc (#13519)
Anirudh Subramanian [Sat, 8 Dec 2018 03:46:57 +0000 (19:46 -0800)] 
Fix exception handling api doc (#13519)

* Fix exception handling api doc

* Update waitall api doc

Co-Authored-By: anirudh2290 <anirudh2290@apache.org>
2 days agofix link for gluon model zoo (#13583)
Steffen Rochel [Sat, 8 Dec 2018 03:41:06 +0000 (19:41 -0800)] 
fix link for gluon model zoo (#13583)

2 days agoONNX import/export: Size (#13112)
Vandana Kannan [Sat, 8 Dec 2018 03:39:47 +0000 (19:39 -0800)] 
ONNX import/export: Size (#13112)

2 days agoUpdate MXNetTutorialTemplate.ipynb (#13568)
Chaitanya Prakash Bapat [Sat, 8 Dec 2018 03:16:52 +0000 (19:16 -0800)] 
Update MXNetTutorialTemplate.ipynb (#13568)

Fix typos

2 days agofix the situation where idx didn't align with rec (#13550)
Jake Lee [Sat, 8 Dec 2018 01:06:05 +0000 (17:06 -0800)] 
fix the situation where idx didn't align with rec (#13550)

minor fix the image.py

add last_batch_handle for imagedeiter

remove the label type

refactor the imageiter unit test

fix the trailing whitespace

fix coding style

add new line

move helper function to the top of the file

2 days agoFix use-before-assignment in convert_dot (#13511)
Zhipeng Jia [Sat, 8 Dec 2018 00:42:35 +0000 (18:42 -0600)] 
Fix use-before-assignment in convert_dot (#13511)

2 days agoLicense update (#13565)
Steffen Rochel [Fri, 7 Dec 2018 16:53:04 +0000 (08:53 -0800)] 
License update  (#13565)

* Update LICENSE

* update license for Clojure, R, ONNX-TRT and location of 3rd party
dependencies.

* fixed typo

2 days agoUpdate version to v1.5.0 including clojure package (#13566)
Steffen Rochel [Fri, 7 Dec 2018 13:59:35 +0000 (05:59 -0800)] 
Update version to v1.5.0 including clojure package (#13566)

* Update DESCRIPTION

* update version to v1.5.0 except for clojure

* update version from 1.4.0 to 1.5.0
- add utility script to help bump versions in future
- fix README to correct to current maven versions

2 days agoFix flaky test test_random:test_randint_generator (#13498)
Chaitanya Prakash Bapat [Fri, 7 Dec 2018 07:49:16 +0000 (23:49 -0800)] 
Fix flaky test test_random:test_randint_generator (#13498)

* updated seed, alpha value, comments

* typo in comment fix

* added nrepeat

* removed unusued variable, added link for scipy alpha, rephrased the sentence for discrete distribution buckets

* removed fixed seed, alpha

3 days agoAdd workspace cleaning after job finished (#13490)
Marco de Abreu [Fri, 7 Dec 2018 01:51:01 +0000 (01:51 +0000)] 
Add workspace cleaning after job finished (#13490)

* Add workspace cleaning after job finished

* Update Jenkinsfile_utils.groovy

* Update Jenkinsfile_utils.groovy

3 days agoAdding test for softmaxoutput (#13116)
Roshani Nagmote [Fri, 7 Dec 2018 00:37:28 +0000 (16:37 -0800)] 
Adding test for softmaxoutput (#13116)

3 days ago #13441 [Clojure] Add Spec Validations for the Random namespace (#13523)
Nicolas Modrzyk [Thu, 6 Dec 2018 17:06:16 +0000 (02:06 +0900)] 
 #13441 [Clojure] Add Spec Validations for the Random namespace (#13523)

3 days agoRevert "Bumped minor version from 1.4.0 to 1.5.0 on master, updated License file...
Tao Lv [Thu, 6 Dec 2018 09:44:06 +0000 (17:44 +0800)] 
Revert "Bumped minor version from 1.4.0 to 1.5.0 on master, updated License file" (#13558)

* Revert "Chi_square_check for discrete distribution fix (#13543)"

This reverts commit cf6e8cbd035bf315b3e8280416468a629c780d03.

* Revert "Updated docs for randint operator (#13541)"

This reverts commit e0ff3c36ee171386fef01fb86c54c343e4b04c14.

* Revert "Simplifications and some fun stuff for the MNIST Gluon tutorial (#13094)"

This reverts commit 8bbac827742c21607a863137792f03bd09847419.

* Revert "Fix #13521 (#13537)"

This reverts commit f6b4665995f8f8ff32862a029b2074475d8467eb.

* Revert "Add a retry to qemu_provision (#13551)"

This reverts commit f6f840110d74111f98c20eab5b08d64a46ebf0cd.

* Revert "[MXNET-769] Use MXNET_HOME in a tempdir in windows to prevent access denied due t… (#13531)"

This reverts commit bd8e0f8356676749ecae16ec38a366b4cc00bf15.

* Revert "[MXNET-1249] Fix Object Detector Performance with GPU (#13522)"

This reverts commit 1c8972c3c8f832519364916865541f48597581c7.

* Revert "Fixing a 404 in the ubuntu setup doc (#13542)"

This reverts commit cb0db290adcfd0fce956d02c234f81d453e41013.

* Revert "Bumped minor version from 1.4.0 to 1.5.0 on master, updated License file (#13478)"

This reverts commit 40db61908000ee86d21aac847ff2225807d6c168.

3 days agoChi_square_check for discrete distribution fix (#13543)
Chaitanya Prakash Bapat [Thu, 6 Dec 2018 07:20:08 +0000 (23:20 -0800)] 
Chi_square_check for discrete distribution fix (#13543)

* check for bucket instead of index

* enumerate instead of range(len())

* count instead of sum to solve attribute error

* revert to sum

* seperate discrete and continuous

* Trigger CI

3 days agoUpdated docs for randint operator (#13541)
Chaitanya Prakash Bapat [Thu, 6 Dec 2018 05:58:19 +0000 (21:58 -0800)] 
Updated docs for randint operator (#13541)

* updated docs for randint

* added randint in __all__ and reordered acc to categorical then alphabetical

* Trigger CI

* minus mxnet.symbol and alphabetical for ndarray,symbol.md

* alphabetical order

4 days agoSimplifications and some fun stuff for the MNIST Gluon tutorial (#13094)
Holger Kohr [Thu, 6 Dec 2018 00:38:46 +0000 (01:38 +0100)] 
Simplifications and some fun stuff for the MNIST Gluon tutorial (#13094)

* Simplify mnist Gluon tutorial and add mislabelled sample plotting

* Add mnist Gluon tutorial images

* Gluon MNIST tutorial: Use modern Gluon constructs, fix some wordings

* [Gluon] Move to data loaders and improve wording in MNIST tutorial

* Fix broken links

* Fix spelling of mislabeled

* Final rewordings and code simplifications

* Fix things according to review

- Apply hybrid blocks
- Move outputs outside of code blocks and mark for notebooks
  to ignore
- Remove images, use external link
- Fix a few formulations

* Change activations to sigmoid in MNIST tutorial

* Remove superfluous last layer activations in MNIST tutorial

4 days agoFix #13521 (#13537)
Joshua Z. Zhang [Wed, 5 Dec 2018 21:39:17 +0000 (13:39 -0800)] 
Fix #13521 (#13537)

* fix pool release

* fix

4 days agoAdd a retry to qemu_provision (#13551)
Pedro Larroy [Wed, 5 Dec 2018 20:42:24 +0000 (21:42 +0100)] 
Add a retry to qemu_provision (#13551)

Fixes #13504

4 days ago[MXNET-769] Use MXNET_HOME in a tempdir in windows to prevent access denied due t...
Pedro Larroy [Wed, 5 Dec 2018 18:49:39 +0000 (19:49 +0100)] 
[MXNET-769] Use MXNET_HOME in a tempdir in windows to prevent access denied due t… (#13531)

* Use MXNET_HOME in cwd in windows to prevent access denied due to concurrent data downloads

Fixes #13484

* Revert "Disabled flaky test test_gluon_data.test_recordimage_dataset_with_data_loader_multiworker (#13527)"

This reverts commit 3d499cb3584919b767142c5596211a7f7fb18d50.

4 days ago[MXNET-1249] Fix Object Detector Performance with GPU (#13522)
Lanking [Wed, 5 Dec 2018 18:35:50 +0000 (10:35 -0800)] 
[MXNET-1249] Fix Object Detector Performance with GPU (#13522)

* Reduce post processing time

* fix ssd

* fix the CI

* add comments

4 days agoFixing a 404 in the ubuntu setup doc (#13542)
Andrew Ayres [Wed, 5 Dec 2018 18:35:27 +0000 (10:35 -0800)] 
Fixing a 404 in the ubuntu setup doc (#13542)

4 days agoBumped minor version from 1.4.0 to 1.5.0 on master, updated License file (#13478)
Steffen Rochel [Wed, 5 Dec 2018 18:11:25 +0000 (10:11 -0800)] 
Bumped minor version from 1.4.0 to 1.5.0 on master, updated License file (#13478)

* updated to v1.5.0

* Bumped minor version from 1.4.0 to 1.5.0 on master

* added Anirudh as maintainer for R package

... adding something useful and re-trigger PR check

* Updated license file for clojure, onnx-tensorrt, gtest, R-package

* Get the correct include path in pip package (#13452)

* add find_include_path API

* address reviewer comment

* change return type from list to string

* add unit test

* address reviewer comment

* address reviewer comment

* address reviewer comment

* address reviewer comment

* fix include path problem in pip package

* add comment

* fix lint error

* address reviewer comment

* address reviewer comment

* Use ~/.ccache as default ccache directory so is not cache is not erased on reboot (#13431)

* Skip flaky test https://github.com/apache/incubator-mxnet/issues/13446 (#13480)

* Rewrite dataloader with process pool, improves responsiveness and reliability (#13447)

* fix recordio.py

* rewrite dataloader with pool

* fix batch as tuple

* fix prefetching

* fix pylint

* picklable function

* use pickle

* add missing commit

* Fix errors in docstrings for subgraph op; use code directive (#13463)

* [MXNET-1158] JVM Memory Management Documentation (#13105)

* update train_mnist

* Add documentation for JVM Memory Management

* update doc

* address nit picks

* address nit picks

* Grammar and clarity edits for memory management doc

* Edits for scala memory management

* Update memory-management.md

* Update memory-management.md

* Update memory-management.md

* capitalization fix

* Update row_sparse tutorial (#13414)

Update row_sparse tutorial

* Add resiliency to onnx export code (#13426)

* Added resiliency to onnx export code

- With previous infer-shape implementation, if input shape was list instead of tuple or if extra non-existent parameters were provided, the code would still work. The fixes in this commit make sure that behavior is restored to prevent any compatibility issues with existing export code.

* Fixed name of net in unittest

* Fix pylint

* [MXNET-1185] Support large array in several operators (part 1) (#13418)

* fix a few operators with large arrays (# of elements)

* fix bug in broadcast_div and add tests

* address reviewer comment

* add unit test

* add empty line

* retrigger CI

* [MXNET-1210 ] Gluon Audio - Example (#13325)

* Initialized the example

* Addressed PR comments, about existing synset.txt file - no overwrite

* RST - docstring issues fixed

* added README

* Addressed PR comments

* Addressed PR comments, checking Divide by 0

* Raising error if format is not supported.

* changed a line for ndarray of labels

* Trigger CI

* Trigger CI

* PR comments addressed around skip_header argument

* Addressed PR comments around librosa import

* PR Comments

* Passing lazy=lazy from argument

* Added PR comments, labels to README.MD

* Trigger CI

* Addressing PR Comments in README

* Modified README.md

* Added example under audio folder

* Retrigger CI

* Retrigger CI

* ONNX export: Instance normalization, Shape (#12920)

* ONNX import/export: Make backend_rep common

* ONNX export: Instance Normalization

* ONNX export: Shape operator

* Clarify dependency on OpenCV in CNN Visualization tutorial. (#13495)

* clarify ops faq regarding docs strings (#13492)

* Add graph_compact operator. (#13436)

* add graph_compact.

* fix.

* add doc.

* add tests for graph_compact.

* address comments.

* update docs.

* trigger CI

* Deprecate Jenkinsfile (#13474)

* update github location for sampled_block.py (#13508)

Updated to https://github.com/dmlc/gluon-nlp/blob/master/src/gluonnlp/model/sampled_block.py

* #13453 [Clojure] - Add Spec Validations to the Optimizer namespace (#13499)

* ONNX export: Logical operators (#12852)

* Fix cmake options parsing in dev_menu (#13458)

Add GPU+MKLDNN unittests to dev_menu

* Revert "Manually track num_max_thread (#12380)" (#13501)

This reverts commit 75410210e07a5fab5e044348aee276d578d5857e.

* Feature/mkldnn static 2 (#13503)

* build mkldnn as static lib

* update makefile to statically build mkldnn

* build static mkldnn

* fix static name

* fix static name

* update static for mac

* rename mkldnn dep in ci

* remove moving mkldnn dynamic lib

* remove commented code

* remove mkldnn dnaymic for unitest

* force static for mkldnn lib

* remove dynamic mkldnn bind

* only link windows

* add mkldnn.mk

* try force linking

* remove mkldnn dynanmic check

* remove test mkldnn install

* fix spacing

* fix index

* add artifacts

* add comment about windows

* remove static

* update makefile

* fix toctree Sphinx errors (#13489)

* fix toctree errors

* nudging file for CI

* Disabled flaky test test_gluon_data.test_recordimage_dataset_with_data_loader_multiworker (#13527)

* [MXNET-1234] Fix shape inference problems in Activation backward (#13409)

* Provide a failing test for ReLU activation shape inference bug

* Fix Activation backward shape inference

fixes: #13333

* Add softsign Activation to test_gluon.py

* Use activation in GPU if we are using CUDNN and not MKLDNN as it's happening right now

* Don't disable MKLDNN

4 days ago[MXNET-1110] Add header files required by horovod (#13062)
Lin Yuan [Wed, 5 Dec 2018 17:38:25 +0000 (09:38 -0800)] 
[MXNET-1110] Add header files required by horovod (#13062)

* Add header files required by horovod

* Add symbolic link and cherry picked required header

* add python API to return include path

* update link

* fix windows CI

* fix windows build

* fix dlpack link

* merge with master

* exclude 3rd party header files from license check

* exclude license check

* exclude include directory

* remove commented lines

5 days ago[MXAPPS-1020] Clean up some Sphinx warnings. (#13539)
Vishaal Kapoor [Wed, 5 Dec 2018 02:35:04 +0000 (18:35 -0800)] 
[MXAPPS-1020] Clean up some Sphinx warnings. (#13539)

5 days agodoc fix (#13465)
Anirudh [Wed, 5 Dec 2018 02:00:58 +0000 (18:00 -0800)] 
doc fix (#13465)

5 days agoRevert "Feature/mkldnn static 2 (#13503)" (#13540)
Alexander Zai [Wed, 5 Dec 2018 00:26:11 +0000 (16:26 -0800)] 
Revert "Feature/mkldnn static 2 (#13503)" (#13540)

This reverts commit 65edc9500b10a3404945d6d79acbae54a2833890.

5 days agoUpdate java setup docs for 1.4.0 (#13536)
Andrew Ayres [Wed, 5 Dec 2018 00:01:26 +0000 (16:01 -0800)] 
Update java setup docs for 1.4.0 (#13536)

* Update java setup docs for 1.4.0

* Update Java-demo to 1.4.0

5 days agoAdadelta optimizer test (#13443)
Anirudh [Tue, 4 Dec 2018 19:37:50 +0000 (11:37 -0800)] 
Adadelta optimizer test (#13443)

* adadelta test

* comments

5 days ago[MXNET-1235] Add a test for AdaMax optimizer (#13467)
Denisa Roberts [Tue, 4 Dec 2018 19:18:29 +0000 (14:18 -0500)] 
[MXNET-1235] Add a test for AdaMax optimizer (#13467)

* Add a test for AdaMax optimizer

* Modify nested for loop with itertools.product and left tolerance to default

* Trigger

5 days agoDocs & website sphinx errors squished 🌦 (#13488)
Aaron Markham [Tue, 4 Dec 2018 19:16:09 +0000 (11:16 -0800)] 
Docs & website sphinx errors squished 🌦  (#13488)

* fix scala ndarray docs; remove interpreter style

* fix docs error in kvstore

* remove interpreter format in examples

* remove python indicator for these non-functioning python code blocks; clears a sphinx error

* remove old table that was not being used and was triggering a sphinx error

* get rid of curly braces that was causing a pygments error

* fix ambiguous reference causing sphinx error

* nudging file for CI

5 days ago[MXNET-1234] Fix shape inference problems in Activation backward (#13409)
Pedro Larroy [Tue, 4 Dec 2018 17:48:39 +0000 (18:48 +0100)] 
[MXNET-1234] Fix shape inference problems in Activation backward (#13409)

* Provide a failing test for ReLU activation shape inference bug

* Fix Activation backward shape inference

fixes: #13333

* Add softsign Activation to test_gluon.py

* Use activation in GPU if we are using CUDNN and not MKLDNN as it's happening right now

* Don't disable MKLDNN

5 days agoDisabled flaky test test_gluon_data.test_recordimage_dataset_with_data_loader_multiwo...
Jose Luis Contreras [Tue, 4 Dec 2018 13:12:36 +0000 (14:12 +0100)] 
Disabled flaky test test_gluon_data.test_recordimage_dataset_with_data_loader_multiworker (#13527)

6 days agofix toctree Sphinx errors (#13489)
Aaron Markham [Tue, 4 Dec 2018 01:27:41 +0000 (17:27 -0800)] 
fix toctree Sphinx errors (#13489)

* fix toctree errors

* nudging file for CI

6 days agoFeature/mkldnn static 2 (#13503)
Alexander Zai [Mon, 3 Dec 2018 23:19:40 +0000 (15:19 -0800)] 
Feature/mkldnn static 2 (#13503)

* build mkldnn as static lib

* update makefile to statically build mkldnn

* build static mkldnn

* fix static name

* fix static name

* update static for mac

* rename mkldnn dep in ci

* remove moving mkldnn dynamic lib

* remove commented code

* remove mkldnn dnaymic for unitest

* force static for mkldnn lib

* remove dynamic mkldnn bind

* only link windows

* add mkldnn.mk

* try force linking

* remove mkldnn dynanmic check

* remove test mkldnn install

* fix spacing

* fix index

* add artifacts

* add comment about windows

* remove static

* update makefile

6 days agoRevert "Manually track num_max_thread (#12380)" (#13501)
Anirudh Subramanian [Mon, 3 Dec 2018 21:50:12 +0000 (13:50 -0800)] 
Revert "Manually track num_max_thread (#12380)" (#13501)

This reverts commit 75410210e07a5fab5e044348aee276d578d5857e.

6 days agoFix cmake options parsing in dev_menu (#13458)
Pedro Larroy [Mon, 3 Dec 2018 14:17:09 +0000 (15:17 +0100)] 
Fix cmake options parsing in dev_menu (#13458)

Add GPU+MKLDNN unittests to dev_menu

7 days agoONNX export: Logical operators (#12852)
Vandana Kannan [Mon, 3 Dec 2018 04:30:35 +0000 (20:30 -0800)] 
ONNX export: Logical operators (#12852)

7 days ago#13453 [Clojure] - Add Spec Validations to the Optimizer namespace (#13499)
Nicolas Modrzyk [Sun, 2 Dec 2018 14:34:36 +0000 (23:34 +0900)] 
#13453 [Clojure] - Add Spec Validations to the Optimizer namespace (#13499)

8 days agoupdate github location for sampled_block.py (#13508)
Steffen Rochel [Sun, 2 Dec 2018 04:26:45 +0000 (20:26 -0800)] 
update github location for sampled_block.py (#13508)

Updated to https://github.com/dmlc/gluon-nlp/blob/master/src/gluonnlp/model/sampled_block.py

8 days agoDeprecate Jenkinsfile (#13474)
Marco de Abreu [Sat, 1 Dec 2018 20:57:33 +0000 (21:57 +0100)] 
Deprecate Jenkinsfile (#13474)

8 days agoAdd graph_compact operator. (#13436)
Da Zheng [Sat, 1 Dec 2018 07:46:50 +0000 (23:46 -0800)] 
Add graph_compact operator. (#13436)

* add graph_compact.

* fix.

* add doc.

* add tests for graph_compact.

* address comments.

* update docs.

* trigger CI

8 days agoclarify ops faq regarding docs strings (#13492)
Aaron Markham [Sat, 1 Dec 2018 07:38:20 +0000 (23:38 -0800)] 
clarify ops faq regarding docs strings (#13492)

8 days agoClarify dependency on OpenCV in CNN Visualization tutorial. (#13495)
Vishaal Kapoor [Sat, 1 Dec 2018 07:35:42 +0000 (23:35 -0800)] 
Clarify dependency on OpenCV in CNN Visualization tutorial. (#13495)

8 days agoONNX export: Instance normalization, Shape (#12920)
Vandana Kannan [Sat, 1 Dec 2018 07:05:51 +0000 (23:05 -0800)] 
ONNX export: Instance normalization, Shape (#12920)

* ONNX import/export: Make backend_rep common

* ONNX export: Instance Normalization

* ONNX export: Shape operator

8 days ago[MXNET-1210 ] Gluon Audio - Example (#13325)
Gaurav Gireesh [Sat, 1 Dec 2018 06:53:46 +0000 (22:53 -0800)] 
[MXNET-1210 ] Gluon Audio - Example (#13325)

* Initialized the example

* Addressed PR comments, about existing synset.txt file - no overwrite

* RST - docstring issues fixed

* added README

* Addressed PR comments

* Addressed PR comments, checking Divide by 0

* Raising error if format is not supported.

* changed a line for ndarray of labels

* Trigger CI

* Trigger CI

* PR comments addressed around skip_header argument

* Addressed PR comments around librosa import

* PR Comments

* Passing lazy=lazy from argument

* Added PR comments, labels to README.MD

* Trigger CI

* Addressing PR Comments in README

* Modified README.md

* Added example under audio folder

* Retrigger CI

* Retrigger CI

8 days ago[MXNET-1185] Support large array in several operators (part 1) (#13418)
Lin Yuan [Sat, 1 Dec 2018 05:48:20 +0000 (21:48 -0800)] 
[MXNET-1185] Support large array in several operators (part 1) (#13418)

* fix a few operators with large arrays (# of elements)

* fix bug in broadcast_div and add tests

* address reviewer comment

* add unit test

* add empty line

* retrigger CI

9 days agoAdd resiliency to onnx export code (#13426)
Sina Afrooze [Fri, 30 Nov 2018 21:33:16 +0000 (13:33 -0800)] 
Add resiliency to onnx export code (#13426)

* Added resiliency to onnx export code

- With previous infer-shape implementation, if input shape was list instead of tuple or if extra non-existent parameters were provided, the code would still work. The fixes in this commit make sure that behavior is restored to prevent any compatibility issues with existing export code.

* Fixed name of net in unittest

* Fix pylint

9 days agoUpdate row_sparse tutorial (#13414)
Haibin Lin [Fri, 30 Nov 2018 19:58:16 +0000 (11:58 -0800)] 
Update row_sparse tutorial (#13414)

Update row_sparse tutorial

9 days ago[MXNET-1158] JVM Memory Management Documentation (#13105)
Naveen Swamy [Fri, 30 Nov 2018 18:54:12 +0000 (10:54 -0800)] 
[MXNET-1158] JVM Memory Management Documentation (#13105)

* update train_mnist

* Add documentation for JVM Memory Management

* update doc

* address nit picks

* address nit picks

* Grammar and clarity edits for memory management doc

* Edits for scala memory management

* Update memory-management.md

* Update memory-management.md

* Update memory-management.md

* capitalization fix

9 days agoFix errors in docstrings for subgraph op; use code directive (#13463)
Aaron Markham [Fri, 30 Nov 2018 18:41:07 +0000 (10:41 -0800)] 
Fix errors in docstrings for subgraph op; use code directive (#13463)

9 days agoRewrite dataloader with process pool, improves responsiveness and reliability (#13447)
Joshua Z. Zhang [Fri, 30 Nov 2018 18:09:47 +0000 (10:09 -0800)] 
Rewrite dataloader with process pool, improves responsiveness and reliability (#13447)

* fix recordio.py

* rewrite dataloader with pool

* fix batch as tuple

* fix prefetching

* fix pylint

* picklable function

* use pickle

* add missing commit

9 days agoSkip flaky test https://github.com/apache/incubator-mxnet/issues/13446 (#13480)
Chaitanya Prakash Bapat [Fri, 30 Nov 2018 17:47:53 +0000 (09:47 -0800)] 
Skip flaky test https://github.com/apache/incubator-mxnet/issues/13446 (#13480)

9 days agoUse ~/.ccache as default ccache directory so is not cache is not erased on reboot...
Pedro Larroy [Fri, 30 Nov 2018 14:50:33 +0000 (15:50 +0100)] 
Use ~/.ccache as default ccache directory so is not cache is not erased on reboot (#13431)

10 days agoGet the correct include path in pip package (#13452)
Lin Yuan [Fri, 30 Nov 2018 03:23:52 +0000 (19:23 -0800)] 
Get the correct include path in pip package (#13452)

* add find_include_path API

* address reviewer comment

* change return type from list to string

* add unit test

* address reviewer comment

* address reviewer comment

* address reviewer comment

* address reviewer comment

* fix include path problem in pip package

* add comment

* fix lint error

* address reviewer comment

* address reviewer comment

10 days agofix quantize_graph pass error when there're multiple outputs from a single node ...
ciyong [Fri, 30 Nov 2018 02:58:08 +0000 (10:58 +0800)] 
fix quantize_graph pass error when there're multiple outputs from a single node (#13000)

* fix quantize_graph pass error when there're multiple outputs from
a single node that need to insert 'contrib_quantize', 'min' and
'max' nodes for these outputs.

* fix lint

* Make the single output align with multiple outputs when inserting contrib_quantize

* Change op comparing from its name to itself

* skip unsupported quantize_concat

* retrigger ci

10 days agoAdd DGL subgraph sampling op (#13392)
Chao Ma [Fri, 30 Nov 2018 02:02:09 +0000 (10:02 +0800)] 
Add DGL subgraph sampling op (#13392)

* add csr sample op

* fix compile error in some platform

* update

* update openmp

* speedup sampling

* update csr

* update csr

* update time seed

* update

* fix compiler error

* update doc

* fix ci error

10 days agoFix deconvolution / PR 13421 (#13433)
Alexander Zai [Fri, 30 Nov 2018 01:24:18 +0000 (17:24 -0800)] 
Fix deconvolution  / PR 13421 (#13433)

* add test case

* revert refactor

* use with seed decorator

* retrigger

* remove seed

* remove iteration

* remove old test

* update deconvolution test to have filter length that triggers mkldnn reorder

10 days ago[MXNET-1222] Scala Inference enable different shapes input (#13330)
Lanking [Fri, 30 Nov 2018 00:16:45 +0000 (16:16 -0800)] 
[MXNET-1222] Scala Inference enable different shapes input (#13330)

* init commit with Predictor Improvement

* add predictor Example

* change into dArr

* add img config

* add new line and fix code style

important bug fixes

10 days agofix property not updating bug (#13085)
Joshua Z. Zhang [Thu, 29 Nov 2018 21:21:09 +0000 (13:21 -0800)] 
fix property not updating bug (#13085)

10 days agoparallelize NDArray::Copy<cpu, cpu> when data size is large (#12926)
XiaotaoChen [Thu, 29 Nov 2018 21:12:40 +0000 (05:12 +0800)] 
parallelize NDArray::Copy<cpu, cpu> when data size is large (#12926)

* parallelize NDArray::Copy<cpu, cpu> by OpenMP when data size > MXNET_CPU_PARALLEL_COPY_SIZE

* code specification according to reviewer's suggestions

* align with std::memcpy api

* add descriptive error message

* update MXNET_CPU_PARALLEL_COPY_SIZE doc

* update MXNET_CPU_PARALLEL_COPY_SIZE doc again

10 days agoMitigate #13341 (#13343)
Pedro Larroy [Thu, 29 Nov 2018 13:59:35 +0000 (14:59 +0100)] 
Mitigate #13341 (#13343)

- KL never succeeds so it always goes exponential
- Too many weight matrices were rejected because of zero weights, simplify generation to not include 0 weight edges

10 days agoUpdate MKL-DNN to fix LSTM perf regression (#13417)
PatricZhao [Thu, 29 Nov 2018 12:24:03 +0000 (20:24 +0800)] 
Update MKL-DNN to fix LSTM perf regression (#13417)

* update MKL-DNN CI id

* fix the reorder perf issue

* bumped version to v0.17.1

* bumped to MKL-DNN v0.17.1

* pin to v0.17.1

10 days agoexclude the error folder from sphinx toc (#13354)
Aaron Markham [Thu, 29 Nov 2018 06:10:10 +0000 (22:10 -0800)] 
exclude the error folder from sphinx toc (#13354)

* exclude the error folder from sphinx toc

* bumping commit for CI

10 days agoCorrect Inception Reference for Pertained Model (#13360)
Lou [Thu, 29 Nov 2018 06:08:42 +0000 (01:08 -0500)] 
Correct Inception Reference for Pertained Model (#13360)

I noticed that the symbols and parameters in the model zoo are infact from https://github.com/apache/incubator-mxnet/blob/master/example/image-classification/symbols/inception-bn.py, which is not inception v3. It is inception + batch normalization.

In this commit, I update the documentation and link to the correct research basis.

10 days ago[MXNET-886] ONNX export: HardSigmoid, Less, Greater, Equal (#12812)
Vandana Kannan [Thu, 29 Nov 2018 06:00:29 +0000 (22:00 -0800)] 
[MXNET-886] ONNX export: HardSigmoid, Less, Greater, Equal (#12812)

* ONNX export: Comparison operators

* ONNX export: Hard sigmoid

10 days agoremove redundant link (#13428)
Alexander Zai [Thu, 29 Nov 2018 05:56:38 +0000 (21:56 -0800)] 
remove redundant link (#13428)

* remove redundant link

* retrigger

* retrigger

11 days ago1.3.1 website updates (#13444)
Aaron Markham [Thu, 29 Nov 2018 01:46:10 +0000 (17:46 -0800)] 
1.3.1 website updates (#13444)

* 1.3.1 website updates

* Java added to install page (#13404)

* added java install option

* update maven blocks

* update maven button url to snapshot search for java

* add version; remove formatting on dependency

* merge clojure updates

* merge clojure updates - give code some breathing room

* merge clojure updates - give code even more breathing room

11 days agoJava added to install page (#13404)
Aaron Markham [Wed, 28 Nov 2018 20:08:05 +0000 (12:08 -0800)] 
Java added to install page (#13404)

* added java install option

* update maven blocks

* update maven button url to snapshot search for java

* add version; remove formatting on dependency

* merge clojure updates

* merge clojure updates - give code some breathing room

* merge clojure updates - give code even more breathing room

11 days agoadd subgraph adjacency operator. (#13396)
BullDemonKing [Wed, 28 Nov 2018 19:20:47 +0000 (03:20 +0800)] 
add subgraph adjacency operator. (#13396)

* add adjacency.

* fix lint.

* add GPU impl.

* retrigger

* address comments.

* Update dgl_graph.cc

11 days ago[MXNET-1110] find the path to include header files (#13359)
Lin Yuan [Wed, 28 Nov 2018 16:51:11 +0000 (08:51 -0800)] 
[MXNET-1110] find the path to include header files (#13359)

* add find_include_path API

* address reviewer comment

* change return type from list to string

* add unit test

* address reviewer comment

* address reviewer comment

* address reviewer comment

* address reviewer comment

11 days agoAdd ARMv7 builds to dev_menu.py (#13432)
Pedro Larroy [Wed, 28 Nov 2018 12:14:48 +0000 (13:14 +0100)] 
Add ARMv7 builds to dev_menu.py (#13432)

* Add ARMv7 builds to dev_menu.py

* Add Python3 CPU Intel MKLDNN unittests to dev_menu

11 days ago[MKLDNN]Add quantized concat (#13297)
Zhennan Qin [Wed, 28 Nov 2018 08:39:21 +0000 (16:39 +0800)] 
[MKLDNN]Add quantized concat (#13297)

* Add quantized concat

* Fix non-mkldnn build

* Add size check for MKLDNNQuantizedConcatForward

* use all capital for constant

* Rename constant with Google C++ style.

* Address apeforest comments

* Address apeforest comments

* fix lint

* Add frontend interface.

* Retrigger CI

12 days agoBe more explicit about the exit status of the container (#13425)
Pedro Larroy [Tue, 27 Nov 2018 23:07:16 +0000 (00:07 +0100)] 
Be more explicit about the exit status of the container (#13425)

12 days agoUpdated README and NEWS with 1.3.1 release information (#13423)
Anton Chernov [Tue, 27 Nov 2018 22:34:51 +0000 (23:34 +0100)] 
Updated README and NEWS with 1.3.1 release information (#13423)

12 days agoJava demo file-path fix (#13358)
Lanking [Tue, 27 Nov 2018 21:33:06 +0000 (13:33 -0800)] 
Java demo file-path fix (#13358)

* fix on ubuntu

* add readme instruction

* fix intellij Tutorials

* fix intelliJ tutorial

* fix the document

* update demo

* revert the change on intelliJ tutorial

* fix make process

* fix documentation

12 days ago[MXNET-1029] Feature request: randint operator (#12749)
Chaitanya Prakash Bapat [Tue, 27 Nov 2018 21:31:44 +0000 (13:31 -0800)] 
[MXNET-1029] Feature request: randint operator (#12749)

* randint operator add along with add optional tag to params

* register param

* lint space issue

* randn issue fix

* uniform_int_distribution doesn't support int8, uint8 fix

* dtype ftype

* ftype to dtype - invalid template arg

* fix template arg issue

* test with int dtype for windows

* removed int8,uint8 from test

* gpu implementation

* gpu engine state diff

* removed gpu support

* empty commit

* temporary fix : batchnorm flaky test skip

* removed randn symbol specific code since other PR is on it

* revert ndarray/randn for compatibility

* added unit test for checking extremes and uniform distribution for sufficient samples

* increased the high val

* int32 to int64 support, indentation fix, check for optype correctly based on type of random function

* gpu support, revert finfertype using template specialization, remove defaults, prints, test other low high val

* fix for invalid template arg by checking for int32,int64

* gpu randint in random_generator

* sample_uniform issue and param, removed old flaky test skip line

* replaced discrete_uniform function by rand_int64 for consistency

* formula update and removed itype

* change ctx to include gpu, randint samepl_op.cu typo

* trigger ci

* doc fix, check fix, whitespace remove

* added the without dtype testcase

12 days agoAdding Java to ubuntu setup install page and minor fixes to docs (#13420)
Andrew Ayres [Tue, 27 Nov 2018 21:26:23 +0000 (13:26 -0800)] 
Adding Java to ubuntu setup install page and minor fixes to docs (#13420)

* Adding Java to ubuntu setup install page and minor fixes to other java api docs

* Improving javadoc for java-api predictor class

Mostly documentation changes

12 days agoJava doc (#13368)
Zach Kimberg [Tue, 27 Nov 2018 21:10:23 +0000 (13:10 -0800)] 
Java doc (#13368)

* Fix scaladoc and javadoc errors

* Stop on errors starting on scala 1.3.x build

12 days ago[Example]Fix mlp_csv example (#13273)
Jake Lee [Tue, 27 Nov 2018 18:32:17 +0000 (10:32 -0800)] 
[Example]Fix mlp_csv example (#13273)

* add instruction to get the data and fix typo

* fix typo

* update file name

* trigger CI

* add unit_test for unit_test_mlp_csv

* add mlp_csv to jenkinsfile

* revert jenkinsfile to another PR

* trigger CI

* trigger CI

12 days ago[Example] fix cpp example inception-bn and training acc issue (#13284)
Lai Wei [Tue, 27 Nov 2018 17:48:25 +0000 (09:48 -0800)] 
[Example] fix cpp example inception-bn and training acc issue (#13284)

* fix inception-bn and training acc issue

* add parameter initialization, fix lint

* fix comparison

* change optimizer to sgd

* update sgd and update model name

* add inception_bn in jenkins build

* make max epoch an argument

* remove inception_bn test

* trigger ci

* remove ci test

* trigger ci

12 days agoMinor fixes to documentation (#13412)
Piyush Ghai [Tue, 27 Nov 2018 17:30:55 +0000 (09:30 -0800)] 
Minor fixes to documentation (#13412)

* Minor fixes to documentation

* Updated the Maven Repository URL to point to staging repo

12 days ago:memo: Fixes #13388 Adds Clojure to MXNet installation docs (#13393)
Anuj Kumar [Tue, 27 Nov 2018 17:06:11 +0000 (22:36 +0530)] 
:memo: Fixes #13388 Adds Clojure to MXNet installation docs (#13393)

12 days agoFix infoGan Gluon tutorial errors. (#13416)
Vishaal Kapoor [Tue, 27 Nov 2018 11:03:18 +0000 (03:03 -0800)] 
Fix infoGan Gluon tutorial errors. (#13416)

- Update notebook to avoid divide by 0 causing a warning.
- Add MXBoard dependency.

13 days agoAdded proper default value in cpp-package for optional<bool> (#13415)
Przemyslaw Tredak [Tue, 27 Nov 2018 03:23:58 +0000 (19:23 -0800)] 
Added proper default value in cpp-package for optional<bool> (#13415)

13 days agoUse dynamic omp schedule for sparse dot with large matrix (#13398)
Haibin Lin [Tue, 27 Nov 2018 02:42:11 +0000 (18:42 -0800)] 
Use dynamic omp schedule for sparse dot with large matrix (#13398)

* dynamic omp for dot

update heuristic

* add doc

* Update mxnet_op.h

* Update dot-inl.h

13 days agoFix repeated typo in mxnet_op.h (#13406)
Kellen Sunderland [Mon, 26 Nov 2018 18:26:04 +0000 (10:26 -0800)] 
Fix repeated typo in mxnet_op.h (#13406)

13 days agoFixing doc links and minor edits for Java API (#13405)
Andrew Ayres [Mon, 26 Nov 2018 17:14:56 +0000 (09:14 -0800)] 
Fixing doc links and minor edits for Java API (#13405)

Update the main website links

13 days agoChange docker login (#13408)
Marco de Abreu [Mon, 26 Nov 2018 16:06:54 +0000 (17:06 +0100)] 
Change docker login (#13408)

13 days agoOnnx multi output (#13390)
Sina Afrooze [Mon, 26 Nov 2018 08:00:08 +0000 (00:00 -0800)] 
Onnx multi output (#13390)

* Fix ONNX export to support multi-output graphs

* Add ONNX unit-test

* Added multi-output shape inference.

- Removed unnecessary forward_pass() call
- Modified infer_output_shape to return multiple shapes for multiple outputs as well as output names.

* Fixed pylint

13 days agoImproving multi-processing reliability for gluon DataLoader (#13318)
Yuting Zhang [Mon, 26 Nov 2018 05:41:19 +0000 (21:41 -0800)] 
Improving multi-processing reliability for gluon DataLoader (#13318)

* improving multi-processing reliability for gluon dataloader

I found some multi-processing-related issues in the Gluon  DataLoader.

 1) Each time a _MultiWorkerIter shuts down, it could leave some dangling processes. The shutdown mechanism could not guarantee that all worker processes can be terminated. As a result, after running for several epochs, more and more dangling processes will stay there.

  This problem barely happens during training. In this case, there is a decent time interval between the last-batch data prefetching and the _MultiWorkerIter's shutting down).
  But the problem frequently happens 1) when I stop the iter before the end of an epoch, and 2) when I use the DataLoader for a data loading service and load the data as fast as possible. In both cases, the time interval between the most recent data prefetching and the iter shutdown are short. I guess that the _MultiWorkerIter iter is unable to shut down properly during active data prefetching.

  To fix this, I explicitly terminate the worker processes inside the shutdown function.

  2) When loading data fast (still mostly during testing and data serving), there seems to be a risk of data racing. The data iter uses a _MultiWorkerIter to cache prefetched data, but the dict does not seem to be thread-safe for concurrent inserting and deleting elements. So occasionally, the data can be missing from the  dict.

  To prevent this, I use a scope lock to guard the dict access.

* do not wait for the workers to join, and kill any alive wokers as soon as possible

2 weeks agoUpdated recommenders example (#13041)
Thomas Delteil [Mon, 26 Nov 2018 04:57:14 +0000 (20:57 -0800)] 
Updated recommenders example (#13041)

* initial modification recommender

* Recommender updates

* fix notebooks

* Update README.md

* trigger build

* Update README.md

* Retrigger build

2 weeks agoCorrect shapes of images in cifar10 and cifar100 (#13348)
Masaki Samejima [Mon, 26 Nov 2018 04:14:29 +0000 (13:14 +0900)] 
Correct shapes of images in cifar10 and cifar100 (#13348)

* Correct shapes of images in cifar10 and cifar100

cifar10 and cifar100 have 3 channels

* Retrigger build

2 weeks agoReplace mxnetci dockcross with public dockcross due to missing image (#13402)
Marco de Abreu [Mon, 26 Nov 2018 01:37:00 +0000 (02:37 +0100)] 
Replace mxnetci dockcross with public dockcross due to missing image (#13402)

* Replace mxnetci dockcross with public dockcross due to missing image

* Remove source lists change

* Disable Jetson

* Move to mxnetcipinned

2 weeks agoInitial website documentation for Java API (#13289)
Andrew Ayres [Sun, 25 Nov 2018 18:11:36 +0000 (10:11 -0800)] 
Initial website documentation for Java API (#13289)

* Initial website documentation for Java API

* Changing paths to be relative

* Refactoring Java API website landing page

* Update Java web docs based on feedback

* Minor formatting fixes

* Update maven repo to nightly build so that java will be available prior to 1.4.0 release

* Adding java tutorial index to test_sanity_tutorials whitelist

* Fix link to javadocs

* Fix javadoc for infer package and minor install doc fix

* Minor path fix

2 weeks agoFix/env disable mkldnn cache map (#13324)
Alexander Zai [Sat, 24 Nov 2018 17:55:53 +0000 (09:55 -0800)] 
Fix/env disable mkldnn cache map (#13324)

* add flag to disable mkldnn cache

* update docs

* fix typos

* update var name

* fix ordering

* set cache size

* fix log message

* update docs

* fix lint

* fix lint

* fix comparison

* update method name

* fix missing

* fix logging

* remove random item when cache exceeded

* update helper name

* update hash namespace

* make ophash template

* udpate function params

* fix return

* fix return

* update return for helper

* chagne class to typename

* add typename

* fix lint

* update doc

* pass ptr to cache

* retrigger

* retrigger

* retrigger

* change env var name to MXNET_MKLDNN_CACHE_NUM

* fix log env name

* retrigger

2 weeks agoUpdated the paths for images for java tutorial (#13361)
Piyush Ghai [Sat, 24 Nov 2018 17:13:44 +0000 (09:13 -0800)] 
Updated the paths for images for java tutorial (#13361)

* Updated the paths for images

* Empty commit

* Empty commit

* Nudge to CI

2 weeks agoFixes #13386 - Refer Warnings (#13387)
Anuj Kumar [Sat, 24 Nov 2018 11:38:19 +0000 (17:08 +0530)] 
Fixes #13386 - Refer Warnings (#13387)

2 weeks agoA few operators on graphs stored as CSR (#13290)
Da Zheng [Sat, 24 Nov 2018 01:18:16 +0000 (09:18 +0800)] 
A few operators on graphs stored as CSR (#13290)

* edge_id op csr forward on CPU (#34)

* add node subgraph generator. (#35)

* create DGLSubgraph.

* fix.

* return old eids in node_subgraph.

* accelerate subgraph construction.

* Add neighborhood op (#37)

* add csr_neighborhood op

* update neighborhood sample

* Update csr_neighborhood_sample-inl.h

* Update csr_neighborhood_sample-inl.h

* Update csr_neighborhood_sample.cc

* add graph compact operator.

* fix a bug in dgl_subgraph.

* fix a bug in dgl_graph_compact.

* Update csr sample op (#39)

* add csr_neighborhood op

* update neighborhood sample

* Update csr_neighborhood_sample-inl.h

* Update csr_neighborhood_sample-inl.h

* Update csr_neighborhood_sample.cc

* Update csr_neighborhood_sample-inl.h

* Update csr_neighborhood_sample.cc

* Update csr_neighborhood_sample-inl.h

* remove space.

* move to dgl_graph to contrib.

* move code.

* move edge id.

* fix compilation error.

* add test for subgraph.

* cleanup.

* fix.

* fix.

* fix compile error.

* fix compile error.

* fix compile error.

* fix.

* add operator doc.

* remove graph_compact

* update doc.

* address comments.

* retrigger.

* address comments.

* retrigger

* fix a bug in test.

* retrigger

* add check_format

2 weeks agoAdd utility slave (#13383)
Marco de Abreu [Fri, 23 Nov 2018 21:25:36 +0000 (22:25 +0100)] 
Add utility slave (#13383)