euler如何支持hdfs about euler HOT 26 OPEN

指定hdfs 报错
no hdfs file io factory register
代码：
if (euler::common::factory_map.find("hdfs") ==
euler::common::factory_map.end()) {
LOG(ERROR) << "no hdfs file io factory register";
return false;
}

from euler.

如果需要支持hdfs数据加载，则需要修改项目根目录下的CMakeLists.txt，把option(USE_HDFS "Option for using hdfs" OFF)改为option(USE_HDFS "Option for using hdfs" ON)，详细过程请看编译安装部分

from euler.

如果需要支持hdfs数据加载，则需要修改项目根目录下的CMakeLists.txt，把option(USE_HDFS "Option for using hdfs" OFF)改为option(USE_HDFS "Option for using hdfs" ON)，详细过程请看编译安装部分

怎么用viewfs呢？开启这个option(USE_HDFS "Option for using hdfs" ON) 就可以了么

from euler.

目前我们只测试了hdfs://这种方式，不太清楚viewfs://会有什么问题。
至于打docker，
git clone --recursive https://github.com/alibaba/euler.git # 执行完这个命令之后修改一下根目录的CMakeLists.txt，设置option(USE_HDFS "Option for using hdfs" ON)，然后执行下面两句命令应该就好了，Dockerfile不用修改
cd euler
docker build --net=host -f tools/docker/Dockerfile .

from euler.

目前我们只测试了hdfs://这种方式，不太清楚viewfs://会有什么问题。
至于打docker，
git clone --recursive https://github.com/alibaba/euler.git # 执行完这个命令之后修改一下根目录的CMakeLists.txt，设置option(USE_HDFS "Option for using hdfs" ON)，然后执行下面两句命令应该就好了，Dockerfile不用修改
cd euler
docker build --net=host -f tools/docker/Dockerfile .

hdfs_prefix = 'hdfs://'
if not directory.startswith(hdfs_prefix):
raise ValueError('Only hdfs graph data is support for shared graph.')
directory = directory[len(hdfs_prefix):]
看代码是不支持viewfs://这种方式的，我们目前无法使用hdfs:// 因为用了federation，看下能不能支持下viewfs这种方式呢？

from euler.

from euler.

目前我们只测试了hdfs://这种方式，不太清楚viewfs://会有什么问题。
至于打docker，
git clone --recursive https://github.com/alibaba/euler.git # 执行完这个命令之后修改一下根目录的CMakeLists.txt，设置option(USE_HDFS "Option for using hdfs" ON)，然后执行下面两句命令应该就好了，Dockerfile不用修改
cd euler
docker build --net=host -f tools/docker/Dockerfile .

指定这个依然报no hdfs file io factory register
我把demo里面的ppi 上传到hdfs上面了，是数据不对么

from euler.

from euler.

如果编译没有问题，启动的时候会打印“hdfs file io factory register”这个日志

from euler.

如果只打印local file io factory register，说明编译没有把hdfs部分编译进去。我们在euler/filo_io_factory.cc中用宏做了选择编译：
"
#ifdef HDFS
#include "euler/common/hdfs_file_io_factory.h"
static euler::common::HdfsFileIOFactoryReg hdfs_reg;
#endif
"
如果没有在根目录的CMakeLists.txt中把设置option(USE_HDFS "Option for using hdfs" OFF)改为option(USE_HDFS "Option for using hdfs" ON)，是不会编译hdfs部分的。

from euler.

能把你的编译步骤详细再说明一下吗

from euler.

from euler.

希望后续能支持一下viewfs 还有xdl好像也不支持viewfs

from euler.

如果需要支持hdfs数据加载，则需要修改项目根目录下的CMakeLists.txt，把option(USE_HDFS "Option for using hdfs" OFF)改为option(USE_HDFS "Option for using hdfs" ON)，详细过程请看编译安装部分

如果用pip安装的，需要手动开启这个开关不

from euler.

from euler.

from euler.

docker 运行模式 单worker没问题 如果多worker会报
NotFoundError (see above for traceback): ckpt/model.ckpt-0_temp_763e08a969e04f0eb55c86f367e10977; No such file or directory
每个worker在一台机器上

from euler.

from euler.

https://stackoverflow.com/questions/53828895/does-distributed-tensorflow-requires-a-distributed-file-system-to-save-checkpoin
和这个一样的case

from euler.

需要指定额外的参数么，checkpoint的时候会失败，当worker大于1的时候
NotFoundError (see above for traceback): ckpt/model.ckpt-0_temp_763e08a969e04f0eb55c86f367e10977; No such file or directory

from euler.

from euler.

pip安装的不支持hdfs
…
On 18 Feb 2019, at 5:31 PM, Gavin Zhang @.***> wrote: 如果需要支持hdfs数据加载，则需要修改项目根目录下的CMakeLists.txt，把option(USE_HDFS "Option for using hdfs" OFF)改为option(USE_HDFS "Option for using hdfs" ON)，详细过程请看编译安装部分 如果用pip安装的，需要手动开启这个开关不 — You are receiving this because you commented. Reply to this email directly, view it on GitHub <#31 (comment)>, or mute the thread https://github.com/notifications/unsubscribe-auth/AD20y2jvOq8p3Ejg6uUvRdKbjyRic42bks5vOnLUgaJpZM4a9TEF.

我通过pip安装 是支持hdfs的

from euler.

pip 安装的支持 hdfs么？我这通过whl文件安装的出现下面的错误
E0801 20:48:20.770622 68588 graph_engine.cc:75] no hdfs file io factory register I0801 20:48:20.770738 68588 graph_service.cc:179] service init finish E0801 20:48:20.770808 68588 graph_service.cc:157] service error

from euler.

有没有支持hdfs的euler whl包

from euler.

from euler.

euler_gl-0.1.2-cp27-cp27mu-manylinux1_x86_64.whl 这个whl支持么，我这边重新编译的代价有点大，网络，你们那边可以提供一下能支持hdfs的whl包么？

from euler.