-
克隆仓库:
https://github.com/tc2000731/privVDB.git
-
安装依赖:详见
requirements.txt
-
安装milvus, 建议采用docker
-
启动milvus, 默认会监听19530端口
-
下载Glove6B300d 和 CBTest
-
在根目录下添加个
.env
文件:OPENAI_API_KEY = sk-*** # optional AZURE_API_KEY = ea*** AZURE_ENDPOINT = "https://test1115.openai.azure.com/"
python src/desensitization.py --base_dataset_path <path_to_cbt_train.txt> --embedding_path <path_to_glove.840B.300d.txt>
python src/web.py --base_dataset_path <path_to_cbt_train.txt> --embedding_path <path_to_glove.840B.300d.txt>
关于如何使用为文本脱敏VDB写死的class的一些示例:
python src/test_privVDB.py --base_dataset_path <path_to_cbt_train.txt> --embedding_path <path_to_glove.840B.300d.txt>
关于如何使用原始VDBhandler的一些示例
python src/test_privVDB.py