Comments (3)
您好,敬请稍等,会有同学尽快排查协助解决您的问题。
from promptkg.
您好,我是内大计算机技术专业研一的学生,我在准备课程论文汇报时阅读了你们的论文《Editing Language Model-based Knowledge Graph Embeddings》,并下载了代码。在按照deltaKG中README.md的步骤运行后发现得到的结果比较奇怪,有些地方不是很懂,所以想请教几个问题:
- 因为我目前是研一,老师只给了RTX4060Ti的实验环境让我们进行练习,而且没有TPU资源,在这种条件下是否会影响运行结果呢?
- 在我个人的理解下,论文中提到的Succ@1、Succ@3和RK@3应该是运行后得到的Eval/hits1、Eval/hits3和Eval/loc_hits3,不知道我的理解是否正确。此外,ERroc和RKroc应该怎么获取到的呢?
- 如果我在2中的理解没有问题的话,那么我在E-FB15k237、E-WN18RR、A-FB15k237和A-WN18RR数据集运行得到的deltaKG结果和论文展现的结果差距比较大,不知道是哪里出现了问题,而且我不知道如何具体获取最终最优值,因此我按个人理解列出了这4个任务运行后结果的最优值(最后附有完整结果文件):
E-FB15k237:
Eval/hits5 0.990602721970188
Eval/hits3 0.9880103694102398
Eval/hits1 0.8836681788723266
Eval/mean_rank 3.50550874918989
Eval/mrr 0.9355371773935355
Eval/loc_hits1 0.625
Eval/loc_hits3 0.8882858068697342
Eval/loc_hits5 0.9627349319507453
Eval/loc_mean_rank 2.393308489954634
Eval/loc_mrr 0.7188704811823695A-FB15k237: Eval/hits5 0.6335 Eval/hits3 0.5555 Eval/hits1 0.355 Eval/mean_rank 73.8045 Eval/mrr 0.4733669578972416 Eval/loc_hits1 0.5905 Eval/loc_hits3 0.931 Eval/loc_hits5 0.98375 Eval/loc_mean_rank 1.81425 Eval/loc_mrr 0.7527356962481963
E-WN18RR: Eval/hits5 0.5271428571428571 Eval/hits3 0.49 Eval/hits1 0.4064285714285714 Eval/mean_rank 1822.9242857142858 Eval/mrr 0.46436553205070175 Eval/loc_hits1 0.8128571428571428 Eval/loc_hits3 0.9901785714285715 Eval/loc_hits5 0.9991071428571429 Eval/loc_mean_rank 1.3035714285714286 Eval/loc_mrr 0.8939602759797293
A- WN18RR: Eval/hits5 0.8065 Eval/hits3 0.782 Eval/hits1 0.6995 Eval/mean_rank 197.6585 Eval/mrr 0.7491706330059167 Eval/loc_hits1 0.71425 Eval/loc_hits3 0.978375 Eval/loc_hits5 0.99575 Eval/loc_mean_rank 1.452375 Eval/loc_mrr 0.8385862389371804
完整的运行结果如下: KGEdito-FB15k237-edit.txt KGEditor-FB15k237-add.txt KGEditor-WN18RR-add.txt KGEditor-WN18RR-edit.txt
谢谢!
你好,感谢你对我们论文的关注,由于个人时间问题,可能没有办法全部复现实验,我在这里为你找到了我们以前的log日志,希望可以供你参考。log中实验次数较多,主要是测试了不同编辑数目下实验的结果(编辑个数【1 2 4 8 16 32】),如果是只关注主实验结果的话只需要参考编辑数目为2的结果就好。
1、这里想提示一下,使用超网络确实有些时候不太好训练,特别是我们的KGEditor是基于KE的,我们后续一些实验发现其实如果把超网络替换为MEND可能训练的更加稳定一点,这你可以试试。环境问题可能也是导致实验结果出现偏差的原因,建议可以排查一下;
2、是的,你的理解是正确的,关于ERroc和RKroc我们在论文的Methodology一节中有说明,是取编辑前后的整体rank平均变化率来求得的,主要关注编辑对前后rank的影响大小;
我们的实验结果我上传到谷歌云盘了,你可以在这里下载:
https://drive.google.com/file/d/1B_lyuS_O5_jD2RLZeh6b5mLIUHxzm4at/view?usp=sharing
from promptkg.
您好,我是内大计算机技术专业研一的学生,我在准备课程论文汇报时阅读了你们的论文《Editing Language Model-based Knowledge Graph Embeddings》,并下载了代码。在按照deltaKG中README.md的步骤运行后发现得到的结果比较奇怪,有些地方不是很懂,所以想请教几个问题:
- 因为我目前是研一,老师只给了RTX4060Ti的实验环境让我们进行练习,而且没有TPU资源,在这种条件下是否会影响运行结果呢?
- 在我个人的理解下,论文中提到的Succ@1、Succ@3和RK@3应该是运行后得到的Eval/hits1、Eval/hits3和Eval/loc_hits3,不知道我的理解是否正确。此外,ERroc和RKroc应该怎么获取到的呢?
- 如果我在2中的理解没有问题的话,那么我在E-FB15k237、E-WN18RR、A-FB15k237和A-WN18RR数据集运行得到的deltaKG结果和论文展现的结果差距比较大,不知道是哪里出现了问题,而且我不知道如何具体获取最终最优值,因此我按个人理解列出了这4个任务运行后结果的最优值(最后附有完整结果文件):
E-FB15k237:
Eval/hits5 0.990602721970188
Eval/hits3 0.9880103694102398
Eval/hits1 0.8836681788723266
Eval/mean_rank 3.50550874918989
Eval/mrr 0.9355371773935355
Eval/loc_hits1 0.625
Eval/loc_hits3 0.8882858068697342
Eval/loc_hits5 0.9627349319507453
Eval/loc_mean_rank 2.393308489954634
Eval/loc_mrr 0.7188704811823695A-FB15k237: Eval/hits5 0.6335 Eval/hits3 0.5555 Eval/hits1 0.355 Eval/mean_rank 73.8045 Eval/mrr 0.4733669578972416 Eval/loc_hits1 0.5905 Eval/loc_hits3 0.931 Eval/loc_hits5 0.98375 Eval/loc_mean_rank 1.81425 Eval/loc_mrr 0.7527356962481963
E-WN18RR: Eval/hits5 0.5271428571428571 Eval/hits3 0.49 Eval/hits1 0.4064285714285714 Eval/mean_rank 1822.9242857142858 Eval/mrr 0.46436553205070175 Eval/loc_hits1 0.8128571428571428 Eval/loc_hits3 0.9901785714285715 Eval/loc_hits5 0.9991071428571429 Eval/loc_mean_rank 1.3035714285714286 Eval/loc_mrr 0.8939602759797293
A- WN18RR: Eval/hits5 0.8065 Eval/hits3 0.782 Eval/hits1 0.6995 Eval/mean_rank 197.6585 Eval/mrr 0.7491706330059167 Eval/loc_hits1 0.71425 Eval/loc_hits3 0.978375 Eval/loc_hits5 0.99575 Eval/loc_mean_rank 1.452375 Eval/loc_mrr 0.8385862389371804
完整的运行结果如下: KGEdito-FB15k237-edit.txt KGEditor-FB15k237-add.txt KGEditor-WN18RR-add.txt KGEditor-WN18RR-edit.txt
谢谢!你好,感谢你对我们论文的关注,由于个人时间问题,可能没有办法全部复现实验,我在这里为你找到了我们以前的log日志,希望可以供你参考。log中实验次数较多,主要是测试了不同编辑数目下实验的结果(编辑个数【1 2 4 8 16 32】),如果是只关注主实验结果的话只需要参考编辑数目为2的结果就好。
1、这里想提示一下,使用超网络确实有些时候不太好训练,特别是我们的KGEditor是基于KE的,我们后续一些实验发现其实如果把超网络替换为MEND可能训练的更加稳定一点,这你可以试试。环境问题可能也是导致实验结果出现偏差的原因,建议可以排查一下;
2、是的,你的理解是正确的,关于ERroc和RKroc我们在论文的Methodology一节中有说明,是取编辑前后的整体rank平均变化率来求得的,主要关注编辑对前后rank的影响大小;
我们的实验结果我上传到谷歌云盘了,你可以在这里下载: https://drive.google.com/file/d/1B_lyuS_O5_jD2RLZeh6b5mLIUHxzm4at/view?usp=sharing
收到,感谢你的回复与帮助!
from promptkg.
Related Issues (20)
- 请问GenKGC的代码您运行成功了吗 HOT 9
- 在下载完数据集,配置好虚拟环境后,运行脚本文件提示报错如下: HOT 2
- 亲爱的作者您好,请问如果运行GenKGC这个模型代码,需要的最低硬件条件是什么? HOT 1
- 作者您好,我想问一下我在执行openbg.sh这个脚本的时候, --model_name_or_path pretrained_model \ 这个地方需要修改吗,使用的预训练模型是哪个呢? HOT 2
- run gpt3kgc.py error : not found dataset/FB15k-237/MidRes.json
- About implementation of the generation method of lambdaKG HOT 5
- Relation extraction from text. HOT 1
- AttributeError: 'TransformerLitModel' object has no attribute 'num_training_steps' HOT 1
- 作者您好,请问想要使用GenKGC模型来训练给出的阿里中文数据集,在执行openbg.sh脚本文件前还需要做什么其他操作吗,现在两个英文数据集可以正常运行,但是中文数据集运行失败了 HOT 4
- GenKGC项目中data_module.py文件中149行代码是不是有错误,应该是if relations_ids[0] not in self.tokenizer.additional_special_tokens: HOT 1
- Hyper-parameter for GenKGC on FB15k-237 HOT 2
- 运行simKGC时出现TypeError: models.simkgc.ModelOutput is not a dataclasss. This is a subclass of ModelOutput and so must use the @dataclass decorator.报错 HOT 1
- 运行bash ./scripts/kgc/knnkge.sh时报错AttributeError: 'KNNKGEPretrainLitModel' object has no attribute 'model' HOT 7
- 運行bash ./scripts/metaqa/run.sh 的hist1, hist3, hist10皆為0 HOT 11
- bash ./scripts/kgrec/pretrain_item.sh 沒有ml20m dataset HOT 1
- RetrievalRE复现报错KeyError: -1 HOT 2
- 运行时出现如下报错,请问应该如何解决
- 你好,我有一些关于KGEditor的问题想请教一下 HOT 6
- 您好,关于KGEditor数据集的问题 HOT 2
Recommend Projects
-
React
A declarative, efficient, and flexible JavaScript library for building user interfaces.
-
Vue.js
🖖 Vue.js is a progressive, incrementally-adoptable JavaScript framework for building UI on the web.
-
Typescript
TypeScript is a superset of JavaScript that compiles to clean JavaScript output.
-
TensorFlow
An Open Source Machine Learning Framework for Everyone
-
Django
The Web framework for perfectionists with deadlines.
-
Laravel
A PHP framework for web artisans
-
D3
Bring data to life with SVG, Canvas and HTML. 📊📈🎉
-
Recommend Topics
-
javascript
JavaScript (JS) is a lightweight interpreted programming language with first-class functions.
-
web
Some thing interesting about web. New door for the world.
-
server
A server is a program made to process requests and deliver data to clients.
-
Machine learning
Machine learning is a way of modeling and interpreting data that allows a piece of software to respond intelligently.
-
Visualization
Some thing interesting about visualization, use data art
-
Game
Some thing interesting about game, make everyone happy.
Recommend Org
-
Facebook
We are working to build community through open source technology. NB: members must have two-factor auth.
-
Microsoft
Open source projects and samples from Microsoft.
-
Google
Google ❤️ Open Source for everyone.
-
Alibaba
Alibaba Open Source for everyone
-
D3
Data-Driven Documents codes.
-
Tencent
China tencent open source team.
from promptkg.