rucaibox / llmrank Goto Github PK

按照代码中给的命令，由于我的网络问题，把async_dispatch设为False，复现之后各个指标好像都达不到论文中的值，是因为async_dispatch的设置吗？

据我了解，这个表格中的zero-shot部分，随机抽取200个用户，作为test set，每个用户1个正样本+19个负采样；

我的问题是，baseline中的full这些模型的指标

1. 是否也是随机抽取200个用户？
2. 是否也是在1+19的方式计算出来的？

另外在3.2节中提到："The top-3 best items retrieved by each candidate generation model will be merged into a candidate set containing a total of 21 items." 我想问一下：
3. 每种检索方式检索的3个中，如果有重复是怎么处理的？

感谢回复！

test result: OrderedDict([('recall@1', 0.04), ('recall@5', 0.235), ('recall@10', 0.46), ('recall@20', 1.0), ('recall@50', 1.0), ('ndcg@1', 0.04), ('ndcg@5', 0.1323), ('ndcg@10', 0.2035), ('ndcg@20', 0.3383), ('ndcg@50', 0.3383)])
您好，以上是我按照给出的sasrec预训练模型和代码中的数据得到的结果，远低于论文结果，请问是怎么回事，是yaml文件中某个地方的设置问题吗，现在是在random数据集中进行的，请问是什么原因？

您好～有以下几个问题希望能够得到回应：

1. 两个数据集的输出格式不同，输出中符合格式的占多少？非法输出是如何处理的？
2. boostrap对比实验图中的Ours指标是如何计算的？以及为什么这个策略能起作用？
   图：
   
   谢谢～

在使用asyncio异步调用api时显示Error communicating with OpenAI，而当使用串行调用api时，即async_dispatch设为False，可以正常返回结果。

hello, I try to search some user with items from m1-1m.random in file m1-1m.inter, but I cannot find the corresponding one?does this file include random negative pairs?

您好，这里我有些困惑，有些不确定。
filed可能指的是user 和 item；
field 2 token_id，token_id 是什么？

user_token 2 id 和 item_token 2 id 这里的id是什么？

这里可能涉及内部id和外部id，item id、token 和真实item的自然语言名字，这三个如何转换？

感谢您的工作，期望得到您的回复。

您好，我从代码中看到你们实现boostrap策略是通过同一个样本复制三次然后shuffle计算结果的，那么你们的方法在推理的阶段是如何使用呢？比如有三个候选项目，三次大模型给出三个排序结果，如何将这个shuffle三次的输出结果综合得到最后的输出结果呢？这块我看论文中没有明显提出来，还是说这不是你们论文的讨论范围，也就是你们只是做评测，然后这个过程和推理过程是有差别的呢？
希望能得到您的回答，谢谢！

使用python dataset/unisrec_auxiliary_files_process.py生成 *.feat1CLS时，提示：
huggingface_hub.utils._validators.HFValidationError: Repo id must be in the form 'repo_name' or 'namespace/repo_name': '/mnt/zhangjunjie/bert-base-uncased'.
此处是否有需要下载的预训练模型