cloudflare 实现限流/锁功能 about cf-openai HOT 10 OPEN

是的，KV 的操作不是原子的，用来限流的话，只能能凑合着用用。虽然不大可靠，但有总比没有好。

from cf-openai.

是的，KV 的操作不是原子的，用来限流的话，只能能凑合着用用。虽然不大可靠，但有总比没有好。

你有试过这样用的效果吗

from cf-openai.

我测试过，有点效果，但是不理想。但是因为 KV 不是原子的，所不是很靠谱。如果短时间内频繁请求的话，会出现类似并发的问题。

from cf-openai.

我测试过，有点效果，但是不理想。但是因为 KV 不是原子的，所不是很靠谱。如果短时间内频繁请求的话，会出现类似并发的问题。

你的场景是有多个人同时用同一个key吗。话说你用 api key 做限流的主要目的是啥，避免对话太频繁导致聊天记录乱序，还是避免到 openai 的限制？

看了下 openai 的文档 https://platform.openai.com/docs/guides/rate-limits/overview 他们是以 organization level 限制，基本也就是用户维度

We enforce rate limits at the organization level, not user level, based on the specific endpoint used as well as the type of account you have. Rate limits are measured in two ways: RPM (requests per minute) and TPM (tokens per minute). The table below highlights the default rate limits for our API but these limits can be increased depending on your use case after filling out the Rate Limit increase request form.

from cf-openai.

我的公众号是让所有人都可以白嫖的，共享的是同一个 key 😄 •͈ᴗ•͈ 所以担心这个 key 会被 openai 限制

from cf-openai.

我的公众号是让所有人都可以白嫖的，共享的是同一个 key 😄 •͈ᴗ•͈ 所以担心这个 key 会被 openai 限制

之前在网上看了好几个免费开放被扣费几十刀的兄弟，所以开始做的时候都没考虑这个情况:joy:
你 openai 账号有绑卡吗，没绑卡最高才 20 qpm，你这种场景基本扛不住吧

from cf-openai.

我的公众号是让所有人都可以白嫖的，共享的是同一个 key 😄 •͈ᴗ•͈ 所以担心这个 key 会被 openai 限制

你的公众号有认证吗，我没这种号，开发了主动推消息功能也没法测正不正常

from cf-openai.

我的公众号还没有认证，也没什么人气。对应的 openai 也没有绑卡，只希望不要 key 不要被封 🤣。如果那个 key 的额度用完了，或者被限制了，看能不能换成 llama 😅

对了，你这个项目有没有考虑加入 llama ， stable diffusion 等功能？我都想接入试试。

from cf-openai.

我的公众号还没有认证，也没什么人气。对应的 openai 也没有绑卡，只希望不要 key 不要被封 🤣。如果那个 key 的额度用完了，或者被限制了，看能不能换成 llama 😅

对了，你这个项目有没有考虑加入 llama ， stable diffusion 等功能？我都想接入试试。

你还有2个月可以用额度。这两个要自己单独部署模型服务吧？

from cf-openai.

我有 VPS，从甲骨文那里白嫖的，应该可以用上。好像不行，配置还是太低了。🤣

from cf-openai.