在Inference by TurboMind的时候使用命令 python3 -m lmdeploy.turbo

profile_serving.py用的数据是： <div class="snippet-clipboard-content notranslate positio

<a class="user-mention notranslate" data-hovercard-type="user" data-hovercard-url="/us

具体步骤如下 <div class="highlight highlight-source-shell notranslate position-relative

'InternLMTokenizer' object has no attribute 'backend_tokenizer' about lmdeploy HOT 6 CLOSED

happened commented on June 1, 2024

'InternLMTokenizer' object has no attribute 'backend_tokenizer'

from lmdeploy.

Comments (6)

grimoire commented on June 1, 2024 1

可以去掉，因为 transformers 原来用来生成 token 映射的方式比较慢（两层循环遍历 token 组合），所以这里做个 cache 以免下次重复生成。可以删掉
还有 internlm 的 tp 似乎确实存在问题，正在排查中。

from lmdeploy.

lvhan028 commented on June 1, 2024 1

profile_serving.py用的数据是：

wget https://huggingface.co/datasets/anon8231489123/ShareGPT_Vicuna_unfiltered/resolve/main/ShareGPT_V3_unfiltered_cleaned_split.json

from lmdeploy.

happened commented on June 1, 2024

重新编译并且安装后用python3 -m lmdeploy.serve.client {server_ip_addresss}:33337 internlm 测试了下，结果是正常的了

benchmark中关于profile_serving中测试集的dataset能提供一下嘛，看脚本里面对json格式是有要求的

另外profile_generation测试对应tp为2的workspace目录会coredump

from lmdeploy.

grimoire commented on June 1, 2024

@lvhan028 profiling_serving 的 dataset 方面方便提供一些信息吗

coredump 的问题这边的环境上无法复现，能提供更详细的环境信息吗？

from lmdeploy.

happened commented on June 1, 2024

具体步骤如下

#启动容器 宿主机当前为双T4机器
docker run -itd --net=host --name internlm_server
    --gpus all -v /data/work/deploy-interlm:/workspace 
 -v /data/models/:/models 
 --shm-size 16g 
 --cap-add=SYS_PTRACE --cap-add=SYS_ADMIN --security-opt seccomp=unconfined
 --env NCCL_LAUNCH_MODE=GROUP openmmlab/lmdeploy:latest bash


# 下载仓库并编译
git clone https://github.com/InternLM/lmdeploy.git
mkdir build && cd build 
bash ../generate.sh
make && make install

#转换模型为turbomind格式
python3 -m lmdeploy.serve.turbomind.deploy internlm-chat-7b /models/internlm-chat-7b hf  --tokenizer_path /models/internlm-chat-7b/tokenizer.model  --tp 2

#benchmark
cd /opt/tritonserver/lmdeploy
export PYTHONPATH=./:$PYTHONPATH
python3 benchmark/profile_generation.py --model_path /opt/tritonserver/lmdeploy/workspace --model_name internlm --concurrency 4 --input_seqlen 1 --output_seqlen 512--test_round 4