Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

Sign up for GitHub

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

Jump to bottom

训练模型没有保存token信息 #230

Open
apachemycat opened this issue Jun 18, 2023 · 5 comments
Open

训练模型没有保存token信息 #230

apachemycat opened this issue Jun 18, 2023 · 5 comments

Comments

@apachemycat
Copy link

看了代码，model.save_pretrained(OUTPUT_DIR)
没有保存Token信息，所以别的合并脚本和加载lora的时候报错
@Facico
Copy link
Owner

Facico commented Jun 29, 2023

token信息没有变过不需要再保存一遍，和加载的一样

@Orangeices
Copy link

Orangeices commented Jul 13, 2023 •
edited
Loading

token信息没有变过不需要再保存一遍，和加载的一样

大佬，我的模型微调以后 bin文件大小只有1KB，这正常吗？

@apachemycat
Copy link
Author

不正常，应该几十兆到几百兆

@NewEricWang
Copy link

token信息没有变过不需要再保存一遍，和加载的一样

这样的话，只能使用LLaMa原来的那些token，是不是对中文支持不够啊？
生成文本的时候，很容易出现乱码。

@alisyzhu
Copy link

token信息没有变过不需要再保存一遍，和加载的一样

大佬，我的模型微调以后 bin文件大小只有1KB，这正常吗？
我的也这样，请问你是怎么解决的呀？

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Assignees
No one assigned
Labels
None yet
Projects
None yet
Milestone
No milestone
Development

No branches or pull requests
5 participants
@apachemycat @NewEricWang @Orangeices @Facico @alisyzhu