git clone https://github.com/yangjianxin1/Firefly.git

cd ./Fireflypip install -r requirements.txt

pip install git+https://github.com/huggingface/peft.gitpip install git+https://github.com/huggingface/accelerate.gitpip install git+https://github.com/huggingface/transformers.gitpip install git+https://github.com/TimDettmers/bitsandbytes.git

{    "conversation_id":44,    "category":"Brainstorming",    "conversation":[        {            "human":"怎么能够有效地提升个人能力？",            "assistant":"提升个人能力可以通过以下几个方面实现：\n\n1. 
"        },        {            "human":"对于初学者来说，如何快速掌握编程技能？",            "assistant":"以下是几个建议，可以帮助初学者快速掌握编程技能：\n\n1. 
学习基础知识：建议先学习编程语言的基础知识和语法，例如变量、数据类型、控制结构、函数等。
可以通过在线课程、编程书籍、视频教程等方式学习。\n\n2. 实践编程：进行实际的编程练习是非常重要的，
可以通过参加编程挑战、编写小项目等方式来进行实践。\n\n3. 寻求反馈：可以寻求他人的反馈和建议，
例如在线编程社区、编程导师等，他们可以帮助你发现问题并及时纠正。\n\n4. 阅读优秀代码：
阅读和分析优秀的代码可以帮助你学习其他程序员的编程思路和技巧，从而提高自己的编程能力。\n\n5. 
不断学习和更新：编程技术和工具在不断更新和发展，因此需要不断学习新的知识和技能，
例如学习新的编程语言、框架、工具等，以跟上技术的发展和变化。\n\n总之，学习编程需要耐心和坚持，
并且需要不断地实践和学习。通过以上建议，可以帮助初学者快速掌握编程技能。"        },        {            "human":"除了参加编程挑战和阅读代码，还有哪些方式可以提升自己的编程能力呢？",            "assistant":"除了参加编程挑战和阅读代码，还有以下几种方式可以提升自己的编程能力：
\n\n1. 参与开源项目：加入一个开源项目，可以让你了解到实际的软件开发流程和团队合作方式，"        },        {            "human":"你有没有推荐的编程挑战网站？",            "assistant":"当然，以下是一些值得推荐的编程挑战网站：\n\n1. HackerRank：
HackerRank 是一个全球领先的技术招聘平台，提供数百种编程挑战和比赛，包括算法、数据结构、数学、
SQL、AI 等多个技术领域。\n\n2. LeetCode：LeetCode 是一个在线编程学习和实践平台，
提供数千道编程题目，主要涵盖算法和数据结构。\n\n3. Codeforces：Codeforces 是一个全球知
名的编程竞赛网站，提供数百个比赛和练习题目，主要涵盖算法和数据结构。\n\n4. Codewars：Codewars 
是一个在线编程学习和实践平台，提供数千道编程题目，主要涵盖算法、数据结构、面向对象编程等
多个技术领域。\n\n5. Project Euler：Project Euler 是一个非营利性的在线编程挑战平台，
提供一系列数学和计算机科学问题，需要用编程语言进行解答。
\n\n以上这些编程挑战网站可以帮助你提高编程能力，并且可以与其他编程爱好者进行交流和竞争。"        },        {            "human":"在学习编程的过程中，如何避免陷入困境和放弃呢？",            "assistant":"学习编程是一个需要长期坚持和不断学习的过程，以下是一些避免陷入困
境和放弃的方法：\n\n1. 制定合理的学习计划：制定合理的学习计划，包括学习时间、学习内容、目标
等，可以帮助你更好地管理时间和精力，避免学习过程中的松懈和分心。\n\n2. 寻找合适的学习资源：
选择适合自己的学习资源，例如在线课程、编程书籍、视频教程等，可以让你更好地了解和掌握编程知
识和技能。\n\n3. 寻求帮助和支持：在学习过程中，遇到问题和困难是很正常的，可以寻求他人的帮助
和支持，例如参加编程社区、找到编程导师等。\n\n4. 进行实践和项目：实践和项目是学习编程的重要
组成部分，可以帮助你更好地了解和掌握编程技能，同时也可以提高学习的兴趣和动力。\n\n5. 坚持并保
持兴趣：坚持学习和保持兴趣是学习编程的关键。可以通过参加编程社区、参加编程竞赛、与其他编程爱
好者交流等方式来保持兴趣和动力。\n\n总之，学习编程需要耐心和坚持，并需要不断学习和实践。
通过以上方法可以帮助你避免陷入困境和放弃。"        }    ],}

{    "output_dir": "output/firefly-baichuan-13b",    "model_name_or_path": "baichuan-inc/Baichuan-13B-Base",    "train_file": "./data/moss-003-sft-data.jsonl",    "num_train_epochs": 1,    "per_device_train_batch_size": 6,    "gradient_accumulation_steps": 2,    "learning_rate": 1e-4,    "max_seq_length": 900,    "logging_steps": 300,    "save_steps": 500,    "save_total_limit": 1,    "lr_scheduler_type": "constant_with_warmup",    "warmup_steps": 3000,    "lora_rank": 64,    "lora_alpha": 16,    "lora_dropout": 0.05,
    "gradient_checkpointing": true,    "disable_tqdm": false,    "optim": "paged_adamw_32bit",    "seed": 42,    "fp16": true,    "report_to": "tensorboard",    "dataloader_num_workers": 5,    "save_strategy": "steps",    "weight_decay": 0,    "max_grad_norm": 0.3,    "remove_unused_columns": false}

torchrun --nproc_per_node={num_gpus} train_qlora.py --train_args_file train_args/qlora/
baichuan-13b-sft-qlora.json

from peft import PeftModelfrom transformers import AutoModelForCausalLM, AutoTokenizerimport torch"""使用该脚本，将lora的权重合并到base model中"""
def merge_lora_to_base_model():    model_name_or_path = 'baichuan-inc/baichuan-13B-Base'    adapter_name_or_path = 'output/firefly-baichuan-13b/checkpoint-20000'    save_path = 'checkpoint/firefly-baichuan-13b'
    tokenizer = AutoTokenizer.from_pretrained(        model_name_or_path,        trust_remote_code=True    )    model = AutoModelForCausalLM.from_pretrained(        model_name_or_path,        trust_remote_code=True,        low_cpu_mem_usage=True,        torch_dtype=torch.float16,        device_map='auto'    )    model = PeftModel.from_pretrained(model, adapter_name_or_path)    model = model.merge_and_unload()
    tokenizer.save_pretrained(save_path)    model.save_pretrained(save_path)

if __name__ == '__main__':    merge_lora_to_base_model()

from transformers import AutoModelForCausalLM, AutoTokenizerimport torch"""单轮对话，不具有对话历史的记忆功能"""

def main():    # model_name = 'YeungNLP/firefly-baichuan-7b'    # model_name = 'YeungNLP/firefly-ziya-13b'    # model_name = 'YeungNLP/firefly-bloom-7b1'    model_name = 'YeungNLP/firefly-baichuan-13b'
    max_new_tokens = 500    top_p = 0.9    temperature = 0.35    repetition_penalty = 1.0    device = 'cuda'    input_pattern = '<s>{}</s>'    model = AutoModelForCausalLM.from_pretrained(        model_name,        trust_remote_code=True,        low_cpu_mem_usage=True,        torch_dtype=torch.float16,        device_map='auto'    ).to(device).eval()    tokenizer = AutoTokenizer.from_pretrained(        model_name,        trust_remote_code=True,        # llama不支持fast        use_fast=False if model.config.model_type == 'llama' else True    )    text = input('User：')    while True:        text = text.strip()        text = input_pattern.format(text)        input_ids = tokenizer(text, return_tensors="pt", add_special_tokens=False).input_ids.to(device)        with torch.no_grad():            outputs = model.generate(                input_ids=input_ids, max_new_tokens=max_new_tokens, do_sample=True,                top_p=top_p, temperature=temperature, repetition_penalty=repetition_penalty,                eos_token_id=tokenizer.eos_token_id            )        outputs = outputs.tolist()[0][len(input_ids[0]):]        response = tokenizer.decode(outputs)        response = response.strip().replace(text, "").replace('</s>', "").replace('<s>', "").strip()        print("Firefly：{}".format(response))        text = input('User：')

if __name__ == '__main__':    main()

from transformers import AutoModelForCausalLM, AutoTokenizerimport torch

def main():    # model_name = 'YeungNLP/firefly-baichuan-7b'    # model_name = 'YeungNLP/firefly-ziya-13b'    # model_name = 'YeungNLP/firefly-bloom-7b1'    model_name = 'YeungNLP/firefly-baichuan-13b'
    device = 'cuda'    max_new_tokens = 500    # 每轮对话最多生成多少个token    history_max_len = 1000  # 模型记忆的最大token长度    top_p = 0.9    temperature = 0.35    repetition_penalty = 1.0
    # 加载模型    model = AutoModelForCausalLM.from_pretrained(        model_name,        trust_remote_code=True,        low_cpu_mem_usage=True,        torch_dtype=torch.float16,        device_map='auto'    ).to(device).eval()    tokenizer = AutoTokenizer.from_pretrained(        model_name,        trust_remote_code=True,        # llama不支持fast        use_fast=False if model.config.model_type == 'llama' else True    )    # 记录所有历史记录    history_token_ids = tokenizer('<s>', return_tensors="pt").input_ids
    # 开始对话    user_input = input('User：')    while True:        user_input = '{}</s>'.format(user_input)        user_input_ids = tokenizer(user_input, return_tensors="pt", add_special_tokens=False).input_ids        history_token_ids = torch.concat((history_token_ids, user_input_ids), dim=1)        model_input_ids = history_token_ids[:, -history_max_len:].to(device)        with torch.no_grad():            outputs = model.generate(                input_ids=model_input_ids, max_new_tokens=max_new_tokens, do_sample=True, top_p=top_p,                temperature=temperature, repetition_penalty=repetition_penalty, eos_token_id=tokenizer.eos_token_id            )        model_input_ids_len = model_input_ids.size(1)        response_ids = outputs[:, model_input_ids_len:]        history_token_ids = torch.concat((history_token_ids, response_ids.cpu()), dim=1)        response = tokenizer.batch_decode(response_ids)        print("Firefly：" + response[0].strip().replace('</s>', ""))        user_input = input('User：')

if __name__ == '__main__':    main()