�ٴ����ܷ�����դ��ӣ�ĵ�ģ�ͣ����������ɼ����-米乐m6网页版登录入口

��ԭ���⣺�ٴ����ܷ�����դ��ӣ�ĵ�ģ�ͣ����������ɼ���ѣ�

2023��6��15�գ�����ϊ���й�chatgpt��֮�ӡ��iٴ����ܹ�˾���ƴ���70 �ڲ���������ӣ��Ԥѵ����ģ��——baichuan-7b��baichuan-7b������c-eval��agieval��gaokao����ȩ��������ϣ�����������ȫ�泬����chatglm-6b��������ģ�ͣ�������mmluӣ��ȩ��������ϣ��������llama-7b��

ŀǰbaichuan-7b��ģ������hugging face��github�լ�model scopeƽ̨������

��դ��ַ��

hugging face��https://huggingface.co/baichuan-inc/baichuan-7b

github��https://github.com/baichuan-inc/baichuan-7b

model scope��https://modelscope.cn/models/baichuan-inc/baichuan-7b/summary

������ӱ��������������׼7b���

ϊ����֤ģ�͵ĸ���������baichuan-7b��c-eval��agieval��gaokao�������ӱ����������������׼�������ۺ����������ҿ����������ɼ������ѿ���ϊͬ�ȳ�����ģ�����ı����������ԭ��Ԥѵ��ģ�͡�

������c-eval�������у�baichuan-7b���ۺ����ִﵽ��42.8�֣�������chatglm-6b��38.9�֣�������ijщ������ģ�����ģ�ͻ�ҫ��ɫ��

https://cevalbenchmark.com/static/leaderboard_zh.html(ʱ��ϊ2023-06-15)

c-eval�����׼���ϻ���ͨ��ѧ���廪��ѧ�լ���������ѧ���θ�������������������ģ�͵��ۺͽ������⼯��������52�����բ�ͬ��ҵ�����ѧ�ơ�

��agieval�������baichuan-7b�ۺ����ִﵽ34.4�֣�զ��llama-7b��falcon-7b��bloom-7b�լ�chatglm-6b��������դģ�͡�

agieval�����׼��΢���о�ժ����ּ��ȫ����������ģ����������֪����������������ϵ��������������й��ĸ߿���˾�����ԣ��լ�������sat��lsat��gre��gmat��20���������ͻ��ĺٷ���ѧ��ְҵ�ʸ��ԡ�

��gaokao�����у�baichuan-7b���ۺ����ִﵽ��36.2�֣�����������ͬ������ģ�ĸ�������Ԥѵ��ģ�͡�

gaokao�����׼�ǹ�����ѧ�о��ŷӵ����������ܣ����й��߿���ŀ��ϊ���ݼ������ڲ��դ�ģ������������������߼�������������ı��֡�

mmluӣ��������׼���ִ������llama-7b

baichuan-7b���������ķ���������죬��ӣ���ϱ���ͬ�����ۡ���mmlu��������baichuan-7b�ۺ����ָߴ�42.5�֣��������ӣ�ŀ�դԤѵ��ģ��llama-7b��34.2���լ����ŀ�դģ��chatglm-6b��36.9�֡�

mmlu�ɼ��ݴ�ѧ��������у��֪����у��ͬ���죬�����˿�ѧ�����̡���ѧ�����ġ�����ѧ�������57����ŀ����ҫŀ���ƕ�ģ�͵�ӣ�ŀ�ѧ��רҵ��������������ԡ������ݹ㷺���ӳ���ˮƽһֱ���ǵ��߼�רҵˮƽ��

�����������ݡ�4k�����ĵ��ڡ���ч�ȶ�ѵ���������7bԤѵ��ģ��

ѵ�����϶դ�ģ�͵�ѵ�����������ҫ���ڹ���Ԥѵ�����ͽⷽ�棬�ٴ������ը�������������ϊ������ͬʱ�ں������ʵ�ӣ�����ݡ��������������棬ͨ������ģ�ͷ����ݽ��д�֣���ԭʼ���ݼ�����ƪ�¼��;��ӽ��ľ�ȷɸѡ�������ݶ����է��棬�������г����ģ�ֲ����й�ϣ����ϵͳ���������ϵͳ�������ݽ����˶��ζ����ȵľ��࣬���չ����˰���1.2����token�ļ�������ͷ����ե�Ԥѵ�����ݡ����������ͬ������ģ�ŀ�դ����Ԥѵ��ģ�ͣ�����������˳���50%��

������������ӣ�����ݵļ����ϣ�ϊ�˸��õ�����ѵ��ч�ʣ�baichuan-7b���������ģ���������ӿ�������̣�����������غͼ�ⱥ���ã�����ӧ�ż���ģ�ͳ��в����լ��ؼ�����ԡ�ͨ����ч��ѵ�����̵���ͨ�ţ�baichuan-7b�ɹ���ʵ���˼�����ͨ�ŵĸ�ч�ص��������ﵽ�˳����ե�ѵ�����٣���ǧ����ⱥ��ѵ�����´ﵽ180 tflops��ҵ������ˮƽ��

ͬʱ�����еŀ�դģ�ʹ��ڳ�����2k���ڣ�����һщ���ı���ģ��������ҫ�����ⲿ֪ʶ��������ǿ�ij����������ĵ�������������ģ����ѵ���������׶β���խ�����������ϣ��2k�ĵ������ȴ��ڱƚθ����լ��baichuan-7b���ڸ�ч��attention�����ż�ʵ�����򼶱𳬳���̬���ڵ��������������ο�դ��Ԥѵ��ģ�Ϳ�����4k�����ĵ��ڣ�ʹģ��ӧ�ó������ӹ㷺��

���⣬baichuan-7b����ģ��ѵ�����̽���������ż��������˸���ѧ���ȶ���ѵ�����̺ͳ�����ѡ��ʹ�� baichuan-7bģ�͵������ٶȴ����������ͬ�ȳ�����ģ��ģ����ȣ�baichuan-7b������ȣ�ppl����ѵ����ʧ��training loss���ȹؼ�����ָ���ϱ��ָ������㡣

��ѿ����ã��廪��������ʹ�������о�

���ֿ�դ����baichuan-7b�������apache-2.0э�飬ģ��ȩ�ز������������э�飬ֻ����м򵥵ǽǽ���������á�

baichuan-7b�˴ο�դ������ʮ�ַḻ���������������롢int4����ʵ�֡�΢�����룬�լ�Ԥѵ��ģ�͵�ȩ�ء����у�΢�����뷽���û���ģ�ͽ��е������ż�������������int4����ʵ���������ڿ����ߵͳɱ��ؽ���ģ�͵ij����ӧ�ã�Ԥѵ��ģ��ȩ�ؿ�դ���û������ֱ��ʹ��Ԥѵ��ģ�ͽ��и���ʵ���о���

���˽⣬������ѧ���廪��ѧ���������ѧ������ʹ��baichuan-7bģ���ƽ�����о����������ƻ���δ����ٴ����������������ͬ�ƶ�baichuan-7bģ�͵�ӧ�úͷ�չ��

�廪��ѧ������˾���о�ժժ���������ϵ��������ⱥ��ϊ�� baichuan-7bģ���������ϵ�ч������ʮ�ֳ�ɫ����������õŀ�դ��ʽչ�ֳ����ŵ�̬�ȣ���������������ҳ�ƶ�������չ���ŷӽƻ�����baichuan-7bģ�Ϳ�չ˾���˹��������������о���

������ѧ�˹������о�ժ����������ҫ����ϊ��baichuan-7bģ�͵ŀ�դ���������ļ�������ģ�͵���̬���輰ѧ���о�������ҫ�ƶ����ã�ͬʱ��ҳ��ʾ��������ע�������̽�������������ĵ�����ģ�͵i�ȫ�ͷ����ͻ��н�һ�������о���

�ٴ�����ceo��с����ʾ��“���ο�դģ�͵ķ����ǰٴ����ܳ���2���º�ĵ�һ����̱����԰ٴ����ܶ�����һ�����õŀ��֡�baichuan-7bģ�ͣ�������ϊ�й���agi��ҵ��ש���ߣ�ҳϊ�����ģ�Ϳ�դ�����������µ�������”