今天和一个课题组朋友聊起来我也觉得很好笑 我之前做实验每次都一呆就是呆一天实验室 去了三十多次 到最后毕业师姐撒手什么都不管 最后还是我找的机电院研究生师哥帮我 人家在济南出差 下楼开腾讯会议跟我讲了论文格式怎么改 而且不仅是毕业 我中期答辩也是我师哥跟我讲了好多格式 内容上面的东西 人和人的差别就是挺大的[微笑] 希望我们以后别再遇见了[微笑]各自安好吧师姐
#国产大模型更懂中国用户#
2024年5月17日,智源研究院举办大模型评测发布会,正式推出科学、权威、公正、开放的智源评测体系,发布并解读国内外140余个开源和商业闭源的语言及多模态大模型全方位能力评测结果。
本次智源评测,分别从主观、客观两个维度考察了语言模型的简单理解、知识运用、推理能力、数学能力、代码能力、任务解决、安全与价值观七大能力;针对多模态模型则主要评估了多模态理解和生成能力。
在中文语境下,国内头部语言模型的综合表现已接近国际一流水平,但存在能力发展不均衡的情况。在多模态理解图文问答任务上,开闭源模型平分秋色,国产模型表现突出。国产多模态模型在中文语境下的文生图能力与国际一流水平差距较小。多模态模型的文生视频能力上,对比各家公布的演示视频长度和质量,Sora有明显优势,其他开放评测的文生视频模型中,国产模型PixVerse表现优异。
由于安全与价值观对齐是模型产业落地的关键,但海外模型与国内模型在该维度存在差异,因此语言模型主客观评测的总体排名不计入该单项分数。语言模型主观评测结果显示,在中文语境下,字节跳动豆包Skylark2、OpenAI GPT-4位居第一、第二,国产大模型更懂中国用户。在语言模型客观评测中,OpenAI GPT-4、百川智能Baichuan3位列第一、第二。百度文心一言4.0、智谱华章GLM-4和月之暗面Kimi均进入语言模型主客观评测前五。
多模态理解模型客观评测结果显示,图文问答方面,阿里巴巴通义Qwen-vl-max与上海人工智能实验室InternVL-Chat-V1.5先后领先于OpenAI GPT-4,LLaVA-Next-Yi-34B和上海人工智能实验室Intern-XComposer2-VL-7B紧随其后。
多模态生成模型文生图评测结果显示,OpenAI DALL-E3位列第一,智谱华章CogView3、Meta-Imagine分居第二、第三,百度文心一格、字节跳动doubao-Image次之。多模态生成模型文生视频评测结果显示,OpenAI Sora、Runway、爱诗科技PixVerse、Pika、腾讯VideoCrafter-V2位列前五。
文生图模型的客观评测指标与主观感受差异巨大,有失效的迹象,因此排名以主观评测为准;Mdjourney基本无法理解中文提示词,因此排名靠后;仅使用其官方公布的prompts和视频片段与其他模型生成的视频进行对比评测,评测结果存在一定的偏差。
https://t.cn/A6HIYk58
2024年5月17日,智源研究院举办大模型评测发布会,正式推出科学、权威、公正、开放的智源评测体系,发布并解读国内外140余个开源和商业闭源的语言及多模态大模型全方位能力评测结果。
本次智源评测,分别从主观、客观两个维度考察了语言模型的简单理解、知识运用、推理能力、数学能力、代码能力、任务解决、安全与价值观七大能力;针对多模态模型则主要评估了多模态理解和生成能力。
在中文语境下,国内头部语言模型的综合表现已接近国际一流水平,但存在能力发展不均衡的情况。在多模态理解图文问答任务上,开闭源模型平分秋色,国产模型表现突出。国产多模态模型在中文语境下的文生图能力与国际一流水平差距较小。多模态模型的文生视频能力上,对比各家公布的演示视频长度和质量,Sora有明显优势,其他开放评测的文生视频模型中,国产模型PixVerse表现优异。
由于安全与价值观对齐是模型产业落地的关键,但海外模型与国内模型在该维度存在差异,因此语言模型主客观评测的总体排名不计入该单项分数。语言模型主观评测结果显示,在中文语境下,字节跳动豆包Skylark2、OpenAI GPT-4位居第一、第二,国产大模型更懂中国用户。在语言模型客观评测中,OpenAI GPT-4、百川智能Baichuan3位列第一、第二。百度文心一言4.0、智谱华章GLM-4和月之暗面Kimi均进入语言模型主客观评测前五。
多模态理解模型客观评测结果显示,图文问答方面,阿里巴巴通义Qwen-vl-max与上海人工智能实验室InternVL-Chat-V1.5先后领先于OpenAI GPT-4,LLaVA-Next-Yi-34B和上海人工智能实验室Intern-XComposer2-VL-7B紧随其后。
多模态生成模型文生图评测结果显示,OpenAI DALL-E3位列第一,智谱华章CogView3、Meta-Imagine分居第二、第三,百度文心一格、字节跳动doubao-Image次之。多模态生成模型文生视频评测结果显示,OpenAI Sora、Runway、爱诗科技PixVerse、Pika、腾讯VideoCrafter-V2位列前五。
文生图模型的客观评测指标与主观感受差异巨大,有失效的迹象,因此排名以主观评测为准;Mdjourney基本无法理解中文提示词,因此排名靠后;仅使用其官方公布的prompts和视频片段与其他模型生成的视频进行对比评测,评测结果存在一定的偏差。
https://t.cn/A6HIYk58
【#腾讯文生文模型将开源#,下一代视频模型时长将超30秒】
大模型开源阵营再添一员。5月17日的腾讯云生成式AI产业应用峰会上,腾讯集团副总裁蒋杰表示,腾讯预计将在今年第三季度开源文生文模型,包括Hunyuan-S、Hunyuan-M和Hunyuan-L,分别用于手机端、PC端、云或数据中心部署。
蒋杰表示,在C端,5B(50亿参数)的MoE(混合专家)版本可在PC上快速跑起来,混元将对云和企业开发者开源的则是30B MoE模型。5月14日,混元已开源了文生图模型Hunyuan-DiT。
关于混元逐步开源的原因,腾讯混元模型应用负责人张锋告诉第一财经记者,大模型应用很多场景需要私有化,这种情况下只提供API(接口)不太能满足需求。腾讯混元文生图负责人芦清林则告诉记者,若业界不开放大体量的FounDiTion model(DiT基础模型),因数据及资源成本问题,独立研究人员乃至大型实验室都难以做出来,很多优化工作无法进行。https://t.cn/A6HIlvlY
大模型开源阵营再添一员。5月17日的腾讯云生成式AI产业应用峰会上,腾讯集团副总裁蒋杰表示,腾讯预计将在今年第三季度开源文生文模型,包括Hunyuan-S、Hunyuan-M和Hunyuan-L,分别用于手机端、PC端、云或数据中心部署。
蒋杰表示,在C端,5B(50亿参数)的MoE(混合专家)版本可在PC上快速跑起来,混元将对云和企业开发者开源的则是30B MoE模型。5月14日,混元已开源了文生图模型Hunyuan-DiT。
关于混元逐步开源的原因,腾讯混元模型应用负责人张锋告诉第一财经记者,大模型应用很多场景需要私有化,这种情况下只提供API(接口)不太能满足需求。腾讯混元文生图负责人芦清林则告诉记者,若业界不开放大体量的FounDiTion model(DiT基础模型),因数据及资源成本问题,独立研究人员乃至大型实验室都难以做出来,很多优化工作无法进行。https://t.cn/A6HIlvlY
✋热门推荐