【CVPR 2022】LiT:利用预训练改善图文对齐
出品人:jaelgu(GitHub)
LiT (锁定图像调整)介绍了一种利用对比训练对齐图像和文本模型的方法——对比调整。实验发现锁定的预训练图像模型和未锁定的文本模型能够达到最好的效果。LiT 模型拥有零样本迁移的能力,能够实现新视觉任务(例如图像分类或检索)。它还具有广泛的适用性,可靠地与多种预训练方法(监督和非监督)结合,并且可以跨越不同的体系结构(比如 ResNet、Vision Transformers 和 MLP-Mixer)。基于预训练 transformer 的 LiT 模型在 ImageNet 测试集上实现了 85.2% 的零样本迁移精度,在具有挑战性的 out-of-distribution ObjectNet 测试集上也实现了 82.5% 的精度。
预训练的图像文本模型可能有不同的表示大小,而对比损失通常期望相同大小的表示。为了补偿,LiT 为每个模型添加了一个可选的线性投影,将特征表示映射到一个共同的维度。该方法引入了两个符号分别表示图像模型和文本模型的设置:L 表示锁定变量,根据预训练模型初始化;U 表示解锁/可训练权重,根据预训练模型初始化。另外, u 表示解锁/可训练权重,随机初始化。
如果你觉得我们分享的内容还不错,请不要吝啬给我们一些鼓励:点赞、喜欢或者分享给你的小伙伴!
如果你对我们的项目感兴趣请关注:
[微风] 用于构建模型推理流水线的框架 Towhee:https://t.cn/A6SZZgUj
出品人:jaelgu(GitHub)
LiT (锁定图像调整)介绍了一种利用对比训练对齐图像和文本模型的方法——对比调整。实验发现锁定的预训练图像模型和未锁定的文本模型能够达到最好的效果。LiT 模型拥有零样本迁移的能力,能够实现新视觉任务(例如图像分类或检索)。它还具有广泛的适用性,可靠地与多种预训练方法(监督和非监督)结合,并且可以跨越不同的体系结构(比如 ResNet、Vision Transformers 和 MLP-Mixer)。基于预训练 transformer 的 LiT 模型在 ImageNet 测试集上实现了 85.2% 的零样本迁移精度,在具有挑战性的 out-of-distribution ObjectNet 测试集上也实现了 82.5% 的精度。
预训练的图像文本模型可能有不同的表示大小,而对比损失通常期望相同大小的表示。为了补偿,LiT 为每个模型添加了一个可选的线性投影,将特征表示映射到一个共同的维度。该方法引入了两个符号分别表示图像模型和文本模型的设置:L 表示锁定变量,根据预训练模型初始化;U 表示解锁/可训练权重,根据预训练模型初始化。另外, u 表示解锁/可训练权重,随机初始化。
如果你觉得我们分享的内容还不错,请不要吝啬给我们一些鼓励:点赞、喜欢或者分享给你的小伙伴!
如果你对我们的项目感兴趣请关注:
[微风] 用于构建模型推理流水线的框架 Towhee:https://t.cn/A6SZZgUj
iQOO 11系列今日正式发布。这次iQOO 11不仅继续与BMW M Motorsport深度合作,还推出了曼岛版(绿)与赛道版(黑),作为爱车的iQOO 9 Pro用户,到了换机的年份,这三款都难以抉择~ 看完发布会以后有几项升级印象最深刻:
1.芯片算力更强: 全系搭载第二代4nm骁龙8及自研V2芯片。
2.屏幕视觉体验更爽: 全系标配2K 144Hz全感屏。
3.充电更快: 原本充电已经很快的iQOO这次再次挑战自己,200w超快充让充电时间来到10分钟级别,同时还有5000mAh电池保证续航。
4.镜头配置更高,拍摄算法更精良: iQOO 11搭载三星GN5 5000万像素大底主摄,iQOO 11 Pro则搭载了定制的索尼IMX866 5000万像素超感光大底主摄,iQOO 11 Pro还支持仿生光谱技术,可实现硬件级还原人眼所感知的信息,拍照时所见即所得,色彩和白平衡更准确。
5.强悍的散热效果与共享内存模式,让iQOO 11再次成为KPL/KIC赛事官方指定用机,给普通用户也带来超规格的体验。#数码资讯##手机#
1.芯片算力更强: 全系搭载第二代4nm骁龙8及自研V2芯片。
2.屏幕视觉体验更爽: 全系标配2K 144Hz全感屏。
3.充电更快: 原本充电已经很快的iQOO这次再次挑战自己,200w超快充让充电时间来到10分钟级别,同时还有5000mAh电池保证续航。
4.镜头配置更高,拍摄算法更精良: iQOO 11搭载三星GN5 5000万像素大底主摄,iQOO 11 Pro则搭载了定制的索尼IMX866 5000万像素超感光大底主摄,iQOO 11 Pro还支持仿生光谱技术,可实现硬件级还原人眼所感知的信息,拍照时所见即所得,色彩和白平衡更准确。
5.强悍的散热效果与共享内存模式,让iQOO 11再次成为KPL/KIC赛事官方指定用机,给普通用户也带来超规格的体验。#数码资讯##手机#
#欢乐消除开心假日[超话]##欢乐消除开心假日#
合成+装修小游戏,免下载不占内存!丰富的任务关卡,充满乐趣的合成挑战+各种风格的房间自由装修。花园、厨房、浴室、儿童房、宠物房等等!甚至还有限时节日房间等你装扮,氛围感满满!
轻松解压的玩法,合并相同的道具进行升级,配上解压的音效,流畅的操作手感。尽情享受其中的乐趣,心情更加放松。
横版的卡通界面,清新的画风和配色,高清的游戏画质。带给你很棒的视觉效果。
解锁各种的风格:多样性的房间装修风格等您解锁,可以设计出专属的房间类型。
超高自由的装修模式:家具随便拖拽摆放,随意更换,一切都将由您来决定,装修出满意房间。
体验超多关卡:海量的任务关卡:上千道的任务订单体验,畅享无限的消除过程,将会让您越玩越开心的。
支线/限时活动:除主线房间持续制作更新外,支线/限时活动也在不断推出,超多新玩法给你带来新鲜感。
就算你是一个新手玩家也照样能够在各种关卡中轻松驾驭。一边是有趣的合成一边是家居装修,一点点的改造都能让大家很有成就感哦。
—————————————————
另外,【❗关注➕转发❗】这条微博 露易丝抽5人送 20钻石➕100体力 下周一(12号)开奖!
#游戏分享##游戏##抽奖#
合成+装修小游戏,免下载不占内存!丰富的任务关卡,充满乐趣的合成挑战+各种风格的房间自由装修。花园、厨房、浴室、儿童房、宠物房等等!甚至还有限时节日房间等你装扮,氛围感满满!
轻松解压的玩法,合并相同的道具进行升级,配上解压的音效,流畅的操作手感。尽情享受其中的乐趣,心情更加放松。
横版的卡通界面,清新的画风和配色,高清的游戏画质。带给你很棒的视觉效果。
解锁各种的风格:多样性的房间装修风格等您解锁,可以设计出专属的房间类型。
超高自由的装修模式:家具随便拖拽摆放,随意更换,一切都将由您来决定,装修出满意房间。
体验超多关卡:海量的任务关卡:上千道的任务订单体验,畅享无限的消除过程,将会让您越玩越开心的。
支线/限时活动:除主线房间持续制作更新外,支线/限时活动也在不断推出,超多新玩法给你带来新鲜感。
就算你是一个新手玩家也照样能够在各种关卡中轻松驾驭。一边是有趣的合成一边是家居装修,一点点的改造都能让大家很有成就感哦。
—————————————————
另外,【❗关注➕转发❗】这条微博 露易丝抽5人送 20钻石➕100体力 下周一(12号)开奖!
#游戏分享##游戏##抽奖#
✋热门推荐