ICLR 2022 | BEIT论文解读：将MLM无监督预训练应用到CV领域

今天跟大家聊一聊ICLR 2022微软亚研院的一篇工作BEIT: BERT Pre-Training of Image Transformers（ICLR 2022）。BEIT是一种图像无监督预训练，属于最近非常火的Vision Transformer这类工作的研究方向（Vision Transformer前沿工作详细汇总可以参考历史文章从ViT到Swin，10篇顶会论文看Transformer在CV领域的发展历程）。首先简单介绍一下这篇文章的整体思路：利用BERT中MLM（Masked Language Modeling）的思路，把一个图像转换成token序列，对图像token进行mask，然后预测被mask掉的图像token，实现图像领域的无监督预训练。

https://t.cn/A66oW2Bk

#基金[超话]#大盘演了几天，60分钟级别调整正式确立，今天正式选择了方向，接下来正式向下调整，最近的垃圾行情，场内一直让大家减仓、空仓，没毛病，接下来看调整3-5天调整，至于调整的幅度不做预测，底是走出来的，场内继续空仓，等掉下来，带大家干一波场内。想做场内的铁粉来集合了，没铁的快来打铁[作揖][爱你]#基金 股票##今日大盘#

#正午解盘[超话]#
我想上午应该是出方向了，11点前后，空头来了一波进攻，目前看，指标非常不好，资金最近几天最少，抛压很大，主力这几天最差，板块这边也不好，银行独木难支，其他板块全部都是做空的，所有迹象表明今天就是要下跌，而且下跌仅仅只是开始而已，下午的走势，不出意外的话继续跌，空头的目标就是补缺的，没到缺口附近都别想做多了，下午先看跌，后面看缺口附近多头来不来。