没时间看电影追剧,AI 一键让影视变漫画
摘要:近日,大连理工大学和香港城市大学的研究人员,发布了一个有趣的研究,可以自动将电视剧、电影或其他视频的画面生成为漫画形式,并配上文字气泡。
研究人员在论文中表示:「与最新的漫画生成系统相比,我们的系统可以合成更具表现力和吸引力的漫画。未来会将这一技术扩展到,利用文本信息生成漫画。」
论文中提出了一个全自动漫画生成系统,无需用户任何手动调整,就可以将任意类型的视频(电视连续剧、电影、卡通),生成高质量的漫画页面,将角色对话转化为气泡文字。而且该系统生成的漫画具有丰富的视觉效果,且可读性强。
该系统主要有三个模块,分别是:关键帧选择和漫画风格化、多页面布局生成、文字气泡生成和放置。
模块一:关键帧的提取和风格化
他们首先每 0.5 秒钟从原始视频中选择一帧,然后,利用字幕中的时间信息和两个连续帧之间的相似性,来选择信息关键帧。最后对关键帧进行风格化,也就是将普通图像转换为漫画风格的图像。
团队采用了扩展的高斯差法,将源图像转换为黑白图像。饭后执行 128 级颜色量化,得到量化后的图像,实现彩色风格化。就是这样,一组组真人电影镜头,变成了漫画风格。(如图3)
模块二:多页面布局
团队提出了一个多页布局框架,用来自动分配和组织页面的布局,同时能够呈现出更加丰富的视觉效果。
在这一模块中,首先需要计算出四个用于指导多页面布局生成的关键因素,包括:关键帧的兴趣区域(ROI)、关键帧的重要性等级、关键帧之间的语义关系和一个页面上的面板数量。
模块三:文字气泡的生成和放置
本文则提出的一项重要成果,即一种基于情感感知的气泡生成方法,可利用含有情感的视频音频和字幕信息,生成与之相适应的文字气泡形状。(如图4)
在该系统中,作者采用了三种常见的气泡形状:椭圆形气泡、思想气泡和锯齿状气泡。这三种气泡适用的感情分别为:情绪平静、想法(不说出来)、感情强烈。
与之前方法类似,本文也采用了发言人检测和唇动检测,来获取说话的人在一帧中的位置,然后将气球放置在其所属的人物附近。
虽然已经取得用户好评,但该系统当然称不上完美,仍有一些问题待解决。
比如,对于关键帧的选择,仍然可能有相似度过高的情况出现,这会带来画面的冗余。
另外,如果输入的视频没有字幕,那么在生成漫画之前,系统还要首先通过语音识别来提取台词,但是语音识别的结果往往容易出现错误,因此这也是该系统面临的一个挑战。
下一步将这一方法扩展到利用文本信息来生成漫画。也就是说,只要给出漫画剧本,系统就能够自动生成漫画,为漫画师节省大量时间。
原文:https://t.cn/A6tWdbXA
#人工智能[超话]#
摘要:近日,大连理工大学和香港城市大学的研究人员,发布了一个有趣的研究,可以自动将电视剧、电影或其他视频的画面生成为漫画形式,并配上文字气泡。
研究人员在论文中表示:「与最新的漫画生成系统相比,我们的系统可以合成更具表现力和吸引力的漫画。未来会将这一技术扩展到,利用文本信息生成漫画。」
论文中提出了一个全自动漫画生成系统,无需用户任何手动调整,就可以将任意类型的视频(电视连续剧、电影、卡通),生成高质量的漫画页面,将角色对话转化为气泡文字。而且该系统生成的漫画具有丰富的视觉效果,且可读性强。
该系统主要有三个模块,分别是:关键帧选择和漫画风格化、多页面布局生成、文字气泡生成和放置。
模块一:关键帧的提取和风格化
他们首先每 0.5 秒钟从原始视频中选择一帧,然后,利用字幕中的时间信息和两个连续帧之间的相似性,来选择信息关键帧。最后对关键帧进行风格化,也就是将普通图像转换为漫画风格的图像。
团队采用了扩展的高斯差法,将源图像转换为黑白图像。饭后执行 128 级颜色量化,得到量化后的图像,实现彩色风格化。就是这样,一组组真人电影镜头,变成了漫画风格。(如图3)
模块二:多页面布局
团队提出了一个多页布局框架,用来自动分配和组织页面的布局,同时能够呈现出更加丰富的视觉效果。
在这一模块中,首先需要计算出四个用于指导多页面布局生成的关键因素,包括:关键帧的兴趣区域(ROI)、关键帧的重要性等级、关键帧之间的语义关系和一个页面上的面板数量。
模块三:文字气泡的生成和放置
本文则提出的一项重要成果,即一种基于情感感知的气泡生成方法,可利用含有情感的视频音频和字幕信息,生成与之相适应的文字气泡形状。(如图4)
在该系统中,作者采用了三种常见的气泡形状:椭圆形气泡、思想气泡和锯齿状气泡。这三种气泡适用的感情分别为:情绪平静、想法(不说出来)、感情强烈。
与之前方法类似,本文也采用了发言人检测和唇动检测,来获取说话的人在一帧中的位置,然后将气球放置在其所属的人物附近。
虽然已经取得用户好评,但该系统当然称不上完美,仍有一些问题待解决。
比如,对于关键帧的选择,仍然可能有相似度过高的情况出现,这会带来画面的冗余。
另外,如果输入的视频没有字幕,那么在生成漫画之前,系统还要首先通过语音识别来提取台词,但是语音识别的结果往往容易出现错误,因此这也是该系统面临的一个挑战。
下一步将这一方法扩展到利用文本信息来生成漫画。也就是说,只要给出漫画剧本,系统就能够自动生成漫画,为漫画师节省大量时间。
原文:https://t.cn/A6tWdbXA
#人工智能[超话]#
#开团# 【微麦无线高清投影仪】
王一博同款投影仪,升级款,能随身带着走的投影仪、智慧镜面、灵敏触控、一手掌握。随手一放它会自动对焦到位!再也不需要人手调节了,巨方便!
✔️现在基本每个家庭都必备投影仪,屏幕大体验感和观感都非常好,躺在沙发上和床上看,感觉太棒了!!而且自带很多教育资源,想比电视和ipad 对孩子眼睛好太多!
✔️这款投影仪用下来真的蛮好的,画面非常清晰,连接HIFI音箱,发声自然清澈和电视无差。充电100分钟可以续航5小时,而且可以边充边冲!机子支持侧投、全幅四方矫正、怎么摆放都是舒适人眼的方正画面,躺在床上投影到天花板也可以看。机子自带支架,可支撑机子不用可收纳。可以用Ai语音控制,无需动手操作也能用遥控器连被窝都不用出,享受追剧看综艺的快乐~
✔️自带海量视频,手机用爱奇艺会员的也可以用,支持手机,电脑,平板投屏。更有儿童专区早教资源、语音操控,和小度一样一说就放,有孩子的一定要试试这个功能
1849到手顺丰包U,24期免息,每月只要77元☑️。记得一定要备注“如果团”送收纳包,不备注不送。
Link(下拉至宝贝详情领取
幽会卷后go 买) https://t.cn/A6UDTiKk
王一博同款投影仪,升级款,能随身带着走的投影仪、智慧镜面、灵敏触控、一手掌握。随手一放它会自动对焦到位!再也不需要人手调节了,巨方便!
✔️现在基本每个家庭都必备投影仪,屏幕大体验感和观感都非常好,躺在沙发上和床上看,感觉太棒了!!而且自带很多教育资源,想比电视和ipad 对孩子眼睛好太多!
✔️这款投影仪用下来真的蛮好的,画面非常清晰,连接HIFI音箱,发声自然清澈和电视无差。充电100分钟可以续航5小时,而且可以边充边冲!机子支持侧投、全幅四方矫正、怎么摆放都是舒适人眼的方正画面,躺在床上投影到天花板也可以看。机子自带支架,可支撑机子不用可收纳。可以用Ai语音控制,无需动手操作也能用遥控器连被窝都不用出,享受追剧看综艺的快乐~
✔️自带海量视频,手机用爱奇艺会员的也可以用,支持手机,电脑,平板投屏。更有儿童专区早教资源、语音操控,和小度一样一说就放,有孩子的一定要试试这个功能
1849到手顺丰包U,24期免息,每月只要77元☑️。记得一定要备注“如果团”送收纳包,不备注不送。
Link(下拉至宝贝详情领取
幽会卷后go 买) https://t.cn/A6UDTiKk
没时间看电影追剧?AI 一键让影视变漫画![doge] 近日,大连理工大学和香港城市大学的研究人员,发布了一个有趣的研究,可以自动将电视剧、电影或其他视频的画面生成为漫画形式,并配上文字气泡。 研究人员在论文中表示,与最新的漫画生成系统相比,他们的系统可以合成更具表现力和吸引力的漫画。未来会将这一技术扩展到,利用文本信息生成漫画。#人工智能# https://t.cn/A6tXQgUQ
✋热门推荐