历史上的今天
今天是：2024年12月28日（星期六）
2018年12月28日 | 干掉高速摄像头！神经网络生成极慢视频，突破人类肉眼极限
2018-12-28 来源：新智元
英伟达团队CVPR-18论文Super SloMo使用深度学习，能将任意视频变为“高清慢速播放”模式，从此不再错过任何细节。今天有人开源了PyTorch实现，赶紧来试试吧！
总有那么一些细节，你瞪大双眼拼了命想看清却依然奈不了何，比如下面这个：
跟得上球吗？要看清男子羽毛球比赛的细节实在不容易
有时候想盯住飞来飞去的羽毛球，非常吃力，这就是人类肉眼的极限。
你或许会说，好解决啊，用慢速回放功能就行了。
确实可以回放，但慢速回放的前提，是摄像机一开始就捕捉到了这些细节。如今，一些大型体育赛事已经用上了工业高速摄像头，为的就是在裁判的裁决引发争议时，可以用慢镜头回放来判定结果。
但是，没有专业的高速摄像头怎么办？
像我们用智能手机拍的视频，记录下生活中很多美好，随风飘逝的晚霞，又或者池塘溅起的涟漪，还有孩子们在泳池里泼水嬉戏，如果都能够放慢了观看，必将带来全新的感受。
正因如此，当今年计算机视觉顶会CVPR举行时，英伟达团队的一篇能让手机拍摄的视频也“高清慢速播放”的论文，在业界引发了很大的反响。
这项被称为Super SloMo的工作，使用深度神经网络，对视频中缺失的帧进行预测并补全，从而生成连续慢速回放的效果。
更赞的是，他们提出的方法，能够排除原视频帧当中被遮挡的像素，从而避免在生成的内插中间帧里产生模糊的伪像(artifact)。
值得一提，这篇论文的第一作者，是本硕毕业于西安交通大学、现在马萨诸塞大学阿默斯特分校读博四的Huaizu Jiang。第二作者Deqing Sun是英伟达学习与感知研究小组的高级研究员，本科毕业于哈工大，硕士读的港中文，在布朗大学取得博士学位后，在哈佛 Hanspeter Pfister 教授的视觉研究小组做过博士后。
感受一下Super-SloMo生成的“慢速回放”效果：
注意，左右两边都是Super SloMo生成的视频。左边是原始慢速视频，右边是将这个结果再放慢4倍的效果，如果不告诉你中间的细节(帧)是神经网络生成的，你会不会把它们当做真的慢速回放？来源：Huaizu Jiang个人主页
实际用手机拍摄的画面是这样的，对比后，意识到Super SloMo补充多少细节了吗？
论文作者称，他们能将30FPS(画面每秒帧数)的视频变为480FPS，也即每秒帧数增加了16倍。
根据Super SloMo项目主页，作者表示，使用他们未经优化的PyTorch代码，在单个NVIDIA GTX 1080Ti 和 Tesla V100 GPU上，生成7个分辨率为1280*720的中间帧，分别只需要0.97秒和0.79秒。（补充说明：从标准序列30-fps生成240-fps视频，一般需要在两个连续帧内插入7个中间帧。）
效果当然称得上惊艳。然而，令很多人失望的是，论文发布时并没有将代码和数据集公开，尽管作者表示可以联系 Huaizu Jiang 获取部分原始资料。
仅在论文中提到的数据和示例。来源：Super SloMo论文
今天，有人在 Github 上开源了他对 Super-SloMo 的 PyTorch 实现。这位ID为atplwl的Reddit用户，在作者提供的adobe24fps数据集上预训练的模型(下图中pretrained mine)，实现了与论文描述相差无几的结果。
现在，这个预训练模型，还有相关的代码、数据集，以及实现条件，都能在GitHub上查到。
自称新手的atplwl表示，他目前在努力完善这个GitHub库，接下来预计添加一个PyThon脚本，将视频转换为更高的fps视频，欢迎大家提供建议。
史海拾趣
|
通过使用电池实现在任何地方的移动使用是笔记本电脑区别于台式机的一个重要特征，相比起手机和PDA的耗电量，笔记本电脑的电池是很“可怜”的，要负担大尺寸的TFT，高速的硬盘，高主频的CPU和越来越大的内存，因此电池使用时间和PDA或者手机是不能相 ...… 查看全部问答＞ |
|
文 摘 提出了一种新的以基音周期为基础的分析方法。对语音信号，首先估计基音轨迹，即基音随时间的变化规律。然后根据这一轨迹对语音信号进行“基音调整”，将原始的、具有时变基音周期的信号转化为一个具有恒定基音周期的信号。这样就可以采用时 ...… 查看全部问答＞ |
|
我用cypress的68033做了一块板子，控制nandflash实现一个u盘。 在用三星kf1g08u0a型号的flash时，功能正常，可以读写，格式化。 当换成另一型号的kf1g08u0b的flash时就不行了，不能格式化，可以看到盘符。 不知道什么原因，flash在固件里需要配 ...… 查看全部问答＞ |
|
前几天，在跑程序的时候遇到一个zbuf的异常，vxworks打印的调用链如下： data storage Exception current instruction address: 0x0050cb60 Machine Status Register: 0x00029230 Data Exception Address Register: 0x0069bf38 Condition ...… 查看全部问答＞ |
|
是这样的 ，有个读写器有gpio接口，它是10个接口， 另外我想用这个东西来控制三色报警灯（三个颜色，另外可以报警）。 请问这个东西如何接线，来控制我灯的四个状态。 gpio有四个输入口和四个输出口，我 ...… 查看全部问答＞ |
|
本人写了一段代码，能把数据往当前焦点处输入： INPUT Input; for( i=0 ; strInfo!=\'\\0\' ; i++ )//strInfo已经付值 ...… 查看全部问答＞ |