【这很AI】又一全新交互技术?

更新时间:0000-00-00 00:00:00    阅读:306

先想象这样一个场景:当你看到一个画面时,通过一个小应用,能随时配上一首契合图像意境的音乐,是不是看起来更酷?

先想象这样一个场景:当你看到一个画面时,通过一个小应用,能随时配上一首契合图像意境的音乐,是不是看起来更酷?

微信图片_20181113181046.jpg


有这样一种假象:当音乐响起,结合画面图景,会让你产生一种远离办公室或卧室,坐在森林旁边的潺潺流水中,甚至分身到暴露的山坡上的情景感。


日本研究人员的一个新项目就利用了这种想象力的潜力,并将其与AI算法结合,实现了这种奇妙的效果。


具体说来,是通过一款叫“Imaginary Soundscape” 的网络应用程序,使用机器学习来将您上传的任何图片和最符合的音频配对。

微信图片_20181113181051.jpg




上图为这款产品的首页,简单明了,你要做的就是上传一张图片,然后进入另外一个页面,显示你上传的图片同时,同时就会放出经过AI算法匹配后的背景音乐。


例如,上传日本的渔船木刻,这个系统会匹配波浪和水声;加载一幅抽象的夜莺画作,人工智能会给你搭配一首风铃和鸟叫的音景音乐。


微信图片_20181113181056.jpg


再比如上传上面这个画面,系统匹配的音乐就是一首相当古典的交响乐。

通常来说,结果正如你所期望的那样,画面什么样,匹配的音乐也近乎切合。但更有意思的是,当系统接收到你上传一些稀奇古怪的元素时,系统反馈的配音也会带来惊喜,比如将擎天柱与拖拉机声音配对。

微信图片_20181113181100.jpg


所有这些都是一个相对简单的AI算法的产物。它使用物体识别来识别图像中的元素,然后将这些元素与超过52,000个声音文件的数据集进行匹配。


这个产品的研究人员,东京大学的Yuma Kajihara,Shoya Dozono和Nao Tokui多年来一直在研究这种“交叉模式”模型。 


Imaginary Soundscapes的早期版本于1月份推出,旨在将音频与Google街景视图中的图像进行匹配。


这是一个有趣的小应用程序,也是AI支持的新型创意表达的绝佳示例。该系统并不完美,比如模糊识别会造成错误,而声音数据库无可避免地不完整,但这也是其魅力和神奇所在,你永远不知道它会给你匹配什么美妙的音乐。


如果有的话,它产生的偶然和意想不到的音乐背景比“正确”的匹配更有趣。



________________


“闪电配音”是内容与媒体首选的配音服务商,平台可实现7*24小时在线、最快15分钟实现千字配音且达到FM音质标准的实际要求,每百字仅需2-10元,通过产品驱动满足了对时效性要求高的自媒体等行业,实现了配音行业生产方式的变革。现阶段,平台已签约主播1万多名,平均每天有2千~3千笔订单,已服务累计服务客户超过3000家。行业覆盖新闻媒体、自媒体、知识付费、短视频、出版社有声书业务等;包括故宫、知识分子、见字如面、吴晓波频道、极客公园;磨铁、邮电出版社、喜马拉雅等。