目前的 AI 技术在拍摄一本书的图片并识别其是什么书方面已经取得了一定的进展。
在图像识别领域,神经网络发挥着重要作用。例如,对于识别印刷体图片,通常会先将图片转换为黑白,调整至固定尺寸,然后与数据库中的内容进行对比以得出结论。但实际情况较为复杂,存在多种字体、不同拍摄角度等多种例外情况,单纯依靠添加规则的方法不可行,而神经网络专门处理这类未知规则的情况。
不过,要准确识别一本书,还面临一些挑战,如书籍的版本、封面设计的多样性等。但随着技术的不断发展和数据的积累,未来 AI 识别一本书的准确性有望不断提高。
同时,也有一些相关的实验和研究,比如通过设计工作流让 AI 自举式地进行创造,从作家的作品中提取名场面并转译成绘画指令等。
那有没有可能用一套提示词架个agent flow,让AI自举式的开始创造呢?还真有可能。我给AI设计了一套工作流,依次做以下几件事:1.根据画风匹配作家2.从几个干扰选项中确认作家、排除步骤一瞎匹配的那些3.根据作家的作品描绘名场面4.将名场面转译成绘画指令5.将指令用对应画风画出来例如下图左上角的猫猫,AI能非常到位地识别匹配到作家奥斯卡·王尔德。从四幅图中挑出最配王尔德的它也能挑准,说明那是真匹配。(我做了好些这个实验,收到很多令人惊叹的结果,后面另写文章介绍。)然后,它从《道林·格雷的画像》这部小说中提取出名场面,转译成prompt,得到了如下的图画。注意到左侧,年青俊美的道林格雷那空洞的眼神了吗?注意到右侧,手握匕首的道林,和都柏林Merrion广场里的王尔德雕塑是同样的姿势吗?这些细节,真的让我鸡皮疙瘩都起来了。当给到的方法足够好,让AI能从人类知识的宝库里获取足够多信息,AI也可以有精彩的自举式创造。[heading1]6[heading2]
如果识别一个印刷体图片,我可能会怎么做神经网络解决的是未知规则的处理。先把图片都变成黑白大小变成固定尺寸和数据库的东西对比得出结论然而,这种情况过于理想化。不仅存在多种字体,即使对于印刷体,不同的拍摄角度也引入了多种例外情况。虽然存在图形算法进行矫正,但整体方法仍然是基于不断添加规则。这种方法本质上是试图通过不断增加和完善规则来解决问题,这显然是不可行的。虽然这种方法可以解决象棋的问题,但对围棋来说就非常困难了。围棋的每个节点有三种可能状态:白、黑或空,加上不同节点间状态的组合,现有的资源无法应对。神经网络专门处理未知规则的情况。将图片转换为黑白,调整图片至固定尺寸,与数据库中的内容进行对比,最终得出结论。神经网络的发展得益于生物学研究的支持,并且在数学上提供了一种方向,使其能够处理未知的情况,如手写体识别。关于这部分内容,非常建议看《这就是ChatGPT》这本书,它的作者是被称为”在世的最聪明的人”,研究神经网络几十年,创作了Mathematica、Wolfram等备受推崇的软件,这本书最特别之处还在于,导读序是美团技术学院院长刘江老师回顾了整个AI技术发展的历史,对于了解AI,大语言模型计算路线的发展,起到提纲挈领的作用,非常值得一读。本文写作过程中得到了[byzer-llm](https://github.com/allwefantasy/byzer-llm)作者祝威廉的大力支持,在此感谢。byzer-llm选择了一个非常特别的技术路线,在大模型时代显得尤为重要。
[title]《PROMPTS FOR AI DANCE MUSIC》Hello and welcome!你好,欢迎光临!Thanks for opening this ebook and your mind to the future ofmusic creation using text.With this book and a creative spirit,letyour imaginations come alive with artistic and specific promptingstrategies.This book is your backstage pass to the party of tomorrow,where words can sketch new songs,inspire new horizons of musicalgenres and render timeless works of sonic wizardry…感谢你打开这本电子书,并将你的心灵敞开,迎接用文字创造音乐的未来。通过这本书和你的创造力,让你的想象力随着艺术和具体的提示策略而活跃起来。这本书是你进入未来派对的后台通行证,在这里,文字可以勾勒出新的歌曲,启发新的音乐风格,并呈现出永恒的声音魔法作品……Think of this as your invite to team up with AI and make more musicthan you’ve ever imagined.We 're talking beats that pulse with life,rhythms that make your soul wanna dance,and melodies that stick withyou like the best kind of earworm.把这本书看作是你与AI合作的邀请,共同创作比你曾经想象的更多的音乐。我们说的是充满生命力的节拍,让你的灵魂想要跳舞的节奏,以及像最佳的耳虫一样萦绕在你心中的旋律。We 've put together this book because we know music isn 't just aboutthe notes; it 's about the vibe,the feeling,and the journey.It 's foryou—the producers,the bedroom DJs,the shower singers turnedsongwriters,and everyone who 's ever felt a beat and thought,"Yeah,Iwanna make that."