这位音乐家将科学数据转化为精细的旋律

经过特蕾莎凯莉 2019年8月20日下午05:35

如果你觉得盯着一排一排的数字和图表看很无聊，这些音乐家也同意这一点。他们的任务是通过声音揭露新的科学信息，将扁平的数据集转化为乐谱——为科学创造原声:

听听马克·巴洛拉用笛子和电子学演奏的奇异声效:

珍妮·埃文斯第一次见面马克Ballora在宾州的一次社交聚会上两人都是大学教授，但他们的工作领域非常不同。埃文斯是一名气象学教授，而巴罗拉则研究音乐技术。当时，埃文斯并不知道音乐是如何影响她的研究的。像大多数科学家一样，她用图表和统计数据来分析数据。她从未听说过“声波化”。但是巴罗拉的热情说服她去尝试一下。

“我一生都是一位传统科学家。我一直想找到一种方法，让我的科学超越正式的科学设置，而这是一种摆脱自我的方法，”她说。“我的创造力来自于与Ballora的合作。”

从气候趋势到松鼠的心跳，Ballora Wove展示了科学家的精确和准确性的旋律。

Ballora于2019年7月18日逝世，留下了数据的音频表示，称为Sunities。超声数据是一个新兴领域，芭蕾舞狂有助于先驱。从气候趋势到松鼠的心跳，Ballora Wove展示了科学家的精确和准确性的旋律。Ballora表示，科学家们对他的声音中看不到他们的图表中无法看到的新信息并不罕见。他称之为“声音之间的裂缝”。

对埃文斯来说，这一偶然的合作是期待已久的。

埃文斯研究的是偏离典型路线的飓风和热带气旋。当巴洛拉让她发声时数据她注意到，气旋风眼的结构在决定路径、降雨和风型方面起着重要作用。

巴罗拉创建了一个计算机代码，为数据点分配音乐参数，比如风暴的经度。通过以声波形式收听数据，他们可以听到飓风移动、速度或强度增加的情况。埃文斯将这种声音描述为“电子音乐”和“非常酷的东西”。这是她第一次能听到风暴的形状与风力强度的关系，这是她的图表和图表没有揭示的。

巴洛拉还将2005年的飓风季是有史以来最活跃的大西洋季节。

听听Mark Ballora对2005年飓风季节的声音分析:

“这让我大吃一惊。你可以同时理解所有风暴的演变，并听到它们彼此之间的关系。没有风暴的时候，它从嘈杂的杂音变成了死寂，”埃文斯说。

当巴罗拉对她的数据进行声波化处理时，她注意到气旋风眼的结构在决定路径、降雨和风型方面起着重要作用。

巴罗拉的工作还带来了其他发现。他的声波实验揭示了高能恒星爆炸时产生的电磁波，这是其他人仅凭肉眼分析数据时所忽略的。但是，尽管巴洛拉的目标是严格的准确性，他的创造性并没有失去。他选择了闪烁的色调来代表太阳风——形成北极光的带电粒子。他用旋涡的声音来描述热带风暴。巴罗拉甚至与前感恩而死乐队(Grateful Dead)鼓手米基·哈特(Mickey Hart)和宇宙学家乔治·斯穆特(George Smoot)合作，在电影中创造了旋转中子星的声音宇宙的节奏。

马克·巴罗拉与前感恩而死乐队(Grateful Dead)鼓手米基·哈特(Mickey Hart)和宇宙学家乔治·斯穆特(George Smoot)合作，为电影《宇宙的节奏》(Rhythms of the Universe)创造了旋转中子星的声音:

现在，他在战场上的同事们都在为他的死感到悲痛。

佐治亚理工学院声波化实验室的负责人、心理学教授布鲁斯·沃克也在研究如何利用声音来表达信息。他说，巴罗拉的多学科性质对他在该领域的领导地位至关重要。拥有计算机和心理学专业知识的沃克说，声波化是“为那些不能看和看不见的人准备的。”

他的声波实验揭示了高能恒星爆炸时产生的电磁波，这是其他人仅凭肉眼分析数据时所忽略的。

想象一家消防员在一个烟熏的建筑物中或一个潜水潜水员在黑暗的海带森林中：他们不是盲目的，但是，考虑到条件，他们看不到。或者想到一个专注于前方的道路的司机，谁不能看他们，或者一个专注于他们的病人的外科医生，他们看不到监视器屏幕。这是人民，沃克说，谁“抵消了他们愿景的极限”。超声处理可以填补空白。

对于科学家来说，在巴罗拉的声波化图中“看到”他们在图中看不到的新信息并不罕见。

根据沃克的说法，人类具有识别音频模式的敏锐能力。以演讲为例。它是一个复杂的、时变的信号，用音调、节奏、音调和音量来编码数据——我们的思想数据。然而，不知何故，我们可以解读信息并理解彼此。

宾夕法尼亚州立大学音乐技术教授Mark Ballora在他的实验室工作。巴洛拉的职业生涯是用声音处理科学数据，帮助研究人员理解他们无法在图表中可视化的信息。Patrick Mansell拍摄。

沃克发现的证据表明，我们用声音比用视觉更能识别模式。最近，沃克开发了一种超声波技术来帮助医生诊断黑色素瘤。医生目视检查可疑痣，以确定它们是否存在癌症，这是一个40％准确的过程，充其量。因此，Walker尝试使用声音来增加赔率：医生拍摄可疑鼹鼠，然后计算机程序分析了鼹鼠分配声音，例如音调和音调，颜色或纹理。然后它生成一个代表痣的声音。听沃克对鼹鼠的经验，医生可以诊断癌症90％的精度。

听取沃克对潜在的癌症鼹鼠的铿son声，医生可以诊断癌症，精度为90％。

沃克说:“当我们把复杂的数据转换成声音并听它时，出现的往往是我们可以通过声音理解的东西，尽管我们永远无法从视觉上理解它。”

科学家们实际上已经做了很长时间了。伽利略是一位训练有素的音乐家，首先确定物体通过倾听粗弦卷在板条上滚动的物体滚动而均匀加速。在20世纪60年代，美国宇航局的科学家们认识到空间探测器正在通过土星的戒指行驶将数据转换为声音听到弓形震动，就像波浪一样，沃克解释说。

2015年，科学家记录下了引力波由黑洞碰撞产生的引力波探测器，就像超灵敏的麦克风。

听听两个黑洞碰撞的声音，这是LIGO在2015年记录的:

对于布莱顿大学媒体艺术技术教授、音乐家凯利·斯努克来说，声化技术使复杂的数学函数，比如曼德尔布罗特集合，变得容易理解。

“听到声音。曼德尔勃特集合让我明白了数学。这有多强大?我们的感官真的协同工作，”她说。“这就是我想做的——通过音乐让难以接近的事物变得触手可及。”

斯努克现在正在构建一个播放数据集的虚拟仪器。第一次是为了纪念约翰内斯·开普勒1619年出版这本书400周年世界和谐，它描述了行星的运动。

想象一家消防员在一个烟熏建筑物或黑暗的海带森林中的潜水员：他们不是盲目的，但是，鉴于条件，他们看不到......声音可以填补空白。

斯努克认为，如果人们能同时看到和听到数据集，他们就能更好地理解科学。她的乐器,被称为肯考迪娅将在博物馆和通过一个iPhone应用程序访问，让每个人都可以玩音效。

布兰登·比格斯是一位自学成才的程序员，他让盲人更容易接触到软件内容。他说，像斯努克的康考迪亚(Concordia)这样的“动手学习”经验，对教育者来说并不像他们应该得到的那样。

“如今的许多教育都完全是视觉化的，他们忽略了音频和触摸。这是个问题，”他说。“我们忽视了三分之二的大脑。人们需要多感官学习。”

Biggs共同成立索尼娅·比格斯教育服务中心提供技术和支持，让盲人学生更容易接受教育。但这并非他一直以来的目标。他曾经是一名声乐表演专业的学生，他原本想继续学习音乐技术。当时，这项技术还不适合比格斯这样的人，比格斯从出生起就在法律上失明。现在，Biggs为策略游戏创造音频地图——就像《魔兽世界》(World of Warcraft)，但没有电脑屏幕。作为一名玩家，Biggs设计了音效来帮助玩家引导他们的角色在游戏中前进。

“当我们把复杂的数据转换成声音并听它时，出现的往往是我们可以通过声音理解的东西，尽管我们永远无法从视觉上理解它。”

乔治亚州技术Sonefication实验室的Bruce Walker

最近，比格斯从绘制虚拟风景转向绘制真实风景。他在他的家乡加州帕洛阿尔托建立了一个游乐场的音频和触觉地图，目前正处于测试阶段。

“没有地图可以通过声音查看，”他指出。“谷歌地图与Soneation一样接近，因为地图得到。但我知道你在某个时候看看GPS。”Biggs解释说，导航体验不适合盲人，谁需要它比视力更多地导航。

这一领域不仅对科学家或盲人有用:石溪大学(Stony Brook University)的音乐教授玛格丽特·斯黛戴尔(Margaret Schedell)认为，音乐还可以帮助帕金森症患者更好地行走。

谢德尔与物理治疗教授丽莎·穆拉托里合作，创建了一个项目使用声音改善步态。他们要求帕金森的患者在声音形式中倾听他们的行走模式。他们选择了一个简单的声音---“蜜蜂，蜜蜂哦” - 但它只花了一个星期的时间来实现这一天，这一切都是乏味的乏味。相反，他们让患者倾听扭曲的流行音乐和有吸引力，只有在他们的行走改善时只会正确地播放。Squareel即使在他们停止治疗后，患者的Gaits也得到了改善。

谢德尔说，当大数据开始普及时，数据超声化就开始了，科学家们“没有视觉上的渠道来传达信息”。而且，就像用脚敲击音乐节拍一样，理解声音是可以学习的。