砖的开源基因组工具包优于bob下载地址主要工具
2021年11月17日 在工程的博客
检查解决方案加速器下载笔记本在这个博客。
基因组技术推动的创建新疗法,从核糖核酸疫苗基因编辑和诊断。这些领域的进步促使我们构建发光一个开源工具包,基因组学机器学习和数据分析。工具箱本身是建立在Apache火花™,大数据处理的主要引擎,使人口规模的基因组学。
这个项目开始作为一个行业砖和Regeneron遗传学中心之间的协作。目标是高级研究通过构建下一代基因组数据分析的工具。我们的灵感来自生物信息学库等冰雹,叮铃声和bedtools,已婚,有一流的大规模数据处理的技术。发光现在十几倍计算效率比业界领先的基因关联研究的工具。
大规模辉光和基因组分析的视野
基因组学的主要瓶颈放缓增长数据管理和分析的复杂性。我们的目标是使它简单的数据工程师和科学家不是训练在生物信息学为基因组学数据处理分布式云计算环境。缓解这个瓶颈将反过来推高需求更多的测序数据在一个积极的反馈回路。
何时使用发光
发光领域的适用性聚合和基因变异数据的挖掘。特别是对于数据分析运行很多次迭代,或者需要几个小时才能完成,如:
- 注释管道
- 基因关联研究
- 基于gpu的深度学习算法
- 将数据转换为生物信息学的工具。
作为一个例子,包括分布式实现发光Regenie方法。你可以在一个节点上运行Regenie,建议学术科学家。但对于工业应用,发光是世界上最成本有效和可伸缩的运行成千上万的协会测试方法。让我们来看看这是如何工作的。
基准发光对冰雹
我们专注于基因关联研究的基准,因为他们是最计算密集型步骤分析管道。发光是弗斯回归> 10 x高性能相对于冰雹没有交易的准确性(图1)。我们能够实现这一性能,因为我们首先应用一种近似方法,限制的完整方法变异与胆囊疾病(P辉光文档。
发光的砖Lakehouse平台bob体育客户端下载
我们有一个工程师小团队在行程紧凑开发的光泽。那么我们能够赶上世界领先的生物医学研究所,背后的脑力冰雹吗?我们通过开发的发光砖Lakehouse平台bob体育客户端下载合作行业合作伙伴bob体育外网下载。砖提供了基础设施,使你的生产力和基因组数据分析。例如,您可以使用砖的工作构建复杂管道与多个依赖项(图2)。
此外,砖是一个安全的平台可信的财富100强和医疗组织与他们最敏感的数据,bob体育客户端下载数据治理(坚持原则公平)、安全性和遵从性(HIPAA和GDPR)。
未来的挑战是什么?
发光现在在v1的成熟,我们正在寻求社会帮助有助于构建和扩展它。有很多令人兴奋的事情。
基因组学数据集太大了,批处理与Apache火花可以达到容量限制某些云区域。开放这个问题将得到解决三角洲湖格式,结合批处理和流处理。利用流媒体,三角洲湖使增量处理新样本或变量,与边界情况隔离进行进一步分析。发光与三角洲湖相结合将会解决“n + 1问题”在基因组学。
基因组学研究的一个进一步的问题是数据爆炸。有超过50份癌症基因组图谱Amazon Web服务。今天是“围墙花园”,提出的解决方案管理数据集在基因组学领域的平台。bob体育客户端下载这解决了数据复制,然后锁数据平台。bob体育客户端下载
这一摩擦就会缓解三角洲分享,一个开放的协议安全实时交换的大型数据集,这将使安全组织之间的数据共享,云和域平台。bob体育客户端下载统一目录将会很容易发现,审计和管理这些数据资产。