使用砖,可以摄取来自数百个数据源的数据逐步有效地进入你的三角洲湖,以确保你的lakehouse总是包含最完整和最新的数据用于数据科学、机器学习和业务分析。
数据摄取,简化
自动加载程序
使用自动加载程序来摄取任何文件,它可以在一个数据湖成三角洲湖。自动加载器指向一个目录在云存储服务,比如Amazon S3, Azure湖数据存储或谷歌计算存储和自动加载程序将逐步过程新文件与语义。
跟踪和监控
让汽车加载程序跟踪哪些文件已经处理,发现晚到达数据,推断出你的数据模式,监控模式变化随着时间的推移和救援数据与数据质量问题。自动加载器可以在几秒内连续摄取数据或者可以安排在你的预期数据到达率——无论是一次一个小时,一天一次或每月一次。
复制到
SQL命令复制到允许您执行批处理文件摄入到三角洲湖。复制到命令吸入文件到底是一次语义,输入时最好使用目录包含成千上万的文件或更少,和用户更喜欢SQL。复制到可以使用JDBC将数据推送到三角洲湖在你方便的时候。
高效的数据处理
使用砖,可以把数据从受欢迎的消息队列,等Apache卡夫卡AWS动作,Azure事件中心,或以更低的延迟。从这些来源摄取你的数据到三角洲湖,你不必担心失去这些服务中的数据由于保留政策。您可以再加工数据更便宜、更有效地随着业务需求的发展,你可以保持更长的历史查看你的数据机器学习能力以及业务分析应用程序。
统一你的数据从其他企业应用程序
利用大量数据摄入的网络合作伙伴如Azure数据工厂,Fivetran, Qlik, bob体育外网下载Infoworks, StreamSets和Syncsort轻松摄取来自应用程序的数据,数据存储、主机、文件和更多的湖成三角洲一个易于使用的连接器的画廊。利用合作伙伴实现全部潜力的生态系统相结合的大数据bob体育外网下载和基于云的应用程序的数据,数据库、主机和文件系统。
摄入变化数据捕获应用程序数据库的三角洲湖
你的业务依赖于应用程序的数据库。利用直接在数据分析用例可以导致业务应用程序中断由于太多的数据库上的负载。lakehouse通过复制这些数据集,可以确保您的业务应用程序可以运行没有问题你在分析利用有价值的信息用例。你可以摄取这些数据存储的数据通过利用Azure服务数据工厂,AWS DMS和汽车装载机或Fivetran等合作伙伴。bob体育外网下载
