风君子博客6月20日消息,亚马逊云科技推出Amazon Redshift流式注入(Streaming Ingestion)功能预览,让客户能够直接从Amazon Kinesis Data Streams向Amazon Redshift数据仓库中注入实时数据并分析。
通常,在游戏实时数据分析、在线广告点击流分析、零售POS机数据流分析、应用日志和网络日志分析、物联网设备数据分析等应用场景中,应用或者终端设备会在短时间内持续生成巨量数据流。这些数据流会被送到Amazon Kinesis Data Streams进行实时缓存并最终使用Amazon Redshift完成数据分析。
以往,亚马逊云科技的客户如果想从Amazon Kinesis Data Streams向Amazon Redshift注入实时数据,需要先在Amazon S3中暂存数据,然后使用Copy命令加载数据来构建数据管道,这一过程通常需要几分钟才能完成。
现在,Amazon Redshift流式注入功能可以让客户无需在Amazon Simple Storage Service(Amazon S3)中暂存数据,直接将每秒数百兆的流数据接收到Amazon Redshift数据仓库集群并处理。客户使用现有工具和SQL执行下游处理和转换,无需额外的成本,在几秒钟内从数据中获得洞察。
亚马逊云科技方面表示,Amazon Redshift流式注入(Streaming Ingestion)功能的推出大幅简化流式数据管道构建,加速数据处理,支持以低延迟、高吞吐量访问数据仓库中的实时数据,帮助数据工程师、数据分析师和大数据开发者将数据分析从“批量”转向“实时”,提升了亚马逊云科技实时数据处理能力,并将进一步推动机器学习由实验转向规模化落地。