问答题X 纠错

列举几个常见的流计算框架

参考答案：

目前有三类常见的流计算框架和平台：商业级的流计算平台、开源流计算框架、公司为支持自身业务开发的流计算框架。
1、商业级：IBM InfoSphere Streams和IBM StreamBase
2、较为常见的是开源流计算框架，代表如下：
Twitter Storm：免费、开源的分布式实时计算系统，可简单、高效、可靠地处理大量的流数据 
Yahoo! S4（Simple Scalable Streaming System）：开源流计算平台，是通用的、分布式的、可扩展的、分区容错的、可插拔的流式系统 
3、公司为支持自身业务开发的流计算框架：
Facebook Puma Dstream（百度） 
银河流数据处理平台（淘宝）

进入题库练习
查答案就用赞题库小程序 还有拍照搜题 语音搜题 快来试试吧
无需下载 立即使用

你可能喜欢

问答题

试述流计算的需求

参考答案：对于一个流计算系统来说，它应达到如下需求：高性能：处理大数据的基本要求，如每秒处理几十万条数据海量式：支持TB级甚至是P...
点击查看答案进入题库练习

问答题

试述流数据的特点

参考答案：流数据具有如下特征：1、数据快速持续到达，潜在大小也许是无穷无尽的数2、据来源众多，格式复杂3、数据量大，但是不十分关注...
点击查看答案进入题库练习

问答题

试述流数据的概念

参考答案：流数据，即数据以大量、快速、时变的流形式持续到达
点击查看答案进入题库练习

问答题

Spark对RDD的操作主要分为行动（Action）和转换（Transformation）两种类型，两种类型操作的区别是什么？

参考答案：行动（Action）：在数据集上进行运算，返回计算值。转换（Transformation）：基于现有的数据集创建一个新的...
点击查看答案进入题库练习

问答题

试述如下Spark的几个主要概念：RDD、DAG、阶段、分区、窄依赖、宽依赖。

参考答案：①RDD：是弹性分布式数据集（Resilient Distributed Dataset）的英文缩写...
点击查看答案进入题库练习

问答题

试述“Spark on YARN”的概念。

参考答案：Spark可以运行与YARN之上，与Hadoop进行统一部署，即“Spark on YA...
点击查看答案进入题库练习

问答题

从Hadoop+Storm架构转向Spark架构可带来哪些好处？

参考答案：（1）实现一键式安装和配置、线程级别的任务监控和告警；（2）降低硬件集群、软件维护、任务监控和应用开发的难度；（3）便于...
点击查看答案进入题库练习

问答题

Spark已打造出结构一体化，功能多样化的大数据生态系统，试述Spark的生态系统。

参考答案：Spark的设计遵循“一个软件栈满足不同应用场景”的理念，逐渐形成一套完整生态系统，既能够提供内存计算框架，也可以支持S...
点击查看答案进入题库练习

问答题

美国加州大学伯克利分校提出的数据分析的软件栈BDAS认为目前的大数据处理可以分为哪三个类型？

参考答案：①复杂的批量数据处理：时间跨度通常在数十分钟到数小时之间；②基于历史数据的交互式查询：时间跨度通常在数十秒到数分钟之间；...
点击查看答案进入题库练习

问答题

Spark的出现是为了解决Hadoop MapReduce的不足，试列举Hadoop MapReduce的几个缺陷，并说明Spark具备哪些优点。

参考答案：（1）Hadoop存在以下缺点：①表达能力有限；②磁盘IO开销大；③延迟高（2）Spark主要有如下优点：①Spark的...
点击查看答案进入题库练习
赞题库

赞题库-搜题找答案

（已有500万+用户使用）


  • 历年真题

  • 章节练习

  • 每日一练

  • 高频考题

  • 错题收藏

  • 在线模考

  • 提分密卷

  • 模拟试题

无需下载 立即使用
手机版 电脑版

版权所有©考试资料网(ppkao.com)All Rights Reserved