2020年大数据量的云织机

2020-01-14 13:35:01    来源:    作者:

如果您在2020年涉及大数据,那么将很难避免使用云,因为云已成为存储和处理大量数据的实际标准平台。随着云巨头争夺霸主地位,云将在今年迅速变化。成功地在云中导航这些动态可能意味着庆祝大数据胜利与清理数字混乱之间的区别。

现代云堆栈依靠Kubernetes进行容器编排。预计今年将在Kubernetes上启用大数据和AI工作负载方面取得进展,或者是Alluxio的创始人兼首席技术官Haoyuan “ HY” Li 称其为“ Kubernetifying ”分析堆栈。

“容器和Kubernetes在无状态应用程序(如Web服务器和独立数据库)上表现特别出色,但在高级分析和人工智能方面,我们并没有看到大量的容器使用情况,” Li说。“在2020年,我们将看到在Kubernetes领域,向AI和分析工作负载的转变将变得更加主流。“ ubernetizing”分析堆栈将意味着通过将数据从远程数据孤岛移到K8s集群中来解决数据共享和弹性问题,以实现更严格的数据局部性。”

2020年大数据

两位信息构建者副总裁埃里克·拉布(Eric Raab)和卡比尔·乔杜里(Kabir Choudry)表示,目前,我们已经达到了数量庞大的云原生分析应用程序,并且由于这一原因,云将在2020年辞职。

Raab和Choudry说:“使用BI和分析工具的组织如今属于三类之一:当前在云中运行的组织,迁移到云中的组织以及讨论迁移到云中的组织。” “尽管他们过去可能因担心其平台的体系结构是否旨在与云生态系统集成和开发而受阻,但现在有专门针对基于云的操作而构建的成熟解决方案。到2020年,组织将迁移到云以利用云原生解决方案的可用性,可扩展性和灵活性的大门将打开。

Teradata云营销总监Brian Wood预测,企业将在所有新分析工作负载的部署中成为云计算第一人。

2020年大数据

他说:“预计IT部门将默认使用公共云,以支持任何业务计划,而不仅仅是现有基础架构的容量扩展。” 与公共云供应商签订的“使用或失去使用”批量购买协议将促使企业IT部门盲目地偏爱云部署位置而不是解决方案适合性,这令他们的领导人最终感到遗憾。满足短期预算目标的狂热将胜过考虑周全的计划和战略投资的智慧。”

公众的云已经得到了大多数媒体的关注。但在2020年,我们会看到重新崛起的私有云,预计乔恩·托尔,首席营销官Cloudian。

“具有大规模存储需求的组织,例如医疗保健,科学研究,媒体和娱乐领域的组织,在管理容量密集型工作负载(可能达到数十PB)方面面临着独特的挑战,” Toor说。“私有云通过提供公共云的规模和灵活性优势以及本地存储的性能,访问,安全性和控制优势来应对这些挑战。”

云的简单性和灵活性是一大优势。但是,基于实用程序的云计算定价并不适合所有工作负载。Splice Machine首席执行官Monte Zweben表示,当前这一轮的数字化转型计划或DX 2.0是云计算中的“圆钉子” 。

他说:“' 云幻灭'之所以盛行,是因为电表一直在运行。” 急于迁移到云端的公司完成了他们的第一阶段项目,并意识到他们拥有与之前运行的应用程序相同的应用程序,而没有利用新的数据源来使它们充满AI。实际上,他们的运营支出实际上已经增加了,因为人工操作员的节省完全被始终处于运行状态的应用程序的云计算资源的成本所淹没。哎哟。这些资源在内部部署之前已被资本化,但现在已达到损益表。”

Quest Software的Foglight研发团队的软件工程高级经理秦英华说,混合计算的兴起意味着传统的数据中心将消失。

秦说:“在未来几年中,随着云服务,物联网和其他创新限制了传统本地数据中心可以提供的优势,我们可以期待传统数据中心消失。” “将需要根据业务需求而不是物理位置来定位计算工作负载,结果,公司将开始迁移到混合云以提供更灵活的基础架构。”

2020年大数据

随着公司寻求结合本地资源和基于云的资源的方式,混合环境正在不断发展。Ensono公共云总经理肖恩·罗伯茨(Sean Roberts)说,弄清楚如何管理云和本地资源的混合并不是一件容易的事,但是新兴的管理平台将有所帮助。

罗伯茨说:“主要的云厂商开始意识到他们不能拥有所有的工作负载,大多数公司将采用多云策略。” “因此,战争中的新战线已经打开:控制管理平面。想想Microsoft宣布其Azure Arc –旨在将Azure服务和管理引入任何基础架构的一组技术,使Microsoft云客户端可以跨AWS和Google Cloud管理资源。”

公共云将在很大一部分人口中看起来相似,这将使云平台更难与众不同。对此,Datrium首席技术官兼联合创始人Sazzala Reddy说,云将在本地部署。

“ 不可知论者将抓住这一天,”雷迪说。云供应商意识到,许多企业客户还没有准备好完全迁移到云。每个人都说他们想要云,但是对于公司来说,要做出这种转变仍然是一个挑战。作为响应,云供应商将发布本地产品,这些产品可为大型企业提供迁移到云的缓慢体验(例如AWS Outposts)。但是,这都是暂时的,因为前哨基地的目标是为它们的特定云提供轻松的桥梁。”

AWS Redshift,Snowflake和Google BigQuery等云数据仓库正在快速增长。但是这种势头会在2020年继续吗?Dremio联合创始人兼首席执行官Tomer Shiran 对此表示怀疑。

“鉴于传统的本地数据仓库的巨大成本和复杂性,新一代云原生企业数据仓库的出现不足为奇,” Shiran说。“但是精明的企业已经发现,云数据仓库只是对传统体系结构的更好实现,因此,他们避免绕道而行,而是直接迁移到围绕云数据湖构建的下一代体系结构。”

Shiran说,在这种新的体系结构中,不会移动或复制数据,没有数据仓库,也没有关联的ETL,多维数据集或其他解决方法。“我们预测,到2020年,全球2000%的75%的产品将投入生产或在云数据湖中试产,它们将使用多个最佳引擎针对数据科学,数据管道,BI和交互式/临时的不同用例。分析”,他继续说道。

但是Sigma Computing的联合创始人兼首席执行官Rob Woollen 并没有看到云数据仓库的增长速度。实际上,他认为云数据仓库(CDW)继续受到关注。

伍伦说:“ CDW起飞的原因有很多。” “可扩展性,灵活性,较低的成本和连接性,现在许多人认为云中的数据仓库比本地系统更安全。他们的理由是,由于云数据仓库提供商的整个业务模型都依赖于数据安全性和加密,因此他们可能比您更擅长。这些公司在安全技术上进行了大量投资,并致力于整个部门来保护您的数据。CDW甚至可以减轻合规负担。通过将所有数据存储在一个地方,组织不必处理搜索各种离散的业务系统和数据存储以定位相关数据的复杂性。”

我们提到过Kubernetes吗?Kubernetes或K8S是一项关键技术,可实现云堆栈的大部分灵活性。Unravel Data首席执行官Kunal Agarwal认为Kubernetes趋势不会很快消失。

Agarwal说:“ Kubernetes最近超过了Docker,成为最受关注的容器技术。” “将来,每种数据技术都将在Kubernetes上运行。我们可能不会在2020年实现这一目标,但随着越来越多的主要供应商在其旗舰平台上建立基础,Kubernetes将继续被采用。还有一些需要解决的问题,例如持久性存储问题,但目前正在通过BlueK8等举措来解决。整个大数据社区都在Kubernetes的后面,并且可以确保其持续的统治地位。”

Neo4j的首席执行官兼联合创始人埃米尔·埃弗雷姆(Emil Eifrem)表示,云和开源的交集为开发人员提供了沃土。

Eifrem表示:“定位最完善的技术公司将是那些拥有B2D(企业对开发人员),开发人员/从业人员主导的方法的公司,并提供SaaS产品,以随时随地为从业人员提供支持。” “这些往往是开源软件(OSS)公司,它们随着时间的推移在开发人员社区中建立了信任,了解开发人员的不断变化的需求,并且精通经典的企业软件销售动议……。提供SaaS产品的OSS公司是处于非常有利的位置,可以从希望不付任何费用的个人(包括本地和云端的六位数企业经典交易)中占领整个市场。”

戴尔技术公司首席运营官杰夫·克拉克(Jeff Clarke)说,新兴的企业计算平台是公共云和本地资源的结合。

“公共云和私有云可以并将会共存的想法在2020年将成为现实,”克拉克说。“由混合云架构支持的多云IT战略将在确保组织具有更好的数据管理和可见性,同时确保其数据保持可访问性和安全性方面发挥关键作用……但是私有云将不仅仅存在于企业核心内。数据中心。随着5G和边缘部署的不断推出,私有混合云将存在于边缘,以确保实时监控和管理所处数据的所有位置。这意味着组织将期望更多的云和服务提供商确保他们能够在所有环境中支持其混合云需求。”

Panasas的软件架构师Curtis Anderson表示,公共云对于开发AI可能非常有用,但是生产AI的要求支持本地资源。

“随着AI项目从探索性部署到全面生产的毕业,组织将发现他们需要离开公共云以使用成本更低的本地解决方案,而这反过来又将为HPC基础架构的建设提供资金并产生大量的繁荣,” Anderson预测。“但是,公共云将对下一代内部部署基础架构产生重大影响……该行业已经习惯了公共云所提供的管理的极大灵活性和简单性,因此组织将希望在其内部保留这些特征。低成本的本地解决方案。”

Appen的首席技术官Wilson Pang认为,当您将新兴的数据法规混为一谈时,规模就会倾向于本地部署。

“随着越来越多的组织为他们的AI计划试验更多数据,对AI的安全性和道德使用将变得越来越重要,” Pang说。“在这个领域,首要的担忧是数据泄漏,尤其是个人身份信息(PII),新产品的想法和专有信息的泄漏。这些担忧将导致出现更多用于支持AI创建的本地解决方案,包括数据注释和安全利用多元化人群的解决方案。”

NetApp首席战略官Atish Gude 说,为边缘崩溃做好准备。“为为5G的广泛出现做准备,低成本传感器和成熟的AI应用将被用于构建计算密集型边缘环境,为高带宽,低延迟AI驱动的物联网环境奠定基础,并具有巨大的创新潜力–和破坏。”他说。

郑重声明:本文版权归原作者所有,转载文章仅为传播更多信息之目的,如作者信息标记有误,请第一时间联系我们修改或删除,多谢。