湄潭| 合浦| 九江市| 头屯河| 献县| 松阳| 宜宾县| 陵水| 义县| 黄埔| 农安| 恩平| 东阳| 石柱| 泰和| 平凉| 丹寨| 敖汉旗| 长清| 沐川| 泽库| 昭平| 藤县| 定州| 樟树| 双牌| 德保| 汪清| 青县| 汕尾| 吉木萨尔| 永丰| 凤山| 桂阳| 即墨| 毕节| 广元| 突泉| 范县| 库伦旗| 荔浦| 五大连池| 宝清| 枝江| 安达| 灵宝| 临猗| 紫阳| 阿荣旗| 洛南| 榆林| 屏边| 蓝山| 托克逊| 诏安| 申扎| 揭阳| 韶山| 开封县| 绥棱| 汤旺河| 房山| 合阳| 钟山| 和布克塞尔| 临县| 济阳| 西藏| 仪陇| 通山| 汨罗| 武城| 繁昌| 西昌| 武强| 青神| 黎川| 恒山| 临湘| 巴楚| 哈尔滨| 彰化| 弥勒| 子洲| 镇原| 龙州| 舟曲| 丰城| 盘山| 桃园| 张北| 闵行| 闽侯| 新沂| 内蒙古| 夏河| 屏南| 牟平| 博乐| 梨树| 抚松| 宁南| 五华| 凌海| 凤城| 华宁| 莱山| 道孚| 曲江| 水城| 朔州| 绥宁| 雅江| 无锡| 江永| 新民| 东阳| 海沧| 开阳| 上蔡| 墨脱| 喜德| 安顺| 会理| 左贡| 方山| 苏尼特左旗| 大石桥| 霍山| 湛江| 惠来| 嫩江| 河津| 洞头| 郧西| 中宁| 聂拉木| 万载| 丰城| 潮安| 苏尼特左旗| 苍南| 蒙自| 肃宁| 涞源| 如皋| 甘洛| 冷水江| 延寿| 柳江| 涟源| 定兴| 奇台| 景德镇| 始兴| 日照| 荆门| 如东| 辽阳县| 防城港| 无棣| 横县| 祁县| 隆化| 金湖| 黄岛| 潘集| 泰宁| 科尔沁右翼中旗| 南山| 凤山| 平邑| 滁州| 灌阳| 保靖| 娄底| 永仁| 富阳| 蛟河| 邯郸| 大名| 察哈尔右翼中旗| 龙口| 鸡东| 仁寿| 九江县| 保山| 汪清| 贵德| 榆林| 常熟| 措勤| 富民| 西丰| 乌尔禾| 金寨| 孟津| 莒南| 申扎| 扶余| 乐亭| 独山| 平南| 随州| 崇州| 安平| 同安| 福贡| 珙县| 龙井| 都安| 胶州| 平阳| 靖江| 华池| 海阳| 资溪| 互助| 沙河| 上甘岭| 西吉| 兴文| 茶陵| 峨山| 遂宁| 志丹| 伊宁市| 阳曲| 阿克塞| 辽源| 赤峰| 乌拉特后旗| 岷县| 猇亭| 大安| 衡水| 嵩县| 阜新市| 嵊州| 阳山| 环县| 博乐| 乌拉特前旗| 法库| 循化| 昌黎| 乡宁| 贵池| 大连| 涞水| 饶阳| 乌拉特中旗| 榆树| 汾西| 平原| 蓟县| 镇坪| 祥云| 苍南| 怀柔| 上高| 抚宁| 双桥| 孙吴| 武汉论坛

华为云鲲鹏云容器,见证BigData Pro蝶变之旅

互联网
2019
09/10
17:15
分享
评论
论坛资讯 韩国瑜与观光业者、工业区厂商及农民团体座谈时,业者提及大陆游客赴台个人游受限,影响南投观光产业甚钜,韩说,陆客减少,损害的不仅南投县,而是全台湾。 创业资讯 不过记者发现,这些发布人都是遇到同一个难题,就是欠款一时无法收回。 母婴在线 香港自1997年回归以来,经济得以高效快速发展,与新加坡、台湾和韩国并称亚洲四小龙。 创业 葫芦垡 武汉女人 侯家乡 宠物论坛 后环路口

大数据之路顺应人类科技的进步而诞生,一直顺风顺水,不到20年时间,已渗透到社会生产和人们生活的方方面面。然而,伴随着信息量的指数级增长,大数据也开始面临存储资源告急、算力吃紧、数据处理效率无法满足业务增长诉求等一系列问题,导致唱衰之声此起彼伏。而近年来兴起的容器技术,以其轻量化、易迁移、扩容快等优势,结合计算存储分离的分布式架构,可以更好地发挥大数据平台在海量数据集、高并发、实时分析等应用场景下的优势。

翩然入世

汽车、保险、电力、零售等行业,利用海量信息分析用户特征及行为模式,从而制定更贴近用户的服务方案、商业策略,并进行精准推送。目前大部分数据分析都在Hadoop生态中进行,Hadoop也凭借其完善的生态,备受用户欢迎,成为主流的开源大数据平台,也成为了大数据的代名词。

困蛹之境

然而,从2006第一个Hadoop版本发布算起的话,大数据的发展也经历了至少13个年头,当初引以为傲的“计算存储融合”架构以及先进的数据分析理念和实践,也开始遭受挑战:

1、计算存储资源耦合,无法灵活调整存算配比,只能按固定比例扩容,导致部分资源浪费;

2、数据中心建设成本高,后期运维成本有高,性价比和灵活度均不如公有云方案;

3、互联网时代,数据爆炸式增长,现有数据中心资源不足,极易导致作业拥塞,降低计算效率;

4、大数据与其它业务资源池无法共享,需分开维护多套,进一步增加运维成本。

此外,AI、机器学习、自然语言处理(NLP)等概念的兴起,也对大数据造成冲击,“大数据已死”的风声开始不绝于耳。

破茧之挣

随着5G+云+AI时代来临,数据变得更多、更复杂、更精细化,大数据不仅没有死,反而对企业变得前所未有的重要。而亟待我们解决的问题是:如何用一种更高效、更实用的解决方案,处理爆炸式增长的数据。围绕这一课题,各大公司也展开了新一轮的技术探索与升级。

首先,基础网络飞速发展,网络传输已不再是瓶颈,许多公司开始在大数据的存储和计算分离方面做尝试,效果如何呢?IDC中国报告指出:“解耦计算和存储在大数据部署中被证明是有用的,它提供了更高的资源利用率,更高的灵活性和更低的成本。”

同时,伴随着容器技术的成熟及在各行业的深入应用,部分企业也着手于平台的容器化改造,希望结合容器的优势,为大数据平台赋予新的力量。

二者结合,我们似乎看到了大数据蜕变的曙光。

化蝶之旅

目前,存算分离的方案相对已经比较成熟,容器化方案还处于探索和小规模应用阶段,以Spark为例,方案大体上分为2种:

一种是Spark Standalone,该方案仅对大数据系统做容器化部署改造,得益于容器轻量化、更细粒度的算力管理、任务隔离等特点,可以将主机划分成更多小颗粒的任务单元,使主机资源利用率更高,同时兼顾用户原有的使用习惯。但此方案需要提前分配固定的容器数量,并保持容器的持续运行,无法对容器进行动态管理,资源的利用率虽然有所提升,但仍存在浪费。

另一种是Spark On Kubernetes集群方案,该方案使用Kubernetes替代Yarn来进行统一的资源编排和调度,技术上更贴近主流容器解决方案,免去了二层调度,可以进一步提升资源管理效率,相比Standalone方案,实现了对容器资源的动态管理,优化了资源分配。

然而,Kubernetes不属于Hadoop生态组件,与传统Spark on YARN方案相比存在一些劣势,如:缺少任务队列、external shuffle service等特性,且性能较差。因此在应用到生产系统时,还要做大量的功能增强、调度和性能优化,才能保持与传统大数据平台一致。

针对客户容器化过程中的问题,华为云计划推出鲲鹏大数据容器解决方案,该方案与BigData Pro相结合,将提供一套更完善的容器化大数据解决方案

BigData Pro是业界首个鲲鹏大数据解决方案,该方案采用基于公有云的存算分离架构,以可无限弹性扩容的鲲鹏算力作为计算资源,以支持原生多协议的OBS对象存储服务为统一的存储数据湖,提供“存算分离、极致弹性、极致高效”的全新公有云大数据解决方案,大幅提升了大数据集群的资源利用率,能有效应对当前大数据行业存在的瓶颈,帮助企业应对5G+云+智能时代的全新挑战,实现企业智能化转型升级。

未来可期

2019年全联接大会上,华为云将正式发布鲲鹏大数据容器解决方案,该方案针对大数据业务场景,在功能、调度和性能上有了优化和增强,能为用户提供更原生的大数据服务体验。

华为云鲲鹏大数据容器相比业界主流大数据平台有哪些优势?华为云鲲鹏大数据容器又使用了哪些黑科技?9月18日华为全联接大会,让我们一起拭目以待!

THE END
广告、内容合作请点击这里 寻求合作
免责声明:本文系转载,版权归原作者所有;旨在传递信息,不代表砍柴网的观点和立场。

相关热点

相关推荐

1
3
上海浦东新区合庆镇 津南区 塘潮源林场 阿克拉 戒台寺 石狮市地方税务局南区管理分局 中山路街道 国际家 勍香镇
杨木川镇 东河沿社区 蓼坪乡 五凌 宝塔下 杰仁嘎查 时济 卓尼具 后付将营村委会
上五庄镇 占米话 额仁高毕苏木 马皮乡 王串场宇翠里 曹家峪 贾庄乡 石燕 宗教 黑石礁
https://www.whr.cc/bbsitemap.htm