Slider简介

article/2025/9/27 18:31:16
来小米实习快两个月了,分配的一个大任务就是调研Slider,下面我简单的描述下Apache下的孵化项目Slider吧
背景

YARN是HADOOP2中的通用资源管理平台,但是基于YARN开发应用,需要用户自己编写AM来处理资源申请、容错等,难度和复杂性比较大,因此YARN上运行良好的计算框架只有MapReduce、Spark、Tez等少数几个,而不像其宣传的那样能让各种计算框架运行的非常顺畅
Hortonworks公司最初开发了Hoya,该工具可以在YARN上部署HBase,但是后来出于某种原因,将其废弃掉了,改而开发Slider:基于YARN的通用部署工具。
同类型的软件还有:Apache Twill和 Apache Helix。
目的

在不对程序进行修改的情况下,在YARN上即可快速部署应用程序(app),一个app对应的实例叫做cluster。这种app有以下几个特点:
  1. app是长服务,即服务不会短期内挂掉,如公司的离线任务、日志收集系统等
  2. app由各个组件(component)组成,组件数目可能只有一个,而每个component由若干个实例构成,实例数可以在参数中指定。如一个HBase cluster可以由2个HMaster和50个HRegionserver组成。
现状

  1. 基于社区进行开发。如果公司需要使用Slider,建议也基于社区进行开发,这样公司的slider升级起来就会比较方便。开发人员可以在JIRA上提需要、bug,和社区进行讨论,并打上patch
  2. 2014年11月才发布通用版本release-0.60.0
  3. 现在已知只有HP等4个公司在使用,也许有一些公司在调研和评估Slider
  4. 现在还停留在概念阶段,能否经受真实环境的考验,还需要进一步验证
运行流程

如何使用,可以参考社区文档: Getting Started。由SliderAM负责给cluster申请资源,并负责容错(component挂掉之后,SliderAM重新找RM申请资源,并进行相应的分配),每个component的实例运行在YARN container中,一个cluster在YARN中的运行流程大致如下:

参考

  1. http://slider.incubator.apache.org/
  2. https://github.com/apache/incubator-slider
  3. https://www.youtube.com/watch?v=J9wDw6oRQ6Q


http://chatgpt.dhexx.cn/article/7REWhbbW.shtml

相关文章

slides.js插件用法

一、下载地址:http://slidesjs.com css部分: html部分: js部分: 文章来自:源码在线https://shengli.me/javascript/56.html;

Google docs/slides的下载

参考:https://blog.csdn.net/mzpmzk/article/details/79318029 Google Drive/Docs/Presentation 的下载 1. 问题: 当我看到一个youtube视频下给的google slides时,想把这个ppt下载下来,但是没有下载的按钮,无法下…

Obsidian 插件(二):Advanced_Slides 的使用

文章目录 Advanced Slides 的使用一、 概述1、 简介2、 特征3、 第一个 PPT 二、 基础语法1、 水平垂直幻灯片2、 元素注释3、 幻灯片注释4、 块注解5、 元素动画6、 内联样式7、 幻灯片背景样式8、 演讲者模式9、 列表动画10、 画图支持11、 图标12、 表情包13、 图表支持14、…

Slides - 在线制作效果精美的幻灯片(PPT)

Slides 是可以在浏览器中使用的在线幻灯片编辑器。与传统的演示软件,比如 PowerPoint 相比,Slides 不需要下载任何东西。你所有的信息都是安全地存储在我们的服务器上,无论你在哪里。不管你说的是在一次会议上演讲或者只是通过电子邮件发送你…

使用Latex制作分享,演讲,Presentation用的Slides,PPT——Beamer教程

1、什么是Beamer 什么是Slides? Slides指的是幻灯片,常见的包括Microsoft 的PPT, macOS的Keynote,Google的Google Slides等。 什么是Beamer? Beamer 是一个用于创建演示文稿 LaTeX 的文档类。作为LaTeX的一个文档类…

jQuery幻灯片插件Slides

Slides – 是一个简单的,容易定制和风格化,的jQuery幻灯片插件。 Slides提供褪色或幻灯片过渡效果,图像淡入淡出,图像预压,自动生成分页,循环,自动播放的自定义等很多选项。 用Slides插件&#…

win10下安装doxygen

作为一只小菜鸟,总是从看大神代码起步的,这时候必要的注释真的是太重要了!最近查ffmpeg一些官方库时它们都有用到doxygen来生成项目文档,这里特此记录下win10平台下安装doxygen的步骤,勉励自己多多加油! 资…

【Doxygen使用教程】

文章目录 1 软件安装2 Doxygen 注释规范2.1 注释格式2.2 自动注释模板(VSCode settings.json 配置)2.3 手动注释模板2.3.1 文件注释模板2.3.2 函数注释模板 3 使用教程3.1 Doxygen Wizard Project3.2 Doxygen Wizard Mode3.3 Doxygen Wizard Output3.4 D…

Doxygen 使用总结,生成chm文件,附:配置文件Doxyfile

win系统下,doxygen软件下载和安装 doxygen-1.8.14-setup.exe 协调使用的软件下载和配置: graphviz-2.38.msi——生成调用关系图 htmlhelp.exe——生成chm文件(可选) 详见《文档生成工具-Doxygen使用方法以及注释规则》 《Win7下Do…

Doxygen生成.chm文件

Doxygen生成.chm文件 目录 Doxygen生成.chm文件安装准备Doxygen Gui使用Wizard设置project设置Mode设置Output设置Diagrams设置 Expert设置Project设置Input设置HTML设置Dot设置 Run运行生成 总结 安装准备 1、doxygenGUI 下载地址:Doxygen: Downloads 2、HTML He…

doxygen 教程 linux,使用Doxygen生成全中文的chm、pdf帮助文档的方法

下载和安装 Doxygen 到 Doxygen 官网 下载最新的Doxygen安装程序,然后安装。这个软件包包括了一个GUI界面的前端工具,可以帮助我们方便创建Doxygen配置文件和生成目标文档。 软件名称:帮助文档生成器( doxygen ) 1.8.13 官方最新英文安装版(附帮助文档)软件大小:21.7KB更新…

Doxygen (1): 安装及设置

文章目录 0. 前言1. 下载1.1 graphviz1.2 Microsoft HTML Help Workshop1.3 Doxygen 2. 安装3. 配置3.1 Wizard3.1.1 Project3.1.2 Mode3.1.3 Output3.1.4 Diagrams 3.2 Expert3.2.1 Project3.2.2 Build3.2.3 Input3.2.4 HTML3.2.5 Dot 3.3 保存配置信息 0. 前言 使用 doxygen …

Win7下Doxygen配置与使用

1. 下载与安装 1.1 下载 Doxygen官方安装程序及其手册下载地址,目前使用版本为1.8.8。 安装程序:http://www.stack.nl/~dimitri/doxygen/download.html 图 1-1 Doxygen安装程序下载界面 在线帮助:http://www.stack.nl/~dimitri/doxygen/m…

Doxygen使用教程

Doxygen 可以用来为项目生成帮助文档或者 SDK,输出格式可以为 HTML、CHM 等。 1 软件安装 doxygen-1.9.1-setup.exestable_windows_10_cmake_Release_x64_graphviz-install-2.47.3-win64.exehtmlhelp.exe 2 Doxygen 注释规范 2.1 注释格式 # 块注释 /** ...... …

doxygen: 在Windows上源码编译

文章目录 1. 目的2. 思路3. 安装 Chocolatey4. 用 choco 安装 bison 和 flex安装 gs:安装 libiconv 5. 编译报错 1. 目的 在 windows 上源码编译 doxygen, 改代码加功能。 2. 思路 doxygen 依赖 flex 和 bison, 手动编译 flex 和 bison 很麻烦可以用…

Doxygen安装与基本配置

Doxygen最初是一个C的源码文档生成成器,现在也支持像C, Objective-C, C#, PHP, Java, Python, IDL (Corba, Microsoft, and UNO/OpenOffice flavors), Fortran, VHDL, Tcl等语言,可以方便生成源码文档,配合Graphviz可以清晰地生成函数和类的对…

20_doxygen:win下vscode自动注释、生成doc

文章目录 1.结果如图2.win2.1设置目录2.2设置源码语言2.3设置输出doc2.4设置Graphviz路径2.5运行,生成doc 3.VScode3.1注释自动补全3.2生成doc 参考 如仅需要VScode注释自动补全,跳转至 3.1注释自动补全 1.结果如图 自动注释 生成doc 2.win 安装doxy…

在Win上学习使用Doxygen与GraphViz

安装 Doxygen官方下载 Graphviz Win上的最新版本 截止2018-04-06 Graphviz最新版本是2.38Doxygen最新新版是1.8.14 因为不想分心处理安装后的环境变量配置,所以都选择了可执行包。一路“确定”就安装好了。 使用 参考资料:【1】 使用Doxygen自带…

Doxygen、hhc生成chm格式文档

开源库中很多帮助文档是html格式,需要通过Doxgen生成 生成后有一系列文件,再通过hhc.exe打包成chm,就能方便拷贝到移动设备查看,比如IOS的chm sharp 下载Doxygen https://www.doxygen.nl/download.html 只需要下载其中的 binarie…

win10环境搭建

1、clion安装与配置 配置编译环境MinGW 解压MinGW.zip文件夹,配置环境变量:此电脑–>属性–>高级系统变量–>环境变量–>path D:\Program_Files\mingw64\bin安装clion 双击clion.exe文件安装,安装后将jetbrains-agent.jar文件复制到clio…