Otter安装说明

article/2025/10/20 13:17:46

Otter安装说明

Mysql安装(如果已安装则无需再安装):【忽略安装Mysql】

安装依赖

yum -y install perl perl-devel autoconf

#下载Mysql包
https://github.com/alibaba/otter/releases【Otter最新版本下载】
wget https://dev.mysql.com/get/Downloads/MySQL-5.7/mysql-5.7.17-linux-glibc2.5-x86_64.tar.gz
#解压
tar zxvf mysql-5.7.17-linux-glibc2.5-x86_64.tar.gz
#复制解压后的mysql目录到系统的本地软件目录
cp mysql-5.6.33-linux-glibc2.5-x86_64 /usr/local/mysql -r
#####【数据库】
#yum intall mysql-server mysql
启动数据库
service mysqld start
关闭数据库
service mysql stop
Otter安装包放至/app/install目录下:
推荐使用OneinStack进行环境配置(默认会更新GCC,cmake等减少依赖出现的问题)
wget http://mirrors.linuxeye.com/oneinstack-full.tar.gz
tar xzf oneinstack-full.tar.gz
#有点耗时,需耐心等待
cd oneinstack
./install.sh
#按照如下选项配置安装mysql5.6,密码为otter**(初始化manager需要mysql的支持)**【可不改】其他可以全选N更具你的需求,可以配置lnmp或lnmt环境.在这里插入图片描述

安装JDK【服务器如存在Jdk,请忽略此安装】
首先我们应该要安装配置JDK,应为zookeeper和Otter-manager都依赖与java环境
tar -zxvf jdk-7u79-linux-x64.tar.gz
mv jdk1.7/ /usr/local/
#设定JAVA_HOME环境变量,编辑vim /etc/profile 加入如下内容:
export JAVA_HOME=/usr/local/jdk1.7
export JRE_HOME=/usr/local/jdk1.7/jre
export CLASSPATH=.: J A V A H O M E / l i b / d t . j a r : JAVA_HOME/lib/dt.jar: JAVAHOME/lib/dt.jar:JAVA_HOME/lib/tools.jar: J R E H O M E / l i b : e x p o r t P A T H = JRE_HOME/lib: export PATH= JREHOME/lib:exportPATH=JAVA_HOME/bin:$PATH
#更改后,执行命令使其生效
source /etc/profile
执行 java -version 会看到如下版本信息证明已经安装成功
在这里插入图片描述

安装ZooKeeper【服务器如存在Zookeeper,请忽略此安装】
#安装配置zookeeper单机模式
cd /app/install
tar zxvf zookeeper-3.4.5-cdh4.3.0.tar.gz
首先创建Otter目录
mv zookeeper-3.4.5-cdh4.3.0 /otter/zookeeper
cd /otter/zookeeper/
mv conf/zoo_sample.cfg conf/zoo.cfg
mkdir data
echo 1 > data/myid #将本节点id设定到data/myid文件中
#修改bin/zkEnv.sh脚本:
将ZOO_LOG_DIR=".“修改为ZOO_LOG_DIR=”/otter/zookeeper/data"
将ZOO_LOG4J_PROP=”INFO,CONSOLE”修改为ZOO_LOG4J_PROP=“INFO,ROLLINGFILE”
修改bin/zkServer.sh脚本:
将ZOOBIN="${BASH_SOURCE-KaTeX parse error: Expected 'EOF', got '}' at position 2: 0}̲"修改为ZOOBIN=`rea…{BASH_SOURCE-KaTeX parse error: Expected 'EOF', got '}' at position 2: 0}̲"` 修改bin/zkCli.…{BASH_SOURCE-KaTeX parse error: Expected 'EOF', got '}' at position 2: 0}̲"修改为ZOOBIN=`rea…{BASH_SOURCE-$0}"`
#建立软连接到PATH:
ln -s /otter/zookeeper/bin/zkServer.sh /usr/local/bin/zk-server
ln -s /otter/zookeeper/bin/zkCli.sh /usr/local/bin/zk-cli
#启动zookeeper
./zkServer.sh start
在这里插入图片描述

安装Manager
#安装配置Manager
mkdir /otter/manager
cd /app/install/
tar zxvf manager.deployer-4.2.14.tar.gz -C /otter/manager
#安装manager的数据库:[可在其它机器上导入]
wget https://raw.github.com/alibaba/otter/master/manager/deployer/src/main/resources/sql/otter-manager-schema.sql
mysql -u root -p #输入mysql密码
source /otter/manager/otter-manager-schema.sql
#修改vim conf/otter.properties 配置文件:

otter manager domain name #修改为正确访问ip(内网访问配置内网地址外网访问配置外网地址),生成URL使用

otter.domainName = 127.0.0.1

otter manager http port [端口不允许与其它端口重复]

otter.port = 8085

otter manager database config ,修改为正确数据库信息

otter.database.driver.url = jdbc:mysql:// 10.72.1.108:3306/ottermanager
otter.database.driver.username = skynet
otter.database.driver.password = aaaa

default zookeeper address,修改为正确的地址,手动选择一个地域就近的zookeeper集群列表,zookeeper默认端口 2181

otter.zookeeper.cluster.default = 127.0.0.1:2181
#启动manager
./bin/startup.sh
在这里插入图片描述

#我们在访问我们设置的可以访问的地址的8080端口,注意要关掉8080的防火墙否则一直会访问不通
vi /etc/sysconfig/iptables
添加【Manager端口如果可以访问,则不需要此操作】
-A INPUT -p tcp -m state --state NEW -m tcp --dport 8080 -j ACCEPT
#重启防火墙【不需要启动防火墙】 iptables -L
#/etc/init.d/iptables restart
在这里插入图片描述
安装Aria2
aria2,它是一个文件通道来保证需要同步的数据通过极快的速度同步到需要同步的服务器上:
cd /app/install/
tar zxvf aria2-1.17.1.tar.gz
mv aria2-1.17.1 aria2
cd aria2
./configure
make
make install

验证安装是否成功

aria2c -v

会输出

aria2 version 1.17.1 Copyright © 2006, 2013 Tatsuhiro Tsujikawa
安装Node【需先的Manager客户配置Node信息】
mkdir /otter/node
tar zxvf node.deployer-4.2.14.tar.gz -C /otter/node
cd /otter/node/

nid配置node的ID多个node协同工作时不能重复

echo 1 > conf/nid
#如果不存在nid文件,需要创建nid
cd /otter/node/conf
cat >nid

修改配置文件

vim conf/otter.properties

主要是确认连接manager地址是否正确(这里使用服务器内网地址进行配置) otter.manager.address = 10.144.159.182:1099

注:[ Node内存设置]
cd /otter/node/bin
vi startup.sh
修改node内存大小,修改JAVA_OPTS配置:
修改前:
if [ -n “ s t r " ] ; t h e n J A V A O P T S = " − s e r v e r − X m s 2048 m − X m x 3072 m − X m n 1024 m − X X : S u r v i v o r R a t i o = 2 − X X : P e r m S i z e = 96 m − X X : M a x P e r m S i z e = 256 m − X s s 256 k − X X : − U s e A d a p t i v e S i z e P o l i c y − X X : M a x T e n u r i n g T h r e s h o l d = 15 − X X : + D i s a b l e E x p l i c i t G C − X X : + U s e C o n c M a r k S w e e p G C − X X : + C M S P a r a l l e l R e m a r k E n a b l e d − X X : + U s e C M S C o m p a c t A t F u l l C o l l e c t i o n − X X : + U s e F a s t A c c e s s o r M e t h o d s − X X : + U s e C M S I n i t i a t i n g O c c u p a n c y O n l y − X X : + H e a p D u m p O n O u t O f M e m o r y E r r o r " e l s e J A V A O P T S = " − s e r v e r − X m s 1024 m − X m x 1024 m − X X : N e w S i z e = 256 m − X X : M a x N e w S i z e = 256 m − X X : M a x P e r m S i z e = 128 m " f i 修 改 后 : i f [ − n " str" ]; then JAVA_OPTS="-server -Xms2048m -Xmx3072m -Xmn1024m -XX:SurvivorRatio=2 -XX:PermSize=96m -XX:MaxPermSize=256m -Xss256k -XX:-UseAdaptiveSizePolicy -XX:MaxTenuringThreshold=15 -XX:+DisableExplicitGC -XX:+UseConcMarkSweepGC -XX:+CMSParallelRemarkEnabled -XX:+UseCMSCompactAtFullCollection -XX:+UseFastAccessorMethods -XX:+UseCMSInitiatingOccupancyOnly -XX:+HeapDumpOnOutOfMemoryError" else JAVA_OPTS="-server -Xms1024m -Xmx1024m -XX:NewSize=256m -XX:MaxNewSize=256m -XX:MaxPermSize=128m " fi 修改后: if [ -n " str"];thenJAVAOPTS="serverXms2048mXmx3072mXmn1024mXX:SurvivorRatio=2XX:PermSize=96mXX:MaxPermSize=256mXss256kXX:UseAdaptiveSizePolicyXX:MaxTenuringThreshold=15XX:+DisableExplicitGCXX:+UseConcMarkSweepGCXX:+CMSParallelRemarkEnabledXX:+UseCMSCompactAtFullCollectionXX:+UseFastAccessorMethodsXX:+UseCMSInitiatingOccupancyOnlyXX:+HeapDumpOnOutOfMemoryError"elseJAVAOPTS="serverXms1024mXmx1024mXX:NewSize=256mXX:MaxNewSize=256mXX:MaxPermSize=128m"fiif[n"str” ]; then
JAVA_OPTS="-server -Xms8g -Xmx8g -Xmn3g -XX:SurvivorRatio=2 -XX:PermSize=512m -XX:MaxPermSize=512m -Xss256k -XX:-UseAdaptiveSizePolicy -XX:+DisableExplicitGC -XX:+UseConcMarkSweepGC -XX:+CMSParallelRemarkEnabled -XX:+UseCMSCompactAtFullCollection -XX:+UseFastAccessorMethods -XX:+UseCMSInitiatingOccupancyOnly -XX:+HeapDumpOnOutOfMemoryError"
else
JAVA_OPTS="-server -Xms8g -Xmx8g -Xmn3g -XX:NewSize=512m -XX:MaxNewSize=512m -XX:MaxPermSize=512m "
fi

关联manager、zookeeper和node
在界面进行关联即可
在这里插入图片描述


http://chatgpt.dhexx.cn/article/g2OKn2X8.shtml

相关文章

otter mysql hbase_otter自定义扩展

otter自定义扩展 otter支持数据处理自定义过程。 Extract模块: EventProcessor : 自定义数据处理,可以改变一条变更数据的任意内容 FileResolver : 解决数据和文件的关联关系 目前两者都只支持java语言编写,但都支持运行时动态编译&lib包…

otter搭建

一、安装zookeeper的单机版 apache-zookeeper-3.6.1-bin.tar.gz 如果下载的是3.5及以后的,需要下载包名带有-bin的版本,从3.5.5开始,带有bin的包才是解压以后可以直接使用的里面有编译后二进制的包,而之前的普通的tar.gz里面只是…

otter安装

译意: 水獭,数据搬运工 语言: 纯java开发 定位: 基于数据库增量日志解析,准实时同步到本机房或异地机房的mysql/oracle数据库. 一个分布式数据库同步系统 otter的环境需要:mysql,jdk&#x…

Otter 安装部署维护

介绍 淘宝开源的产品,基于数据库增量日志解析,准实时同步到本机房或异地机房的mysql/oracle数据库,一个分布式数据库同步系统。 目前同步规模: 同步数据量6亿 文件同步1.5TB(2000w张图片) 涉及200个数据库实例之间的同步 80台机器…

Otter配置说明

Otter配置说明 标签: Otter 下载 最新版Otter下载地址 CSDN下载地址 需要下载manager.deployer-4.2.13.tar.gz,node.deployer-4.2.13.tar.gz和Source code (zip) 需要安装zookeeper和jdk支持,canal已经内置,不需要安装 manage…

mysql otter_MySQL数据库实现远程同步的工具alibaba otter

MySQL数据库实现远程同步的工具alibaba otter 发布时间:2020-06-03 15:46:57 来源:51CTO 阅读:291 作者:三月 本篇文章给大家主要讲的是关于MySQL数据库实现远程同步的工具alibaba otter的内容,感兴趣的话就一起来看看…

Otter源码深入详解(三)

分析Node的代码前,需要理解Node的工作机制,需要先了解其工作原理: https://github.com/alibaba/otter/wiki/Otter调度模型 这里用到了SEDA模型,SEDA模型这里有偏文章介绍的很好: https://www.jianshu.com/p/e184fdc0ad…

otter mysql教学视频_3.Otter快速上手

QuickStart 1.几点说明 有一点特别注意:目前canal支持mixed,row,statement多种日志协议的解析,但配合otter进行数据库同步,目前仅支持row协议的同步,使用时需要注意. 环境准备 操作系统 a. otter为纯java编写,windows/…

通过docker构建otter

本文是通过docker构建otter环境与mysql环境 一、使用docker构建otter docker pull canal/otter-all curl -fsSL https://raw.githubusercontent.com/alibaba/otter/master/docker/run.sh | bash 访问otter:http://192.168.102.212:8080 账号密码默认是admin/adm…

Otter详解

otter girthub链接: https://github.com/alibaba/otter 有兴趣的同学可以移步笔者的个人博客 更多博客 整体架构 子模块解释 zooKeeper 分布式一致性协调服务,主要用来调度配置好的node模块。 manager 管理中心,用来配置同步信息&#…

otter 配置问题笔记

otter 部署启动 : 1,启动zookeeper 2,启动manager 3,启动node 4 在manger管理界面配置zookeeper 和node 添加映射关系表 点击pipeline的名称, 点击[批量添加] (一个一个的添加, 太累) 按照以下格式输入 数据库名,表1,【数据源配置】序号,目的数据源的序号 item,s…

otter快速开始

目录 一、Otter简介二、Otter目前支持了什么三、Canal & Otter 的一些注意事项四、otter单向同步搭建测试1. 环境准备2. Manager使用(任务配置整个流程)配置完整流程 3. 过程问题整理3.1 Problem accessing /channelList.htm. Reason:3.2 show maste…

Otter

一.概述 Otter 阿里巴巴分布式数据库同步系统:https://github.com/alibaba/otter Otter底层依赖Canal接收和解析mysql binlog日志,提供了可配置化的同步机制,纯java开发,免费开源的,基于数据库增量日志解析&#xff…

otter学习 | otter 基本介绍

一、项目介绍 名称:otter [‘ɒtə(r)] 译意: 水獭,数据搬运工 语言: 纯java开发 定位: 基于数据库增量日志解析,准实时同步到本机房或异地机房的mysql/oracle数据库。 二、工作原理 原理描述&#xf…

Otter-安装配置

简介 OTTER是阿里巴巴公司为了解决杭州/美国机房数据间同步研发的一个开源软件。OTTER基于数据库增量日志解析,准实时同步到本机房或异地机房的mysql/oracle数据库,是一个分布式数据库同步系统。 工作原理图: 原理描述: 基于Can…

Otter入门简介

一、Otter简介 1.1 otter是什么? otter 译意: 水獭,数据搬运工 语言: 纯java开发 定位: 基于数据库增量日志解析,准实时同步到本机房或异地机房的mysql/oracle数据库. 一个分布式数据库同步系统。Ottter是…

2.Otter原理介绍

Introduction 项目介绍 名称:otter [ɒtə(r)] 译意: 水獭,数据搬运工 语言: 纯java开发 定位: 基于数据库增量日志解析,准实时同步到本机房或异地机房的mysql/oracle数据库. 工作原理 image 原理描述&…

斐波那契数列输出的C语言实现

斐波那契数列输出的C语言实现 1.流程图 2.代码实现 #include <stdio.h>#define num1 0//第一项 #define num2 1//第二项int Fibonacci_Sequence(int num_n1, int num_n2, int times_0,int times_already)//num_1为第n-2位数&#xff0c;int num_n2为第n-1位数&#xf…

蓝桥杯入门训练Fibonacci数列 C语言

Fibonacci数列 C语言 问题描述 Fibonacci数列的递推公式为:Fn=Fn-1+Fn-2,其中F1=F2=1。 当n比较大时,Fn也非常大,现在我们想知道,Fn除以10007的余数是多少。 输入格式 输入包含一个整数n。 输出格式 输出一行,包含一个整数,表示Fn除以10007的余数。 说明: 在本题中…

C语言 计算斐波那契数列

C语言 计算斐波那契数列 前言 在学习C语言的道路上多次遇到了求斐波那契数列的问题&#xff0c;今天来总结一下我所知道的几种思想方法。方法一&#xff1a;循环 使用斐波那契数列的推导式&#xff0c;通过循环将每一个值保存到数组fib中。需要说明的是&#xff0c;这里的fi…