OSM本地数据库搭建(Ubuntu环境)

OSM本地数据库搭建(Ubuntu环境)
OSM本地数据库搭建(Ubuntu环境)

Build your own OpenStreetMap Server - Ubuntu 08.04 Hardy Heron Submitted by rweait on Sat, 01/19/2013 - 15:07

This article is now archived

as https://www.360docs.net/doc/448854392.html,/content/build-your-own-openstreetmap-serve r-v1. An updated (2010) article is based on Ubuntu 10.04 Lucid Lynx Build your own OpenStreetMap server. Build your own what?

OpenStreetMap is the editable World map of everything. It is the Wikipedia of maps. It is to other on-line maps as Wikipedia is to Britannica. And it is awesome in every possible way.

OpenStreetMap is a massive project that started as Steve Coast's, frame-breaking idea in 2004. If I make a map of my neighborhood and give it away, and you make a map of your neighborhood and give it away, then we both have better maps. As of March 2009 there are over 100,000 contributors making maps of their neighborhoods and contributing them to this World wide effort.

OpenStreetMap makes the data and the software available to you with Free Software and free data licenses so that you can use, learn from, teach with, improve upon and share with others what you gain from OpenStreetMap. And you can build your own local copy of OpenStreetMap for your business, school, community group or personal interests.

The project operates on a massive scale as there is an incredible amount of data, there is more data every day, and there are more people using the data every day. OpenStreetMap has to run on several servers, including a handful of API servers and separate database, development, web and tile servers. This article does not cover the creation of a complete OSM datacentre.

It does cover creating a single server from a typical PC circa 2006. These instructions build what OpenStreetMap calls a tile server. That is, a computer that uses the OSM data set to create map images that are suitable for a web site. Not every OpenStreetMap function is supported, but you will be able to create a local map, keep it up to date and customize it for your own purposes.

The key compromise that is required to be able to build this system on a

non-super-computer is that we'll only build the map for a small part of the world. Why would I build my own?

Why indeed? https://www.360docs.net/doc/448854392.html, is already freely available on the

internet. Why not just use that? You can and you should. Eventually

you may come up with an idea. You might want to make the map

work a little differently for you. You might want a map for a special

purpose.

Perhaps for

cycling, https://www.360docs.net/doc/448854392.html,/ OpenC

ycleMap is a wonderful example of what you can

do with the tools and data of OpenStreetMap

catalyzed by an idea. Created by Andy Allan and Dave Stubbs,

OpenCycleMap uses OpenStreetMap data, then displays it in a way

that is useful to cyclists with the emphasis placed on cycle trails,

bike shops and bike parking. They've also added elevation contours

and hill-shading as cyclists care about hills. Sometimes they are

looking for a good challenging climb, and other times they just want

to get home with the groceries. The brilliant work of the

OpenCycleMap team was recognized with a Commendation from the British Cartographic Society as well as the prestigious Lolcat of Awesomness from the OpenStreetMap community at large.

Or maybe you need to have access to you map even when your internet provider is down. Or when the power is off. Or both. It won't take much for you to see the benefit of having your own piece of OpenStreetMap infrastructure. All you need to start is an idea and the thirst for knowledge.

There are a lot of moving parts to OpenStreetMap. I hope that these steps will make it easier for you to get your first map working. This article is intended to get from bare iron to a working local OpenStreetMap tile server. This one will collect OpenStreetMap data and allow you to render that data into images suitable for use on a web site. Future articles will cover how to use your new server and several customizations that you'll want to try.

Let's get started, shall we?

Install Ubuntu server

I used Hardy Heron 8.04 LTS for this tutorial. Choose the LAMP server and the ssh server.

This Ubuntu Hardy LAMP installation tutorial is a great start for somebody who hasn't installed one before.

Browse to it and get "It Works!" from apache to know that you've got it right.

Add some general tools

sudo apt-get install subversion unzip

Get the Data

Start to download your planet file or extract. It's very big. Plan to use another console or screen to continue while downloading. Download from one of the mirrors like this one, for a faster download.

wget

http://ftp.heanet.ie/mirrors/https://www.360docs.net/doc/448854392.html,/plan et-latest.osm.bz2

Get back to the download tomorrow. We've got things to do until then.

Install the Database

A Word About username

As a simplifying assumption, this article will have you install all of the tools to work with the same user. This user is the same user for the Ubuntu login.

Set up the database to hold your copy of the OSM data. We'll use postgresql with PostGIS extensions to make the geographic stuff easier.

First we install the dependencies.

sudo apt-get install postgresql-8.3-postgis postgresql-contrib-8.3

It should respond like this

Configuring postgresql.conf to use port 5432...

* Starting PostgreSQL 8.3 database server

...done.

Setting up postgresql-8.3-postgis (1.3.3-1) ... edit /etc/postgresql/8.3/main/postgresql.conf in four places. These changes help with the large quantities of data that we are using.

shared_buffers = 128MB # 16384 for 8.1 and earlier checkpoint_segments = 20

maintenance_work_mem = 256MB # 256000 for 8.1 and earlier

autovacuum = off

edit /etc/sysctl.conf

kernel.shmmax=268435456

Russ Nelson and balrog-k1n remind us that the above only takes effect after a reboot. Making this work immediately requires the following.

sudo sysctl kernel.shmmax=268435456

Disable the two pg_maintenance tasks which would otherwise cause vacuums to interrupt our database loads. We don't want loading the

database to get interrupted.

crontab /etc/cron.d/postgresql-common

Add a # before each line to disable it.

Reenable them if you're doing anything else with postgres, or performance will slowly degrade.

Restart postgres to enable the changes

sudo /etc/init.d/postgresql-8.3 restart

It should restart as above.

Configuring postgresql.conf to use port 5432... * Starting PostgreSQL 8.3 database server

...done.

Setting up postgresql-8.3-postgis (1.3.3-1) ... create the database

Substitute your username for username in two places below. This should be the username that will render maps with mapnik.

sudo -u postgres -i

createuser username # answer yes for superuser createdb -E UTF8 -O username gis

createlang plpgsql gis

exit

PostGIS

Set up PostGIS on the postresql database.

psql -d gis -f

/usr/share/postgresql-8.3-postgis/lwpostgis.sql This should respond with many lines ending with

...

CREATE FUNCTION

COMMIT

Substitute your username for username in two places in the next line. This should be the username that will render maps with mapnik.

echo "ALTER TABLE geometry_columns OWNER TO username; ALTER TABLE spatial_ref_sys OWNER TO username;" | psql -d gis

# Should reply with

ALTER TABLE

ALTER TABLE

Enable intarray

psql gis

Replies with many lines ending with

CREATE FUNCTION

CREATE OPERATOR CLASS

Mapnik from source

Use Mapnik for rendering pretty maps. We'll use both the https://www.360docs.net/doc/448854392.html, project and some https://www.360docs.net/doc/448854392.html, mapnik-tools and we'll call them both Mapnik at various times depending on context. Sorry about that. This section deals with the https://www.360docs.net/doc/448854392.html, project.

Install some dependencies.

sudo apt-get install libltdl3-dev libpng12-dev

libtiff4-dev libicu-dev

sudo apt-get install libboost-regex-dev

libboost-iostreams-dev

sudo apt-get install libboost-filesystem-dev

libboost-thread-dev

sudo apt-get install libboost-python1.34.1

libboost-python-dev

sudo apt-get install libfreetype6-dev libcairo2-dev libcairomm-1.0-dev

sudo apt-get install libboost-program-options-dev python-cairo-dev

sudo apt-get install libboost-serialization-dev sudo apt-get install imagemagick

Get some more dependencies

sudo apt-get install build-essential libxml2-dev libgeos-dev libpq-dev libbz2-dev proj

proj above is called libproj-devel on OpenSuse - reported by kW on #osm

To avoid confusion, we'll put the https://www.360docs.net/doc/448854392.html, project software in

~/src/mapnik, also known as /home/username/src/mapnik

Get the source from svn

mkdir src

cd src

svn co https://www.360docs.net/doc/448854392.html,/trunk/ mapnik

cd mapnik

Configure mapnik

Note, Updated 14 Aug 2009

Are you having trouble with ImportError: No module named

mapnik after upgrading to Jaunty? Here is a fix for ImportError: No module named mapnik

python scons/scons.py

Please note that the optional boost system is not included in Boost 1.34 so the Boost System warning will persist.

Install mapnik

sudo python scons/scons.py install

Let python know about mapnik

sudo ldconfig

Install osm2pgsql

Get the latest osm2pgsql from svn.

svn co

https://www.360docs.net/doc/448854392.html,/applications/utils/exp ort/osm2pgsql/

Should reply with several lines and end with

Checked out revision 14116.

Your revision number will vary.

Build osm2pgsql

cd osm2pgsql

make

This should return without warnings or errors.

Set the Spatial Reference Identifier (SRID) on the new database. psql -f 900913.sql -d gis

Should reply with

INSERT 0 1

OpenStreetMap Mapnik-tools

This is the other Mapnik. That is to say that these are the tools that OpenStreetMap uses to use Mapnik effectively. These will be kept in ~/mapnik also known as /home/username/mapnik.

Get the latest mapnik from svn.

cd ~

svn co

https://www.360docs.net/doc/448854392.html,/applications/rendering /mapnik/

Let's make some oceans

Stephen Wright once said, It's a small World but I wouldn't want to paint it. I feel the same about the outlines of the continents. I wouldn't want to have to walk along each of the edges of the Earth with a GPS. OpenStreetMap uses three different sources for this coastline information. Each is freely licensed for use with OpenStreetMap. Each is stored in a different compressed file format. So we get to use a couple of different tools.

The coastline information needs to be in the mapnik directory by default. You can move it elsewhere but you'll have to fix some other settings.

cd mapnik

World boundaries

wget

https://www.360docs.net/doc/448854392.html,/world_boundaries-sphe rical.tgz

tar zxvf world_boundaries-spherical.tgz

That created the world_boundaries directory that we'll use for the rest of this coastline data.

Coastlines from OpenStreetMap

wget

https://www.360docs.net/doc/448854392.html,/~kleptog/processed _p.zip

Alternate locations of processed_p, for when hypercube is

slow/down

https://www.360docs.net/doc/448854392.html,s.ic.unicamp.br/pub/gentoo/distfiles/processed_p-2 0090514.zip

https://www.360docs.net/doc/448854392.html,/ressources/

https://www.360docs.net/doc/448854392.html,/processed_p.tar.bz2

unzip processed_p.zip

mv coastlines/* world_boundaries/

rmdir coastlines

That created a new coastlines directory that we won't use. We've moved the data to the world_boundaries directory.

Shorelines for low-zoom layers

cd world_boundaries

wget

https://www.360docs.net/doc/448854392.html,/shoreline_300.tar.bz2 tar xvjf shoreline_300.tar.bz

This one didn't create a directory at all so we unpacked it directly into world_boundaries

Testing and Your First Map

Part two of this article is expected in late March. And here it is, Make Your First Map with your OpenStreetMap tile server.

This article is one of a series that involve customizing OpenStreetMap. Please use comments below to request additional OpenStreetMap topics or to offer feedback.

References / Credits

All of the helpful folks on #osm on https://www.360docs.net/doc/448854392.html, especially jburgess and springmeyer

All of the helpful folks on the OSM mailing

list https://www.360docs.net/doc/448854392.html,/

https://www.360docs.net/doc/448854392.html,/wiki/Mapnik

https://www.360docs.net/doc/448854392.html,/

https://www.360docs.net/doc/448854392.html,/tech-blog/installing-mapnik-ubuntu-710 /

https://www.360docs.net/doc/448854392.html,/ubuntu-804-hardy-heron-lamp-server -setup.html

Thanks dbaker and acant for copy editing help.

开发环境与测试环境搭建方案

开发环境与测试环境搭建方案 1. 总体原则 1.开发与测试环境单独搭建,开发与测试环境的分离便于利于重现开发环境无法重现的BUG 以及便于开发人员并行地修复BUG ,如果选择开发环境来进行测试,开发人员进行某项误操作后发生系统崩溃或者系统不能正常运行的意外,此时测试工作也不得不停止。 2.测试环境与测试数据库分离,测试环境与测试数据库分离保证测试数据库的稳定性、数据准确性以及今后性能测试指标值的准确性。 3.开发环境与开发数据库共用一台,由于开发环境对及其性能要求不高,因此应用与数据库采用共用。 4.测试环境WEB 应用部署与生产环境相同,测试数据库的配置(用户、表空间、表)也需与生产环境一致。 2. 环境管理 2.1. 系统架构 开发环境构架: 测试环境系统构架: 2.2. 硬件配置 从上述的系统架构图分析需要3台服务器组建开发与测试环境,机型选择普 通的PC Server 机器即可。 2.3. 安装软件 建议方案中给出是环境搭建的主要软件,其他的工具未在罗列中,根据具体 需要自行安装。 服务器 内存 CPU 硬盘 备注 开发服务器 2G 到4G 之间 4C ,主频2G 以上 300G 左右 测试服务器 8G-16G 之间 4C ,主频2G 以上 300G 左右 测试数据服务器 8G-16G 之间 4C ,主频2G 以上 500G 左右

3. 权限管理 3.1. 开发环境 开发人员均可访问开发服务器应用代码与开发数据库,可以修改代码与数据 以及发布部署开发版本以便自测。 3.2. 测试环境 测试环境由版本管理员管理,负责整个测试环境的管理,包括版本部署、服 务启停、数据变更等,测试环境对开发人员只开发查询权限,仅可查询应用日志,服务运行、测试数据。 4. 版本管理 开发与测试环境安装 SVN 版本管理软件,由版本管理员负责对开发与测 试环境的版本管理工作。 5. 备份管理 1.备份主要包括开发与测试环境的代码与配置,备份方式暂为全量备份。 2.每日凌晨3点系统自动对每个项目的代码已经配置文件自动备份,备份文件名:项目名称_code_yyyymmdd.tar ,备份完成后传至备份服务器(服务器待定)。 3.每当长假(元旦、清明、五一、端午、十一、中秋、春节)前期,需手工对开发与测试环境进行全量备份。 4. 服务器 操作系统 中间件 数据库 测试工具 版本管理 工具 开发服务器 RedHat Linux 5.4 64位 Weblogic 9 Oracle 10 无 SVN 测试服务器 RedHat Linux 5.4 64位 Weblogic 9 无 JIRA SVN 测试数据服务器 RedHat Linux 5.4 64位 无 Oracle 10

Cloudera大数据平台环境搭建(CDH5.13.1)傻瓜式说明书

Cloudera大数据平台环境搭建(CDH5.13.1版)

目录

基础环境 软件环境 本文将介绍Centos7.4离线安装CDH和ClouderaManager过程,软件版本如下: 配置规划 本次安装共5台服务器,服务器配置及用途如下: 所需要的软件资源 1)JDK环境: JDK版本:51 jdk-8u151-linux-x64.rpm 下载地址: 2)CM包: CM版本:5.13.1 下载地址: 3)CDH包 CDH版本:5.13.1, ; .sha1; manifest.json 下载地址: 4)JDBC连接jar包: jar包版本:5.1.43, mysql-connector-java-5.1.43.jar 下载地址: 修改机器名(所有节点) 这种方式,在Centos7中可以永久性改变主机名称。

内容都改为: 设置防火墙(所有节点) 注:为了简便,可以先关闭防所有节点火墙,安装完成后,再按照下面步骤设置。 防火墙常用命令: 便,安装完毕后可以根据需要设置防火墙策略,保证集群安全。 配置免密码登录SSH 将子节点设置为从主节点ssh无密码登陆(主节点访问从节点需要无密码互通,否则后面会出现问题) 一路回车,生成无密码的密钥对。 把公钥拷贝至node169服务器上?: 登录到node169服务器上: 然后在node169服务器上,把公钥的内容追加到authorized_keys文件末尾(这个文件也在隐藏文件夹.ssh下,如果没有可以新建):

在node168节点出现下面表示成功登录node169节点: 以同样的方式将公钥拷贝至其他节点服务器上。 关闭SELINUX(所有节点) 关闭linuxSELINUX安全内核 (在Centos7中遇到SELINUX无法关闭的问题,重新启动机器恢复正常) 修改Linux内核参数(所有节点) 为避免安装过程中出现的异常问题,首先调整Linux内核参数。 1)设置swappiness,控制换出运行时内存的相对权重,Cloudera建议将swappiness设置为 10: 自CentOS6版本开始引入了TransparentHugePages(THP),从CentOS7版本开始,该特性默认就会启用。尽管THP的本意是为提升内存的性能,不过某些数据库厂商还是建议直接关闭THP,否则可能会导致性能出现下降。 表示已禁用:

MySQL Cluster单机搭建集群环境

运行环境: centos6.1 Mysql版本: MySQL-cluster-gpl-7.2.6-linux2.6-x86_6 下载地 址:https://www.360docs.net/doc/448854392.html,/Downloads/MySQL-Cluster-7.2/mysql-cluster-gpl-7.2.6-linux2. 6-x86_64.tar.gz 对于这第一个MySQL数据库的集群,它由1个单一的MySQL服务引擎(mysqlds)、两个数据节点(ndbd)和一个单一的管理节点(ndb_mgmd)共同组成,所有的节点都运行在同一台主机上。 为配置文件和数据文件创建必要的存储文件夹,分别要建立如下几个文件夹: ① /home/mysql/my_cluster ② /home/mysql/my_cluster/ndb_data ③ /home/mysql/my_cluster/mysqld_data ④ /home/mysql/my_cluster/mysqld_data/mysql ⑤ /home/mysql/my_cluster/mysqld_data/ndbinfo ⑥ /home/mysql/my_cluster/conf 具体安装步骤: 1. 添用加户与组mysql [plain]view plaincopy 1.shell> groupadd mysql 2.shell> useradd -r -d /home/mysql -g mysql mysql [plain]view plain copy 1.shell> groupadd mysql 2.shell> useradd -r -d /home/mysql -g mysql mysql 2. 切换到mysql用户权限下 [plain]view plaincopy 1.shell> su - mysql [plain]view plain copy 1.shell> su - mysql

OSM本地数据库搭建(Ubuntu环境)

Build your own OpenStreetMap Server - Ubuntu 08.04 Hardy Heron Submitted by rweait on Sat, 01/19/2013 - 15:07 This article is now archived as https://www.360docs.net/doc/448854392.html,/content/build-your-own-openstreetmap-serve r-v1. An updated (2010) article is based on Ubuntu 10.04 Lucid Lynx Build your own OpenStreetMap server. Build your own what? OpenStreetMap is the editable World map of everything. It is the Wikipedia of maps. It is to other on-line maps as Wikipedia is to Britannica. And it is awesome in every possible way. OpenStreetMap is a massive project that started as Steve Coast's, frame-breaking idea in 2004. If I make a map of my neighborhood and give it away, and you make a map of your neighborhood and give it away, then we both have better maps. As of March 2009 there are over 100,000 contributors making maps of their neighborhoods and contributing them to this World wide effort. OpenStreetMap makes the data and the software available to you with Free Software and free data licenses so that you can use, learn from, teach with, improve upon and share with others what you gain from OpenStreetMap. And you can build your own local copy of OpenStreetMap for your business, school, community group or personal interests. The project operates on a massive scale as there is an incredible amount of data, there is more data every day, and there are more people using the data every day. OpenStreetMap has to run on several servers, including a handful of API servers and separate database, development, web and tile servers. This article does not cover the creation of a complete OSM datacentre.

开发环境与测试环境搭建方案

开发环境与测试环境搭建方案 总体原则 1.开发与测试环境单独搭建,开发与测试环境的分离便于利于重现开发环境无法重现的BUG 以及便于开发人员并行地修复BUG ,如果选择开发环境来进行测试,开发人员进行某项误操作后发生系统崩溃或者系统不能正常运行的意外,此时测试工作也不得不停止。 2.测试环境与测试数据库分离,测试环境与测试数据库分离保证测试数据库的稳定性、数据准确性以及今后性能测试指标值的准确性。 3.开发环境与开发数据库共用一台,由于开发环境对及其性能要求不高,因此应用与数据库采用共用。 4.测试环境WEB 应用部署与生产环境相同,测试数据库的配置(用户、表空间、表)也需与生产环境一致。 环境管理 1.1. 系统架构 开发环境构架: 测试环境系统构架: 1.2. 硬件配置 从上述的系统架构图分析需要3台服务器组建开发与测试环境,机型选择普 通的PC Server 机器即可。 1.3. 安装软件 建议方案中给出是环境搭建的主要软件,其他的工具未在罗列中,根据具体 需要自行安装。 服务器 内存 CPU 硬盘 备注 开发服务器 2G 到4G 之间 4C ,主频2G 以上 300G 左右 测试服务器 8G-16G 之间 4C ,主频2G 以上 300G 左右 测试数据服务器 8G-16G 之间 4C ,主频2G 以上 500G 左右

权限管理 1.4. 开发环境 开发人员均可访问开发服务器应用代码与开发数据库,可以修改代码与数据 以及发布部署开发版本以便自测。 1.5. 测试环境 测试环境由版本管理员管理,负责整个测试环境的管理,包括版本部署、服 务启停、数据变更等,测试环境对开发人员只开发查询权限,仅可查询应用日志,服务运行、测试数据。 2. 版本管理 开发与测试环境安装 SVN 版本管理软件,由版本管理员负责对开发与测 试环境的版本管理工作。 3. 备份管理 1.备份主要包括开发与测试环境的代码与配置,备份方式暂为全量备份。 2.每日凌晨3点系统自动对每个项目的代码已经配置文件自动备份,备份文件名:项目名称_code_yyyymmdd.tar ,备份完成后传至备份服务器(服务器待定)。 3.每当长假(元旦、清明、五一、端午、十一、中秋、春节)前期,需手工对开发与测试环境进行全量备份。 4. 服务器 操作系统 中间件 数据库 测试工具 版本管理 工具 开发服务器 RedHat Linux 5.4 64位 Weblogic 9 Oracle 10 无 SVN 测试服务器 RedHat Linux 5.4 64位 Weblogic 9 无 JIRA SVN 测试数据服务器 RedHat Linux 5.4 64位 无 Oracle 10

搭建Oracle高可用(HA)数据库环境

搭建Oracle高可用(HA)数据库环境 2008-05-08 10:45 24*7(有些叫法也为24*7*365)的高可用系统越来越多的受到广泛重视与应用,那是因为在实际环境中,不间断的系统代表的就是不间断的义务收入。但是 ◆怎么样搭建与治理24*7的高可用环境? ◆各种各样的高可用环境之间到底有什么差别? ◆我们是否适合于哪种环境? ◆现在高可用环境的主要方式以及以后的发展趋势是什么? 这些话题,都是决策者与实施者都应当考虑的,也是本文所探讨的,我们需要搭建一个怎么样的高可用环境,才能真正做到最适合。 一、什么是高可用(High Availability) 在高可用的解释方面,有人给出了如下的诠释: (1)系统失败或崩溃 (system faults and crashes) (2)应用层或者中间层错误 (application and middleware failures) (3)网络失败 (network failures) (4)介质失败,一般指存放数据的媒体故障 (media failures) (5)人为失误 (Human Error) (6)容灾 (Disasters and extended outages) (7)计划宕机与维护 (Planned downtime, maintenance and management tasks) 可见,高可用不仅仅包含了系统本身故障,应用层的错误,人为错误等等,还应当包括数据冗余、容灾以及计划的维护时间,也就是说,一个真正的高可用环境,不仅仅是能避免系统本身的问题,还应当能防止天灾人祸,以及有一个简单可靠的系统维护方法(如微码升级、软件升级等等计划停机维护)。现在高可用的计算方法一般以年在线率来计算,如规定一年之中的可用环境要达到99.95%,那么24*365*(1-99.95%)=4.38小时(包括维护时间)。那么假定一个系统本身一年之中故障时间是1小时,但是计划维护时间却花了20小时,那么这个系统也不能算是一个满足设计要求的高可用环境。现阶段使用环境中,基本没有真正的100%的在线环境,或者说,假如达到100%的在线能力,将花费非常多的代价,所以一般能达到99.95%以上的可用性的环境,一般都可以认为是

mysql集群部署文档

3台机器搭建集群环境 1. 集群配置如下 (3台机器) 管理节点:192.168.6.134 数据节点1:192.168.6.135 数据节点2:192.168.6.136 sql节点1:192.168.6.135 sql节点2:192.168.6.136 我使用3台机器进行配置,其中两台机器上的数据节点与sql节点在一起 2. 管理节点安装(192.168.6.134) 安装 1.shell> groupadd mysql 2.shell> useradd mysql -g mysql 3.shell> mv mysql-cluster-gpl-7.2.6-linux2.6-x86_6 4.tar.gz /usr/local/ 4.shell> cd /usr/local/ 5.shell> tar zxvf mysql-cluster-gpl-7.2.6-linux2.6-x86_64.tar.gz /usr/local/ 6.shell> mv mysql-cluster-gpl- 7.2.6-linux2.6-x86_64 mysql 7.shell> chown -R mysql:mysql mysql 8.shell> cd mysql 9.shell> scripts/mysql_install_db --user=mysql 配置管理节点 1.shell> mkdir /var/lib/mysql-cluster 2.shell> cd /var/lib/mysql-cluster vi config.ini 添加以下内容 1.[ndbd default] 2.NoOfReplicas=2 3.DataMemory=80M 4.IndexMemory=18M 5.[ndb_mgmd]

开发环境搭建文档

开发环境搭建 jdk1.5环境的安装和配置 1.jdk1.5的安装 jdk的安装很简单,双击jdk1.5文件下面的jdk-1_5_0_07-windows-i586-p.exe文件,按照步骤一步一步安装即可。 2.jdk1.5的配置 找到jdk1.5的安装路径D:\Program Files\Java\jdk1.5.0_07\bin目录,将其配置到windows 的环境下。 右击“我的电脑”—>“属性”—>“高级” 选择Path点击编辑 将鼠标移到变量值的最前端,把D:\Program Files\Java\jdk1.5.0_07\bin拷贝进去并以分号结束。

配置CLASSPATH,单击新建按钮 输入变量名CLASSPA TH,变量值为“.”; 3.查看jdk是否安装成功 运行cmd,在命令行中输入java。查看命令行的提示信息。 输入javac,查看提示信息。

提示上述信息,则安装成功。 db2客户端环境的安装和配置 1.db2客户端的安装 db2客户端的安装很简单,双击db2 client目录下的setup.exe按提示一步一步安装即可。 2.db2客户端的配置 选择“开始”—>“所有程序”—>“IBM db2”—>“设置工具”—>“配置助手”,打开配置助手,如下图: 单击“选择”—>“使用向导来添加数据库”

选择“人工配置与数据库的连接”选择,单击“下一步”。 选择“TCP/IP”单击下一步。 主机名框中填写DB2服务器的IP地址,服务名保持默认值,端口号填写DB2端口号(默认为50000),单击“下一步”按钮,出现如下图所示界面。

大数据学习环境搭建系列(二)虚拟机软件Vmware的安装

虚拟机软件Vmware的安装 1、概述 在进行分布式架构的学习前,首先需进行基础环境准备。众所周知,在单机运算能力无法满足处理海量数据的运算能力时,人们普遍开始考虑使用分布式运算来代替单机运算,这也成为了大数据分析和小数据分析最显著的区别之一,即使用的工具不同。当前大数据行业标准是使用Hadoop及其生态组件来执行分布式处理,这也是我们后续文章的主要内容。 分布式集群的主要目的在于连接多台的物理机,以达到整合运算能力线性增长的效果,在学习过程中,我们仍然可以在单台物理机上模拟搭建和运行分布式集群。通常来说,单台物理机上模拟分布式集群有两种方法,其一是利用Hadoop进行分进程的分布式模拟,即一般意义上的伪分布式,通常用于实验和测试;其二则是利用虚拟化软件,将一台物理机分为三台虚拟物理机,然后搭建分布式集群。其中后者与实际工作情景无异,只不过在物理机本身运算能力上有所差别,企业多用服务器级物理机,而在学习过程中个人电脑性能可能稍差。后续文章将针对两种分布式集群搭建方法进行教学,同时也将更加侧重分布式集群的搭建。

注:这里推荐个人计算机配置:硬盘空间大于100G、内存大于等于8G、CPU大于两核。 尽管Apache Hadoop可适用于Windows、Linux和Mac OS操作系统,但就其稳定性而言,我们首推Linux系统或Mac OS系统,而二者相比选择Linux系统适用面更为广泛,因此后续文章我们将在Linux系统中安装Hadoop。由于个人用户普遍使用Windows或Mac OS系统,我们需要在当前操作系统中虚拟一个Linux系统,因此,虚拟化工具就是我们需要掌握和使用的第一个软件。除此之外,由于将要多个虚拟机的统一管理和多个终端的操作,因此我们还需要掌握一些终端管理软件和文件传输软件的基本操作方法。这些软件将在后续使用过程中进行详细介绍。 2、虚拟机软件 2.1虚拟机软件简介 就目前而言,VMware Workstation是使用最为广泛、功能最为强大的虚拟机软件,主要用于IT开发和系统管理等商业环境,而开源虚拟软件Oracle VM VirtualBox,则在所有免费虚拟机软件中表现较为突出,成为大多数教学、实验等非商业环境中的首选。后续文章主要将采用VMware Workstation作为虚拟机软件安装虚拟机,而关于Virtual Box的下载和安装方法,也会在后续文章中单独介绍已满足各位同学的不同需求。今天我们介绍VMware Workstation的安装使用方法。 2.2VMware Workstation下载安装 1)VMware WorkStation下载 2)VMware WorkStation安装 双击安装文件,开始安装,在安全警告窗口点击“运行”

mysql集群架构说明与配置实例-详细过程

Mysql集群架构文档 MySQL Cluster 是MySQL适合于分布式计算环境的高实用、高冗余版本。它采用了NDB Cluster 存储引擎,允许在1个Cluster 中运行多个MySQL服务器。在MyQL 5.0及以上的二进制版本中、以及与最新的Linux版本兼容的RPM中提供了该存储引擎。(注意,要想获得MySQL Cluster 的功能,必须安装mysql-server 和mysql-max RPM)。 目前能够运行MySQL Cluster 的操作系统有Linux、Mac OS X和Solaris(一些用户通报成功地在FreeBSD上运行了MySQL Cluster ,但MySQL AB公司尚未正式支持该特性)。 一、MySQL Cluster概述 MySQL Cluster 是一种技术,该技术允许在无共享的系统中部署“内存中”数据库的Cluster 。通过无共享体系结构,系统能够使用廉价的硬件,而且对软硬件无特殊要求。此外,由于每个组件有自己的内存和磁盘,不存在单点故障。 MySQL Cluster 由一组计算机构成,每台计算机上均运行着多种进程,包括MySQL服务器,NDB Cluster 的数据节点,管理服务器,以及(可能)专门的数据访问程序。关于Cluster 中这些组件的关系,请参见下图:

所有的这些节点构成一个完成的MySQL集群体系。数据保存在“NDB存储服务器”的存储引擎中,表(结构)则保存在“MySQL服务器”中。应用程序通过“MySQL服务器”访问这些数据表,集群管理服务器通过管理工具(ndb_mgmd)来管理“N DB存储服务器”。 通过将MySQL Cluster 引入开放源码世界,MySQL为所有需要它的人员提供了具有高可用性、高性能和可缩放性的Cluster 数据管理。 二.安装环境 1.Linux操作系统版本:CentonOS 4.7 2.Mysql数据库版本:mysql-max-5.0.24-linux-i686.tar.gz 共三台机器安装了CentonOS4.7版本,首先保证把系统中没有一个包带有mysql的,有的话

大数据环境软件

大数据环境软件 操作系统 CentOS 7 #zip unzip 命令安装 yum install zip unzip #netstat 等命令网络工具包安装 yum install net-tools 软件安装包 -rw-r--r--. 1 root root 20985335 4月30 10:14 apache-storm-0.9.3.tar.gz -rw-r--r--. 1 root root 153512879 5月26 16:15 jdk-7u79-linux-x64.tar.gz drwxr-xr-x. 10 root root 4096 7月10 11:55 jzmq -rw-r--r--. 1 root root 71503892 4月17 10:06 kafka_2.10-0.8.2.1.zip -rw-r--r--. 1 root root 1358190 5月27 11:26 redis-3.0.1.tar.gz -rw-r--r--. 1 root root 1877380 5月12 2011 zeromq-2.1.7.tar.gz -rw-r--r--. 1 root root 17699306 7月10 02:50 zookeeper-3.4.6.tar.gz JAVA vi /etc/profile 在文件末尾增加如下配置内容 #set java environment JAVA_HOME=/usr/local/jdk1.7.0_79/ CLASSPATH=.:$JAVA_HOME/lib/tools.jar PATH=$JAVA_HOME/bin:$PATH export JAVA_HOME CLASSPATH PATH 配置生效 source /etc/profile 验证配置结果 [root@localhost local]# java -version java version "1.7.0_79"

Cloudera大数据平台环境搭建傻瓜式说明书

Cloudera大数据平台环境搭建 (版)

目 录 Cloudera 大数据平台环境搭建错误! 未定义书签。 版)错误! 未定义书 签。 1. 基础环 境. 错误! 未定义书签。 软件环境错误!未定义书签。 2. 3. 配置规划...... 所需要的软件资源 错误!未定义书签。 错误!未定义书签。 修改机器名(所有节点) 设置防火墙(所有节点) 配置免密码登录 SSH.. 关闭SELINUX(所有节点)…… 修改 Linux 内核参数(所有节 点) 其他安装与配置(所有节点) . 配置NTP服务................. 安装 oracle (所有节点) Mysql 安装(主节点) 安装CM 传包,解包 创建数据库 创建用户 制作本地YUM源 拷贝 修改 启动 访问 安装CDH 错误!未定义书签。 错误!未定义书签。 错误!未定义书签。 错误!未定义书签。 错误!未定义书签。 错误!未定义书签。 错误!未定义书签。 错误!未定义书签。 错误!未定义书签。 错误! 未定义书 签。 错误!未定义书签。 错误!未定义书签。 错误!未定义书签。 错误!未定义书签。 jar 包................. cloudera-scm-agent 配置 CM Server 和 Agent ..... 错误!未定义书签。 错误!未定义书签。 错误!未定义书签。 CM. 错误!未定义书签。 错误! 未定义书 签。 登录后界面错误!未定义书签。 选择CM版本错误!未定义书签。 指定主机错误!未定义书签。 选择CDH版本错误!未定义书签。 出现“主机运行状态不良”错误 检查主机正确性................... 错误!未定义书签。 错误!未定义书签。 选择安装的服务错误!未定义书签。 角色分配 . 数据库设置 错误!未定义书签。 错误!未定义书签。 测试连接报错:错误!未定义书签。 群集设置错误!未定义书签。

MySQL_Cluster集群配置方案

在为某证券公司设计其OA架构时,初期客户是30万用户在线;然而在项目实施中,客户又提出50万用户同时在线的需求,而且都有写的需求;这样初始的设计master-master-slave,读写分离满足不了客户的要求,所以我们打算采用Mysql Cluster方案;MySQL Cluster 是MySQL适合于分布式计算环境的高实用、高冗余版本。它采用了NDB Cluster 存储引擎,允许在1个Cluster中运行多个MySQL服务器。在MyQL 5.0及以上的二进制版本中、以及与最新的Linux版本兼容的RPM中提供了该存储引擎。 一、MySQL Cluster概述 MySQL Cluster 是一种技术,该技术允许在无共享的系统中部署“内存中”数据库的 Cluster 。通过无共享体系结构,系统能够使用廉价的硬件,而且对软硬件无特殊要求。此外,由于每个组件有自己的内存和磁盘,不存在单点故障。 MySQL Cluster 由一组计算机构成,每台计算机上均运行着多种进程,包括MySQL服务器,NDB Cluster 的数据节点,管理服务器,以及(可能)专门的数据访问程序。 所有的这些节点构成一个完成的MySQL集群体系。数据保存在“NDB存储服务器”的存储引擎中,表(结构)则保存在“MySQL服务器”中。应用程序通过“MySQL服务器”访问这些数据表,集群管理服务器通过管理工具(ndb_mgmd)来管理“NDB存储服务器”。 通过将MySQL Cluster 引入开放源码世界,MySQL为所有需要它的人员提供了具有高可用性、高性能和可缩放性的 Cluster 数据管理。 二、MySQL Cluster 基本概念 “NDB” 是一种“内存中”的存储引擎,它具有可用性高和数据一致性好的特点。 MySQL Cluster 能够使用多种故障切换和负载平衡选项配置NDB存储引擎,但在 Cluster 级别上的存储引擎上做这个最简单。MySQL Cluster的NDB存储引擎包含完整的数据集,仅取决于 Cluster本身内的其他数据。 目前,MySQL Cluster的 Cluster部分可独立于MySQL服务器进行配置。在MySQL Cluster中, Cluster的每个部分被视为1个节点。 管理(MGM)节点:这类节点的作用是管理MySQL Cluster内的其他节点,如提供配置数据、启动并停止节点、运行备份等。由于这类节点负责管理其他节点的配置,应在启动其他节点之前首先启动这类节点。MGM节点是用命令 “ndb_mgmd”启动的。 数据节点:这类节点用于保存 Cluster的数据。数据节点的数目与副本的数目相关,是片段的倍数。例如,对于两个副本,每个副本有两个片段,那么就

使用Ambari快速部署Hadoop大数据环境

作者:杨鑫奇 前言 做大数据相关的后端开发工作一年多来,随着Hadoop社区的不断发展,也在不断尝试新的东西,本文 着重来讲解下Ambari,这个新的Apache的项目,旨在让大家能够方便快速的配置和部署Hadoop生态圈相关的组件的环境,并提供维护和监控的功能. 作为新手,我讲讲我自己的学习经历,刚刚开始学习的时候,当然最简单的 Google 下Hadoop ,然后下载相关的包,在自己的虚拟机(CentOS 6.3) 上安装一个单机的Hadoop版本用来做测试,写几个测试类,然后做下CRUD测试之类的,跑跑Map/Reduce的测试,当然这个时候对于Hadoop还不是很了解,不断的看别人的文章,了解下整体的架构,自己所做的就是修改conf下的几个配置文件,让Hadoop能够正常的跑起来,这个时候几种在修改配置上,这个阶段之后,又用到了HBase,这个Hadoop生态圈的另外一个产品,当然还是修改配置,然后 start-all.sh , start-hbase.sh 把服务起起来,然后就是修改自己的程序,做测试,随着用Hbase 学了下 Zookeeper 和Hive等, 接着过了这个操作阶段了之后,开始研究Hadoop2.0看了董的博客的相关文章,还有CSDN上很多大牛的文章了之后, 算是对Hadoop的生态圈整体有一些了解,介于自己在公司所承担的开发所涉及到相关的技术仅仅就这些.但是作为一个 爱好探索的人,是否想多了解下呢,它的性能怎么样? 它是具体如何运作的? 看大公司的那些PPT,人家(淘宝等大公司)动不动就是几十个,几百个,乃至几千个节点,人家是如何管理的,性能是怎么样的?看着PPT里面的那些性能测试的曲线,你是否也能够详细的了解,并且对自己的项目进行性能调优呢? 我貌似找到答案了,那就是 Ambari , 由HortonWorks开发的一个Hadoop相关的项目,具体可以上官方去了解. 了解Hadoop生态圈 现在我们经常看到的一些关键字有: HDFS,MapReduce,HBase,Hive,ZooKeeper,Pig,Sqoop,Oozie,Ganglia,Nagios,CDH3,CDH4,Flume,Scri be,Fluented,HttpFS等等,其实应该还有更多,Hadoop生态圈现在发展算是相当繁荣了,而在这些繁 荣的背后又是谁在推动的呢? 读过Hadoop历史的朋友可能知道,Hadoop最早是始于Yahoo,但是现在主要是由 HortonWorks 和 Cloudera 这2家公司在维护者,大部分的commiter 都属于这2家公司,所以现在市面上看到的主要有2个版本,CDH系列,和社区版, 我最早用的是社区版本,后来换到CDH3,现在又换回社区版,因为有Ambari.当然,用什么和不用什么,只要自己的技术到家,还是都能修改的跑的正常的.这里就不多说了. 讲了这么多废话了,开始讲 Ambari安装吧. 开始部署 首先了解下Ambari, 项目地址在:https://www.360docs.net/doc/448854392.html,/ambari/

MYSQL集群搭建指引文档

在PCSERVER上安装MARIADB。 一、先检查主机的环境 如果主机已经安装了MYSQL的早期版本,并且有MYSQL实例正在主机上运行,要先行清理早期的版本,具体步骤如下: 1、优雅地停掉当前正在运行的MYSQL服务。 2、卸载MYSQL早期版本及其组件 rpm -qa|grep -i mysql #查看已经安装的mysql相关包 rpm -ev package_name #package_name包名比如:mysql-server-5.0.51b-1.el5 二、用YUM安装MARIADB 具体步骤如下: 1、cd /etc/yum.repos.d 2、vi MariaDB.repo然后粘上官网上的内容(用CENTOS操作系统举例) Here is your custom MariaDB YUM repository entry for CentOS. Copy and paste it into a file under /etc/yum.repos.d/ (we suggest naming the file MariaDB.repo or something similar). See "Installing MariaDB with yum" for detailed information. 3、执行yum -y install MariaDB-client MariaDB-server MariaDB-devel 4、如果发现用YUM装时,代理服务器的网速下载太慢了导致超时然后报错退出,解决方案如下: A自己用个人电脑到官网下载列表中的RPM文件,

组建MySQL集群的几种方案,优劣与讨论

组建MySQL集群的几种方案 LVS+Keepalived+MySQL(有脑裂问题?但似乎很多人推荐这个) DRBD+Heartbeat+MySQL(有一台机器空余?Heartbeat切换时间较长?有脑裂问题?) MySQL Proxy(不够成熟与稳定?使用了Lua?是不是用了他做分表则可以不用更改客户端逻辑?) MySQL Cluster (社区版不支持INNODB引擎?商用案例不足?稳定性欠佳?或者还有其他问题?又或者听说现在发展不错?) MySQL + MHA (如果配上异步复制,似乎是不错的选择,又和问题?) MySQL + MMM (似乎反映有很多问题,未实践过,谁能给个说法) 淘宝的Cola(似乎现在停止开发了?)?变形虫Amoeba(事务支持?) 或者,其他方案? 回答1: 不管哪种方案都是有其场景限制或说规模限制,以及优缺点的。 1. 首先反对大家做读写分离,关于这方面的原因解释太多次数(增加技术复杂度、可能导致读到落后的数据等),只说一点:99.8%的业务场景没有必要做读写分离,只要做好数据库设计优化和配置合适正确的主机即可。 2.Keepalived+MySQL --确实有脑裂的问题,还无法做到准确判断mysqld是否HANG 的情况; 3.DRBD+Heartbeat+MySQL --同样有脑裂的问题,还无法做到准确判断mysqld是否HANG的情况,且DRDB是不需要的,增加反而会出问题; 3.MySQL Proxy -- 不错的项目,可惜官方半途夭折了,不建议用,无法高可用,是一个写分离; 4.MySQL Cluster -- 社区版本不支持NDB是错误的言论,商用案例确实不多,主要是跟其业务场景要求有关系、这几年发展有点乱不过现在已经上正规了、对网络要求高; 5.MySQL + MHA -- 可以解决脑裂的问题,需要的IP多,小集群是可以的,但是管理大的就麻烦,其次MySQL + MMM 的话且坑很多,有MHA就没必要采用MMM 建议: 1.若是双主复制的模式,不用做数据拆分,那么就可以选择MHA或Keepalive 或heartbeat

数据库管理系统及其应用开发环境的创建使用

学号:姓名: EMAIL: 学院:专业: 《数据库应用实践》实验一:数据库管理系统及其应用开发环境的创建使用实验目的: 了解数据库应用开发环境的建立与使用;掌握SQL 语言的使用;通过实践理解关系数据模型的相关概念;掌握数据库应用开发环境的使用;掌握创建、删除数据库的方法;掌握创建基本表、查看表属性、修改属性的方法;掌握向表中添加、删除以及修改数据的方法;掌握查询分析器的使用方法;掌握SELECT 语句在单表查询中的应用;掌握复杂查询、多表查询的方法;掌握视图的使用方法;巩固数据库的基础知识。 实验环境: 操作系统: windows 8.1 64 bits 数据库管理系统:Microsoft SQL Server 2008 实验内容: 1.应用背景及设计的数据库名。 a)应用背景:学生选课管理系统,一门课可以由多个老师教授,一个老师可以 教多门课程,一个学生可以选修多门课程,一门可以有多个学生选修 b)数据库名:mrsunday 2. 所设计的各张表结构说明,各表之间关系图说明。 表结构说明: 创建4张表,Student表存储学生信息,Teacher表存储教师信息,Course 表存储课程信息,SC表存储学生选课信息及选课成绩。 数据库各表之间关系图说明:

3. 依据前面实验一实验内容(2),(3)的要求,写出实现相应操作的SQL 语句并给出运行结果的截图。 (2) 以下内容使用SQL 语句完成: 1、设计一个应用场景,创建符合该应用需求的应用数据库。 代码:create database mrsudnay; 截图: 2、在该数据库中创建至少4 个相互关联的基本表,并设置主键、外键、自定 义完整性约束(非空、唯一、默认值、check)。 代码: 1)Student 表 create table Student( Sno char(20)primary key, Sname char(20)not NULL, Ssex char(2)default'男', Sage smallint not NULL check(Sage between 0 and 90), Sdept char(20)not NULL ); 2)Teacher表 create table Teacher ( Tno char(10)primary key, Tname char(20)not NULL, Tsex char(2)default'男', Tage smallint not NULL check(Tage between 20 and 60), Sdept char(20)not NULL); 3)Course表 create table Course ( Cno char(5)primary key, Cname char(20)not NULL, Cpno char(5)NULL,-- Cpno是先修课 Ccredit smallint not NULL, foreign key (Cpno)references Course(Cno) );

开发环境与测试环境搭建方案

开发环境与测试环境搭建 方案 This manuscript was revised by the office on December 10, 2020.

开发环境与测试环境搭建方案1.总体原则 1.开发与测试环境单独搭建,开发与测试环境的分离便于利于重现开发环境无法重现的BUG以及便于开发人员并行地修复BUG,如果选择开发环境来进行测试,开发人员进行某项误操作后发生系统崩溃或者系统不能正常运行的意外,此时测试工作也不得不停止。 2.测试环境与测试数据库分离,测试环境与测试数据库分离保证测试数据库的稳定性、数据准确性以及今后性能测试指标值的准确性。 3.开发环境与开发数据库共用一台,由于开发环境对及其性能要求不高,因此应用与数据库采用共用。 4.测试环境WEB应用部署与生产环境相同,测试数据库的配置(用户、表空间、表)也需与生产环境一致。 2.环境管理 2.1.系统架构 开发环境构架: 测试环境系统构架: 2.2.硬件配置 从上述的系统架构图分析需要3台服务器组建开发与测试环境,机型选择普通的PC Server机器即可。

2.3.安装软件 建议方案中给出是环境搭建的主要软件,其他的工具未在罗列中,根据具体需要自行安装。 3.权限管理 3.1.开发环境 开发人员均可访问开发服务器应用代码与开发数据库,可以修改代码与数据以及发布部署开发版本以便自测。 3.2.测试环境 测试环境由版本管理员管理,负责整个测试环境的管理,包括版本部署、服务启停、数据变更等,测试环境对开发人员只开发查询权限,仅可查询应用日志,服务运行、测试数据。 4.版本管理 开发与测试环境安装SVN版本管理软件,由版本管理员负责对开发与测试环境的版本管理工作。

相关文档
最新文档