乌班图基本操作命令
ubuntu shell 使用命令大全
ubuntu shell 使用命令大全 前言 下面的命令大都需要在控制台/ 终端/ shell 下输入。 控制台, 终端, 和shell 意味着同样一件事- 一个命令行界面，他可以用来控制系统。 打开一个控制台: 应用程序--> 附件--> 终端 任何一个使用'sudo' 作为前缀的命令都需要拥有管理员(或root) 访问权限。所以你会被提示输入你自己的密码。 安装升级 查看软件xxx安装内容 dpkg -L xxx 查找软件库中的软件 apt-cache search 正则表达式 或 aptitude search 软件包 显示系统安装包的统计信息 apt-cache stats 显示系统全部可用包的名称 apt-cache pkgnames 显示包的信息 apt-cache show k3b 查找文件属于哪个包 apt-file search filename 查看已经安装了哪些包 dpkg -l 查询软件xxx依赖哪些包 apt-cache depends xxx 查询软件xxx被哪些包依赖 apt-cache rdepends xxx 增加一个光盘源 sudo apt-cdrom add 系统升级 sudo apt-get update (这一步更新包列表) sudo apt-get dist-upgrade (这一步安装所有可用更新) 或者 sudo apt-get upgrade (这一步安装应用程序更新，不安装新内核等) 清除所有已删除包的残馀配置文件 dpkg -l |grep ^rc|awk '{print $2}' |sudo xargs dpkg -P 如果报如下错误，证明你的系统中没有残留配置文件了，无须担心。 dpkg: --purge needs at least one package name argument Type dpkg --help for help about installing and deinstalling packages [*]; Use `dselect' or `aptitude' for user-friendly package management; Type dpkg -Dhelp for a list of dpkg debug flag values; Type dpkg --force-help for a list of forcing options; Type dpkg-deb --help for help about manipulating *.deb files; Type dpkg --license for copyright license and lack of warranty (GNU GPL) [*]. Options marked [*] produce a lot of output - pipe it through `less' or `more' ! 编译时缺少h文件的自动处理 sudo auto-apt run ./configure 查看安装软件时下载包的临时存放目录
hadoop基本命令_建表-删除-导数据
HADOOP表操作 1、hadoop简单说明 hadoop 数据库中的数据是以文件方式存存储。一个数据表即是一个数据文件。hadoop目前仅在LINUX 的环境下面运行。使用hadoop数据库的语法即hive语法。（可百度hive语法学习） 通过s_crt连接到主机。 使用SCRT连接到主机，输入hive命令，进行hadoop数据库操作。 2、使用hive 进行HADOOP数据库操作
3、hadoop数据库几个基本命令 show datebases; 查看数据库内容; 注意：hadoop用的hive语法用“;”结束，代表一个命令输入完成。 usezb_dim; show tables;
4、在hadoop数据库上面建表； a1: 了解hadoop的数据类型 int 整型; bigint 整型，与int 的区别是长度在于int; int，bigint 相当于oralce的number型，但是不带小数点。 doubble 相当于oracle的numbe型,可带小数点； string 相当于oralce的varchar2(),但是不用带长度； a2: 建表，由于hadoop的数据是以文件有形式存放，所以需要指定分隔符。 create table zb_dim.dim_bi_test_yu3(id bigint,test1 string,test2 string)
row format delimited fields terminated by '\t' stored as textfile; --这里指定'\t'为分隔符 a2.1 查看建表结构: describe A2.2 往表里面插入数据。 由于hadoop的数据是以文件存在，所以插入数据要先生成一个数据文件，然后使用SFTP将数据文件导入表中。
ubuntu常用100个命令
1 文件管理# ls ls -a 列出当前目录下的所有文件，包括以.头的隐含文件 文件管理# ls ls -l或ll 列出当前目录下文件的详细信息 文件管理# pwd pwd 查看当前所在目录的绝对路经 文件管理# cd cd .. 回当前目录的上一级目录 文件管理# cd cd - 回上一次所在的目录 文件管理# cd cd ~ 或cd 回当前用户的宿主目录 文件管理# cd cd ~用户名回指定用户的宿主目录 2 文件管理# mkdir mkdir 目录名创建一个目录 文件管理# mkdir mkdir –p 递归式去创建一些嵌套目录 文件管理# rmdir Rmdir 空目录名删除一个空目录 3 文件管理# rm rm 文件名文件名删除一个文件或多个文件 文件管理# rm rm -rf 非空目录名递归删除一个非空目录下的一切，不让提式-f 4 文件管理# cat cat文件名一屏查看文件内容 5 文件管理# more more文件名分页查看文件内容 6 文件管理# less less 文件名可控分页查看文件内容 7 文件管理# grep grep字符文件名根据字符匹配来查看文件部分内容 8 文件管理# mv mv 路经/文件/经/文件移动相对路经下的文件到绝对路经下 文件管理# mv mv 文件名新名称在当前目录下改名 9 文件管理# cp cp /路经/文件 ./ 移动绝对路经下的文件到当前目录下 10 文件管理# find find 路经-name “字符串” 查找路经所在范围内满足字符串匹配的文件和目录 11 文件管理# ln ln 源文件链接名创建当前目录源文件的硬链接 ln /home/test /usr/test1 在/usr下建立/home/test的硬链接 12 文件管理# ln Ln -s a b 创建当前目录下a的符号链接b 13 文件管理# touch touch file1 file2 创建两个空文件 14 磁盘管理# df df 用于报告文件系统的总容量，使用量，剩余容量。 15 磁盘管理# du du -b /home 查看目前/HOME目录的容量(k)及子目录的容量(k)。 16 磁盘管理# fdisk fdisk -l 查看系统分区信息 17 磁盘管理# fdisk fdisk /dev/sdb 为一块新的SCSI硬盘进行分区 18 磁盘管理# mkfs.ext3 Mkfs.ext3 /dev/sdb1 为第一块SCSI硬盘的第一主分区格式化成 ext3的文件系统 mkfs.ext2 Mkfs.ext2/dev/sdb2 格式化成ext2文件系统 19 磁盘管理# mount mount -t 文件系统类型设备路经访问路经磁盘管理# 文件系统类型 ISO9660 光驱文件系统 vfat Fat文件系统(windows) 挂载光驱# mount –t iso9660 /dev/cdrom /mnt/cdrom 挂载FAT # mount –t vfat /dev/hda5 /mnt/cdrom 挂第一个ide的第五个逻辑分区 17 磁盘管理# Umount /mnt/cdrom 卸载/mnt/cdrom为空 18 文件权限# chmod chmod u+s file 为file的属主加上特殊权限 chmod g+r file 为file的属组加上读权限 chmod o+w file 为file的其它用户加上写权限 chmod a-x file 为file的所有用户减去执行权限
实验1 Linux基本操作和命令
实验一Linux基本操作和命令 一、实验目的： 1.掌握Linux虚拟机的基本操作 2.练习几个最常用的命令； 二、实验内容： 1.正确启动windows下面的虚拟机软件VMware，能够进入到ubuntu操作系统， 使用用户（ubuntu）登录：用户名：root 密码：123。启动终端（快捷键ctrl+alt+t）
系统，在终端命令行窗口中，输入如下linux命令，记录（复制或者截图）其 (4)在a1目录中,创建文件a.c、b.c、test1、test2，gedit是文本编辑器，打开文件注
(16)在dir1下建立txt的硬链接文件h_txt 和软链接文件s_txt，并用ls指令观察dir1
?ls命令：显示指定工作目录下之内容 ?dir命令:同ls ?cd命令：变换工作目录 ?pwd命令:显示出当前工作目录所在的路径 ?clear命令：清屏 ?man命令：查看指令用法的help ?mkdir命令：用来建立新的目录 ?rmdir命令：用来删除已建立的目录 ?rm命令：删除文档及目录。 ?touch命令：创建一个空白文件或改变已有文件的时间戳 ?cp命令：复制文件(或者目录等) ?mv命令：移动目录或文件 ?ln命令：为某一个文件在另外一个位置建立一个同步的链接。 ?chmod命令：修改文件或目录的权限 ?chown命令：修改文件或目录所属的用户 ?chgrp命令：修改文件或目录所属的工作组 ?more命令：使超过一页的文件临时停留在屏幕，按任意键后继续显示。 ?less命令：显示文件内容，可以上下翻页显示。 ?head命令：显示文件前10行内容。 ?tail命令：显示文件后10行内容。 ?cat命令：显示文件内容到标准输出 ?find命令：在指定的路径上搜索指定的文件和目录 ?grep命令：在文件中搜索字符串，并将匹配的行输出 ?shutdown命令：关机或重启 ?reboot命令：重启命令 ?mount命令：将某个文件系统挂载到某个目录上 ?umount命令：用于卸载已安装好的文件系统 ?tar命令：用于打包和解包某个目录和文件 ?ps命令：用于查看系统进程 ?kill命令：用于杀掉进程 ?adduser命令：添加用户 ?passwd命令：修改用户密码 ?ping命令： ?ifconfig命令：网卡配置 ?netstat命令：查看端口状态 ?nm命令 ?sudo : 暂时切换到超级用户模式以执行超级用户权限，提示输入密码时该密码为当前用户的密码，而不是超级账户的密码。不过有时间限制，Ubuntu默认为一次时长15分钟。?su ：切换到某某用户模式，提示输入密码时该密码为切换后账户的密码，用法为“su 账户名称”。 ?
Hadoop 集群基本操作命令-王建雄-2016-08-22
Hadoop 集群基本操作命令 列出所有Hadoop Shell支持的命令 $ bin/hadoop fs -help （注：一般手动安装hadoop大数据平台，只需要创建一个用户即可，所有的操作命令就可以在这个用户下执行；现在是使用ambari安装的dadoop大数据平台，安装过程中会自动创建hadoop生态系统组件的用户，那么就可以到相应的用户下操作了，当然也可以在root用户下执行。下面的图就是执行的结果，只是hadoop shell 支持的所有命令，详细命令解说在下面，因为太多，我没有粘贴。） 显示关于某个命令的详细信息 $ bin/hadoop fs -help command-name （注：可能有些命令，不知道什么意思，那么可以通过上面的命令查看该命令的详细使用信息。例子： 这里我用的是hdfs用户。） 注：上面的两个命令就可以帮助查找所有的haodoop命令和该命令的详细使用资料。
创建一个名为 /daxiong 的目录 $ bin/hadoop dfs -mkdir /daxiong 查看名为 /daxiong/myfile.txt 的文件内容$ bin/hadoop dfs -cat /hadoop dfs -cat /user/haha/part-m-00000 上图看到的是我上传上去的一张表，我只截了一部分图。 注：hadoop fs <..> 命令等同于hadoop dfs <..> 命令（hdfs fs/dfs）显示Datanode列表 $ bin/hadoop dfsadmin -report
$ bin/hadoop dfsadmin -help 命令能列出所有当前支持的命令。比如： -report：报告HDFS的基本统计信息。 注：有些信息也可以在NameNode Web服务首页看到 运行HDFS文件系统检查工具(fsck tools) 用法：hadoop fsck [GENERIC_OPTIONS]
Ubuntu系统常用终端命令合集
一、文件目录类 ? 1.建立目录：mkdir目录名 ? 2.删除空目录：rmdir目录名 ? 3.无条件删除子目录：rm -rf 目录名 ? 4.改变当前目录：cd 目录名（进入用户home目录：cd ~；进入上一级目录：cd -）? 5.查看自己所在目录：pwd ? 6.查看当前目录大小：du ?7.显示目录文件列表：ls -l （-a：增加显示隐含目录） ?其中：蓝：目录；绿：可执行文件；红：压缩文件；浅蓝：链接文件；灰：其他文件；红底白字：错误的链接文件 ?8.浏览文件：more 文件名.txt；less 文件名.txt ?9.复制文件：cp 源文件目标文件（-r：包含目录） ?10.查找文件：（1）find （2）locate 命令名 ?11.链接：（1）建立hard链接：ln 来源文件链接文件（-d：创建目录链接）；（2）建立符号链接：ln -s 来源文件链接文件 二、驱动挂载类 ? 1.检查硬盘使用情况：df -T -h ? 2.检查磁盘分区：fdisk -l ? 3.挂载软硬光区：mount -t /dev/fdx|hdax /mnt/目录名，其中：modos–FAT16； vfat–FAT32；ntfs–NTFS；光驱–iso9660，支持中文名：mount -o iocharset=x /dev/hdax /mnt/目录名，挂载光驱：mount -t auto /dev/cdrom /mnt/cdrom，挂载ISO文件：mount -t iso9660 -o loop xxx.iso /path ? 4.解除挂载：umount /mnt/目录名，解除所有挂载：umount -a ? 5.建立文件系统：mkfs -t /dev/hdxx。其中：ftype：ext2、ext3、swap等 三、程序安装类 1.RPM包安装： ?（1）安装rpm -ivhsomesoft.rpm ?（2）反安装rpm -e somefost.rpm ?（3）查询rpm -q somefost或rpm -qpisomefost.rpm（其中：p未安装；i包含的信息） ?（4）查询安装后位置：rpm -qlsomefost.rpm ?（5）升级安装：rpm -Uvhsomesoft.rpm ?（6）强制安装：rpm -ivh –nodepssomesoft.rpm或rpm -ivh –nodeps –force somesoft.rpm 2.源代码包安装： 查阅README 基本用法： ?（1）配置：解压目录下./configure ?（2）编译：解压目录下make ?（3）安装：解压目录下make install 3.src.rpm的安装 需要用到rpmbuild命令加上–rebuild参数。如rpmbuild –rebuild ***.src.rpm。然后在/usr/src/下找 FC3下iso程序安装：system-config-packages –isodir=iso所在目录
Hadoop命令大全
Hadoop命令大全 Hadoop配置： Hadoop配置文件core-site.xml应增加如下配置，否则可能重启后发生Hadoop 命名节点文件丢失问题：
1、列出所有Hadoop Shell支持的命令 $ bin/hadoop fs -help 2、显示关于某个命令的详细信息 $ bin/hadoop fs -help command-name 3、用户可使用以下命令在指定路径下查看历史日志汇总 $ bin/hadoop job -history output-dir 这条命令会显示作业的细节信息，失败和终止的任务细节。 4、关于作业的更多细节，比如成功的任务，以及对每个任务的所做的尝试次数等可以用下面的命令查看 $ bin/hadoop job -history all output-dir 5、格式化一个新的分布式文件系统： $ bin/hadoop namenode -format 6、在分配的NameNode上，运行下面的命令启动HDFS： $ bin/start-dfs.sh bin/start-dfs.sh脚本会参照NameNode上${HADOOP_CONF_DIR}/slaves文件的内容，在所有列出的slave上启动DataNode守护进程。 7、在分配的JobTracker上，运行下面的命令启动Map/Reduce： $ bin/start-mapred.sh bin/start-mapred.sh脚本会参照JobTracker上${HADOOP_CONF_DIR}/slaves 文件的内容，在所有列出的slave上启动TaskTracker守护进程。 8、在分配的NameNode上，执行下面的命令停止HDFS： $ bin/stop-dfs.sh bin/stop-dfs.sh脚本会参照NameNode上${HADOOP_CONF_DIR}/slaves文件的内容，在所有列出的slave上停止DataNode守护进程。 9、在分配的JobTracker上，运行下面的命令停止Map/Reduce： $ bin/stop-mapred.sh bin/stop-mapred.sh脚本会参照JobTracker上${HADOOP_CONF_DIR}/slaves文件的内容，在所有列出的slave上停止TaskTracker守护进程。 10、启动所有 $ bin/start-all.sh 11、关闭所有 $ bin/stop-all.sh DFSShell 10、创建一个名为 /foodir 的目录 $ bin/hadoop dfs -mkdir /foodir 11、创建一个名为 /foodir 的目录 $ bin/hadoop dfs -mkdir /foodir 12、查看名为 /foodir/myfile.txt 的文件内容 $ bin/hadoop dfs -cat /foodir/myfile.txt
ubuntu下常用命令
[转]ubuntu下常用命令 2009-11-30 09:40 安装 查看软件xxx安装内容 dpkg -L xxx 查找软件 apt-cache search 正则表达式 查找文件属于哪个包 dpkg -S filename apt-file search filename 查询软件xxx依赖哪些包 apt-cache depends xxx 查询软件xxx被哪些包依赖 apt-cache rdepends xxx 增加一个光盘源 sudo apt-cdrom add 系统升级 sudo apt-get update sudo apt-get upgrade sudo apt-get dist-upgrade 清除所以删除包的残余配置文件 dpkg -l |grep ^rc|awk '{print $2}' |tr ["\n"] [" "]|sudo xargs dpkg -P - 编译时缺少h文件的自动处理 sudo auto-apt run ./configure 查看安装软件时下载包的临时存放目录 ls /var/cache/apt/archives 备份当前系统安装的所有包的列表 dpkg --get-selections | grep -v deinstall > ~/somefile 从上面备份的安装包的列表文件恢复所有包 dpkg --set-selections < ~/somefile sudo dselect 清理旧版本的软件缓存 sudo apt-get autoclean 清理所有软件缓存 sudo apt-get clean 删除系统不再使用的孤立软件 sudo apt-get autoremove 系统 查看内核
(完整版)hadoop常见笔试题答案
Hadoop测试题 一．填空题，1分（41空），2分（42空）共125分 1.(每空1分) datanode 负责HDFS数据存储。 2.(每空1分)HDFS中的block默认保存 3 份。 3.(每空1分)ResourceManager 程序通常与NameNode 在一个节点启动。 4.(每空1分)hadoop运行的模式有：单机模式、伪分布模式、完全分布式。 5.(每空1分)Hadoop集群搭建中常用的4个配置文件为：core-site.xml 、hdfs-site.xml 、mapred-site.xml 、yarn-site.xml 。 6.(每空2分)HDFS将要存储的大文件进行分割，分割后存放在既定的存储块 中，并通过预先设定的优化处理，模式对存储的数据进行预处理，从而解决了大文件储存与计算的需求。 7.(每空2分)一个HDFS集群包括两大部分，即namenode 与datanode 。一般来说，一 个集群中会有一个namenode 和多个datanode 共同工作。 8.(每空2分) namenode 是集群的主服务器，主要是用于对HDFS中所有的文件及内容 数据进行维护，并不断读取记录集群中datanode 主机情况与工作状态，并通过读取与写入镜像日志文件的方式进行存储。 9.(每空2分) datanode 在HDFS集群中担任任务具体执行角色，是集群的工作节点。文 件被分成若干个相同大小的数据块，分别存储在若干个datanode 上，datanode 会定期向集群内namenode 发送自己的运行状态与存储内容，并根据namnode 发送的指令进行工作。 10.(每空2分) namenode 负责接受客户端发送过来的信息，然后将文件存储位置信息发 送给client ，由client 直接与datanode 进行联系，从而进行部分文件的运算与操作。 11.(每空1分) block 是HDFS的基本存储单元，默认大小是128M 。 12.(每空1分)HDFS还可以对已经存储的Block进行多副本备份，将每个Block至少复制到 3 个相互独立的硬件上，这样可以快速恢复损坏的数据。 13.(每空2分)当客户端的读取操作发生错误的时候，客户端会向namenode 报告错误，并 请求namenode 排除错误的datanode 后，重新根据距离排序，从而获得一个新的的读取路径。如果所有的datanode 都报告读取失败，那么整个任务就读取失败。14.(每空2分)对于写出操作过程中出现的问题，FSDataOutputStream 并不会立即关闭。 客户端向Namenode报告错误信息，并直接向提供备份的datanode 中写入数据。备份datanode 被升级为首选datanode ，并在其余2个datanode 中备份复制数据。 NameNode对错误的DataNode进行标记以便后续对其进行处理。 15.(每空1分)格式化HDFS系统的命令为：hdfs namenode –format 。 16.(每空1分)启动hdfs的shell脚本为：start-dfs.sh 。 17.(每空1分)启动yarn的shell脚本为：start-yarn.sh 。 18.(每空1分)停止hdfs的shell脚本为：stop-dfs.sh 。 19.(每空1分)hadoop创建多级目录（如：/a/b/c）的命令为：hadoop fs –mkdir –p /a/b/c 。 20.(每空1分)hadoop显示根目录命令为：hadoop fs –lsr 。 21.(每空1分)hadoop包含的四大模块分别是：Hadoop common 、HDFS 、
ubuntu终端命令大全
一、文件目录类 二、 ? 1.建立目录：mkdir 目录名 ? 2.删除空目录：rmdir 目录名 ? 3.无条件删除子目录：rm -rf 目录名 ? 4.改变当前目录：cd 目录名（进入用户home目录：cd ~；进入上一级目录：cd -）? 5.查看自己所在目录：pwd ? 6.查看当前目录大小：du ?7.显示目录文件列表：ls -l （-a：增加显示隐含目录） ?其中：蓝：目录；绿：可执行文件；红：压缩文件；浅蓝：链接文件；灰：其他文件；红底白字：错误的链接文件 ?8.浏览文件：more 文件名.txt；less 文件名.txt ?9.复制文件：cp 源文件目标文件（-r：包含目录） ?10.查找文件：（1）find （2）locate 命令名 ?11.链接：（1）建立hard链接：ln 来源文件链接文件（-d：创建目录链接）；（2）建立符号链接：ln -s 来源文件链接文件 二、驱动挂载类 ? 1.检查硬盘使用情况：df -T -h ? 2.检查磁盘分区：fdisk -l ? 3.挂载软硬光区：mount -t /dev/fdx|hdax /mnt/目录名，其中：modos–FAT16； vfat–FAT32；ntfs–NTFS；光驱–iso9660，支持中文名：mount -o iocharset=x /dev/hdax /mnt/目录名，挂载光驱：mount -t auto /dev/cdrom /mnt/cdrom，挂载ISO文件：mount -t iso9660 -o loop xxx.iso /path ? 4.解除挂载：umount /mnt/目录名，解除所有挂载：umount -a ? 5.建立文件系统：mkfs -t /dev/hdxx。其中：ftype：ext2、ext3、swap等 三、程序安装类 1.RPM包安装： ?（1）安装rpm -ivh somesoft.rpm ?（2）反安装rpm -e somefost.rpm ?（3）查询rpm -q somefost 或rpm -qpi somefost.rpm（其中：p未安装；i包含的信息） ?（4）查询安装后位置：rpm -ql somefost.rpm ?（5）升级安装：rpm -Uvh somesoft.rpm ?（6）强制安装：rpm -ivh –nodeps somesoft.rpm 或rpm -ivh –nodeps –force somesoft.rpm 2.源代码包安装： 查阅README 基本用法： ?（1）配置：解压目录下./configure ?（2）编译：解压目录下make ?（3）安装：解压目录下make install 3.src.rpm的安装 需要用到rpmbuild命令加上–rebuild参数。如rpmbuild –rebuild ***.src.rpm。然后在/usr/src/下找
Hadoop最全面试题整理(附目录)
Hadoop面试题目及答案(附目录) 选择题 1.下面哪个程序负责HDFS 数据存储。 a)NameNode b)Jobtracker c)Datanode d)secondaryNameNode e)tasktracker 答案C datanode 2. HDfS 中的block 默认保存几份？ a)3 份b)2 份c)1 份d)不确定 答案A 默认3 份 3.下列哪个程序通常与NameNode 在一个节点启动？ a)SecondaryNameNode b)DataNode c)TaskTracker d)Jobtracker 答案D 分析：hadoop 的集群是基于master/slave 模式，namenode 和jobtracker 属于master，datanode 和tasktracker 属于slave，master 只有一个，而slave 有多个SecondaryNameNode 内存需求和NameNode 在一个数量级上，所以通常secondaryNameNode（运行在单独的物理机器上）和NameNode 运行在不同的机器上。 JobTracker 和TaskTracker JobTracker 对应于NameNode，TaskTracker 对应于DataNode，DataNode 和NameNode 是针对数据存放来而言的，JobTracker 和TaskTracker 是对于MapReduce 执行而言的。mapreduce 中几个主要概念，mapreduce 整体上可以分为这么几条执行线索：jobclient，JobTracker 与TaskTracker。 1、JobClient 会在用户端通过JobClient 类将应用已经配置参数打包成jar 文件存储到hdfs，并把路径提交到Jobtracker,然后由JobTracker 创建每一个Task（即MapTask 和ReduceTask）并将它们分发到各个TaskTracker 服务中去执行。 2、JobTracker 是一个master 服务，软件启动之后JobTracker 接收Job，负责调度Job 的每一个子任务task 运行于TaskTracker 上，并监控它们，如果发现有失败的task 就重新运行它。一般情况应该把JobTracker 部署在单独的机器上。 3、TaskTracker 是运行在多个节点上的slaver 服务。TaskTracker 主动与JobTracker 通信，接收作业，并负责直接执行每一个任务。TaskTracker 都需要运行在HDFS 的DataNode 上。 4. Hadoop 作者 a)Martin Fowler b)Kent Beck c)Doug cutting 答案C Doug cutting 5. HDFS 默认Block Size a)32MB b)64MB c)128MB 答案：B 6. 下列哪项通常是集群的最主要瓶颈 a)CPU b)网络c)磁盘IO d)内存 答案：C 磁盘 首先集群的目的是为了节省成本，用廉价的pc 机，取代小型机及大型机。小型机和大型机
hadoop基本操作指令
Hadoop基本操作指令 假设Hadoop的安装目录HADOOP_HOME为/home/admin/hadoop，默认认为Hadoop环境已经由运维人员配置好直接可以使用 启动与关闭 启动Hadoop 1. 进入HADOOP_HOME目录。 2. 执行sh bin/start-all.sh 关闭Hadoop 1. 进入HADOOP_HOME目录。 2. 执行sh bin/stop-all.sh 文件操作 Hadoop使用的是HDFS，能够实现的功能和我们使用的磁盘系统类似。并且支持通配符，如*。 查看文件列表 查看hdfs中/user/admin/aaron目录下的文件。 1. 进入HADOOP_HOME目录。 2. 执行sh bin/hadoop fs -ls /user/admin/aaron 这样，我们就找到了hdfs中/user/admin/aaron目录下的文件了。 我们也可以列出hdfs中/user/admin/aaron目录下的所有文件（包括子目录下的文件）。 1. 进入HADOOP_HOME目录。 2. 执行sh bin/hadoop fs -lsr /user/admin/aaron 创建文件目录 查看hdfs中/user/admin/aaron目录下再新建一个叫做newDir的新目录。 1. 进入HADOOP_HOME目录。 2. 执行sh bin/hadoop fs -mkdir /user/admin/aaron/newDir 删除文件 删除hdfs中/user/admin/aaron目录下一个名叫needDelete的文件 1. 进入HADOOP_HOME目录。 2. 执行sh bin/hadoop fs -rm /user/admin/aaron/needDelete 删除hdfs中/user/admin/aaron目录以及该目录下的所有文件
ubuntu下-关机重启命令
ubuntu下-关机重启命令 来源: ChinaUnix博客日期：2008.12.24 18:19(共有0条评论) 我要评论 1关机命令shutdown 好像ubuntu的终端中默认的是当前用户的命令，只是普通用户，因此在终端器中可以使用sudo -sh 转换到管理员root用户下执行命令。 1)shutdown --help 可以查看shutdown命令如何使用，当然也可以使用man shutdown命令。 2）shutdown -h now 现在立即关机 3）shutdown -r now 现在立即重启 4）shutdown -r +3 三分钟后重启 5）shutdown -h +3 "The System will shutdown after 3 minutes" 提示使用者将在三分钟后关机6）shutdown -r 20:23 在20：23时将重启计算机 7）shutdown -r 20:23 & 可以将在20：23时重启的任务放到后台去，用户可以继续操作终端 2中断命令 1）执行完命令后（若没有转到后台），可以使用CTRL+C来中止命令 2）kill 程序编码 当命令在后台执行时系统会返回一个程序编码，例如：在使用shutdown -r 20:23 & 系统返回系统编码：4905 我们可以使用kill 4905来中止重启命令 3ps aux | grep 程序编号 我们如果知道程序的编号，我们可以使用ps aux |grep 程序编号来查询该程序编号对应的命令是什么。例如上面的程序编号为4905 ，我们可以使用ps aux | grep 4905 就可以查到shutdown -r 20:23 & 的命令
ubuntu下使用VI编辑文件必知的常用命令
u b u n t u下使用V I编辑文件必知的常用命令内部编号：（YUUT-TBBY-MMUT-URRUY-UOOY-DBUYI-0128）
最近在使用ubuntu，已经很少进入windows平台了。在linux下，要编辑文件或者其他的文本文件，哪那么一个ubuntu linux下的强大的文本编辑工具就不得不提了，那就是VI编辑器。下面把VI常用到的命令行贴出来。 进入vi的命令 vi filename :打开或新建文件，并将光标置于第一行首 vi +n filename ：打开文件，并将光标置于第n行首 vi + filename ：打开文件，并将光标置于最后一行首 vi +/pattern filename：打开文件，并将光标置于第一个与pattern匹配的串处 vi -r filename ：在上次正用vi编辑时发生系统崩溃，恢复filename vi filename….filename ：打开多个文件，依次进行编辑 移动光标类命令 h ：光标左移一个字符 l ：光标右移一个字符 space：光标右移一个字符 Backspace：光标左移一个字符 k或Ctrl+p：光标上移一行 j或Ctrl+n ：光标下移一行 Enter ：光标下移一行 w或W ：光标右移一个字至字首 b或B ：光标左移一个字至字首
e或E ：光标右移一个字至字尾 ) ：光标移至句尾 ( ：光标移至句首 }：光标移至段落开头 {：光标移至段落结尾 nG：光标移至第n行首 n+：光标下移n行 n-：光标上移n行 n$：光标移至第n行尾 H ：光标移至屏幕顶行 M ：光标移至屏幕中间行 L ：光标移至屏幕最后行 0：（注意是数字零）光标移至当前行首 $：光标移至当前行尾 屏幕翻滚类命令 Ctrl+u：向文件首翻半屏 Ctrl+d：向文件尾翻半屏 Ctrl+f：向文件尾翻一屏 Ctrl＋b；向文件首翻一屏 nz：将第n行滚至屏幕顶部，不指定n时将当前行滚至屏幕顶部。插入文本类命令 i ：在光标前
Hadoop 学习笔记
Hadoop 在Hadoop上运行MapReduce命令 实验jar：WordCount.jar 运行代码：root/……/hadoop/bin/hadoop jar jar包名称使用的包名称input(输入地址) output(输出地址) 生成测试文件：echo -e "aa\tbb \tcc\nbb\tcc\tdd" > ceshi.txt 输入地址：/data2/u_lx_data/qiandongjun/eclipse/crjworkspace/input 输出地址：/data2/u_lx_data/qiandongjun/eclipse/crjworkspace/output 将测试文件转入输入文件夹：Hadoop fs -put ceshi.txt /data2/u_lx_data/qiandongjun/eclipse/crjworkspace/input/ceshi.txt 运行如下代码：hadoop jar /data2/u_lx_data/qiandongjun/eclipse/crjworkspace/WordCount.jar WordCount /data2/u_lx_data/qiandongjun/eclipse/crjworkspace/input/ceshi.txt /data2/u_lx_data/qiandongjun/eclipse/crjworkspace/output Hadoop架构 1、HDFS架构 2、MapReduce架构 HDFS架构（采用了Master/Slave 架构） 1、Client --- 文件系统接口，给用户调用 2、NameNode --- 管理HDFS的目录树和相关的的文件元数据信息以及监控DataNode的状 态。信息以“fsimage”及“editlog”两个文件形势存放 3、DataNode --- 负责实际的数据存储，并将数据定期汇报给NameNode。每个节点上都 安装一个DataNode 4、Secondary NameNode --- 定期合并fsimage和edits日志，并传输给NameNode （存储基本单位为block） MapReduce架构（采用了Master/Slave 架构） 1、Client --- 提交MapReduce 程序并可查看作业运行状态 2、JobTracker --- 资源监控和作业调度 3、TaskTracker --- 向JobTracker汇报作业运行情况和资源使用情况（周期性），并同时接 收命令执行操作 4、Task --- (1)Map Task (2)Reduce Task ——均有TaskTracker启动 MapReduce处理单位为split，是一个逻辑概念 split的多少决定了Map Task的数目，每个split交由一个Map Task处理 Hadoop MapReduce作业流程及生命周期 一共5个步骤 1、作业提交及初始化。JobClient将作业相关上传到HDFS上，然后通过RPC通知JobTracker，
Ubuntu操作命令
Ubuntu操作命令 1、--help、help、man 如：ls –help 、help ls 、man ls 2、Tab建补齐目录和文件及命令 3、ls Ls Ls –l 列出文件及权限等 Ls –a 显示隐藏文件（以点开头的文件都是隐藏文件） Ls --color 4、alias 翻译功能 Alias ls=” ls -l” 当这次敲ls时显示的就是“ls –l”设置的那个设置 Alias ls=” ls --color” 当这次敲ls时显示的就是“ls –color”设置的那个设置 5、env 查看环境变量 6、创建文件touch touch /home/1.text 7、删除rm rm -r /bin/mnue.lst 8、查看less more cat less /home/1.text 分屏显示，可以回显 more /home/1.text 分屏显示，不可以回显 cat /home/1.text 一屏显示 9、拷贝cp cp /home/mnue.lst /bin/mnue.lst 10、改名mv mv /home/mnue.lst /home/m.lst 11、查找find find / -name “ls*” find . –name test find /home –name test 12、列表ls ls -l ls -a ls --color
下载源码 svn co https://192.168.0.10:8443/svn/goldenplatform/trunk 执行整个源码程序 root@ubuntu:/GoldenPlatform/trunk# rm out –r //先删除out目录root@ubuntu:/GoldenPlatform/trunk# ./buildWMA9766RETAIL 编译模块程序 root@ubuntu:/GoldenPlatform/trunk# source build/envsetup.sh root@ubuntu:/GoldenPlatform/trunk# choosecombo 1 1 7 3 //7 是9765 、8 是9766 root@ubuntu:/GoldenPlatform/trunk#cd packages/apps/Email root@ubuntu:/GoldenPlatform/trunk/packages/apps/Email#mm 联机查看log adb shell 再打开ddms