设计 任务书 文档 开题 答辩 说明书 格式 模板 外文 翻译 范文 资料 作品 文献 课程 实习 指导 调研 下载 网络教育 计算机 网站 网页 小程序 商城 购物 订餐 电影 安卓 Android Html Html5 SSM SSH Python 爬虫 大数据 管理系统 图书 校园网 考试 选题 网络安全 推荐系统 机械 模具 夹具 自动化 数控 车床 汽车 故障 诊断 电机 建模 机械手 去壳机 千斤顶 变速器 减速器 图纸 电气 变电站 电子 Stm32 单片机 物联网 监控 密码锁 Plc 组态 控制 智能 Matlab 土木 建筑 结构 框架 教学楼 住宅楼 造价 施工 办公楼 给水 排水 桥梁 刚构桥 水利 重力坝 水库 采矿 环境 化工 固废 工厂 视觉传达 室内设计 产品设计 电子商务 物流 盈利 案例 分析 评估 报告 营销 报销 会计
 首 页 机械毕业设计 电子电气毕业设计 计算机毕业设计 土木工程毕业设计 视觉传达毕业设计 理工论文 文科论文 毕设资料 帮助中心 设计流程 
垫片
您现在所在的位置:首页 >>理工论文 >> 文章内容
                 
垫片
   我们提供全套毕业设计和毕业论文服务,联系微信号:biyezuopin QQ:2922748026   
Storm的配置及实验报告
文章来源:www.biyezuopin.vip   发布者:毕业作品网站  

目录

一、 实验内容

二、 实现方法

## whitelist / blacklist

三、 结果分析

四、 结论与展望

一、 实验内容

Storm的配置

Ø JDK的安装与配置

Ø ZooKeeper的安装与配置

Ø Storm的安装与配置

二、 实现方法

JDK的安装与配置,这个在很早以前就已经配置过了,由于最新版本的java直接一键安装即可,故这个部分非常简单。

设置环境变量:

Ø 新增环境变量STORM_HOME并设置为D:\apache-storm-1.2.2

Ø 在Path里新增%STORM_HOME%\bin

Ø 在PATHEXT路径中加入.PY

Ø

Ø 在storm下找到E\conf storm.yaml 将其内容复制为:

# Licensed to the Apache Software Foundation (ASF) under one

# or more contributor license agreements.  See the NOTICE file

# distributed with this work for additional information

# regarding copyright ownership.  The ASF licenses this file

# to you under the Apache License, Version 2.0 (the

# "License"); you may not use this file except in compliance

# with the License.  You may obtain a copy of the License at

#

# http://www.apache.org/licenses/LICENSE-2.0

#

# Unless required by applicable law or agreed to in writing, software

# distributed under the License is distributed on an "AS IS" BASIS,

# WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.

# See the License for the specific language governing permissions and

# limitations under the License.

########### These MUST be filled in for a storm configuration

# storm.zookeeper.servers:

#     - "server1"

#     - "server2"

storm.zookeeper.servers:

- "127.0.0.1"

#

# nimbus.seeds: ["host1", "host2", "host3"]

nimbus.seeds: ["127.0.0.1"]

storm.local.dir: "D:\\storm-local\\data3"

supervisor.slots.ports:

- 6700

- 6701

- 6702

- 6703

#

#

# ##### These may optionally be filled in:

#

## List of custom serializations

# topology.kryo.register:

#     - org.mycompany.MyType

#     - org.mycompany.MyType2: org.mycompany.MyType2Serializer

#

## List of custom kryo decorators

# topology.kryo.decorators:

#     - org.mycompany.MyDecorator

#

## Locations of the drpc servers

# drpc.servers:

#     - "server1"

#     - "server2"

## Metrics Consumers

## max.retain.metric.tuples

## - task queue will be unbounded when max.retain.metric.tuples is equal or less than 0.

## whitelist / blacklist

## - when none of configuration for metric filter are specified, it'll be treated as 'pass all'.

## - you need to specify either whitelist or blacklist, or none of them. You can't specify both of them.

## - you can specify multiple whitelist / blacklist with regular expression

## expandMapType: expand metric with map type as value to multiple metrics

## - set to true when you would like to apply filter to expanded metrics

## - default value is false which is backward compatible value

## metricNameSeparator: separator between origin metric name and key of entry from map

## - only effective when expandMapType is set to true

# topology.metrics.consumer.register:

#   - class: "org.apache.storm.metric.LoggingMetricsConsumer"

#     max.retain.metric.tuples: 100

#     parallelism.hint: 1

#   - class: "org.mycompany.MyMetricsConsumer"

#     max.retain.metric.tuples: 100

#     whitelist:

#       - "execute.*"

#       - "^__complete-latency$"

#     parallelism.hint: 1

#     argument:

#       - endpoint: "metrics-collector.mycompany.org"

#     expandMapType: true

#     metricNameSeparator: "."

## Cluster Metrics Consumers

# storm.cluster.metrics.consumer.register:

#   - class: "org.apache.storm.metric.LoggingClusterMetricsConsumer"

#   - class: "org.mycompany.MyMetricsConsumer"

#     argument:

#       - endpoint: "metrics-collector.mycompany.org"

#

# storm.cluster.metrics.consumer.publish.interval.secs: 60

# Event Logger

# topology.event.logger.register:

#   - class: "org.apache.storm.metric.FileBasedEventLogger"

#   - class: "org.mycompany.MyEventLogger"

#     arguments:

#       endpoint: "event-logger.mycompany.org"

# Metrics v2 configuration (optional)

#storm.metrics.reporters:

#  # Graphite Reporter

#  - class: "org.apache.storm.metrics2.reporters.GraphiteStormReporter"

#    daemons:

#        - "supervisor"

#        - "nimbus"

#        - "worker"

#    report.period: 60

#    report.period.units: "SECONDS"

#    graphite.host: "localhost"

#    graphite.port: 2003

#

#  # Console Reporter

#  - class: "org.apache.storm.metrics2.reporters.ConsoleStormReporter"

#    daemons:

#        - "worker"

#    report.period: 10

#    report.period.units: "SECONDS"

#    filter:

#        class: "org.apache.storm.metrics2.filters.RegexFilter"

#        expression: ".*my_component.*emitted.*"

最后就是运行部分:首先,先确保zookeeper是打开的状态(运行bin目录下的zkSever.cmd),之后进入到Strom的bin目录下,分别运行storm.py  nimbus、storm.py supervisor和storm.py ui指令。

Ø zookeeper打开

Ø 运行storm.py nimbus

Ø Storm.py supervisor

Ø Storm.py ui

可以看到,成功运行,配置完成。

三、 结果分析

在打开zookeeper、nimbus、supervisor、ui可以成功得检验storm的安装。在windows系统下的安装较为简单,但是对于初学的我们仍然带来了很大的挑战。

四、 结论与展望

Storm是一个分布式的、容错的实时计算系统。Storm为分布式实时计算提供了一组通用原语,可被用于“流处理”之中,实时处理消息并更新数据。Storm可以方便地在一个计算机集群中编写与扩展复杂的实时计算,Storm用于实时处理。综上所述,Storm具有广阔的应用前景和丰厚的应用价值,学习好Storm对同学们今后的学习和工作都有十分巨大的帮助。

  全套毕业设计论文现成成品资料请咨询微信号:biyezuopin QQ:2922748026     返回首页 如转载请注明来源于www.biyezuopin.vip  

                 

打印本页 | 关闭窗口
本类最新文章
基于人工智能的智能语音识别系统设 大数据舆情分析系统的设计与实现 “上帝的归上帝,凯撒的归凯撒”:
平板单元(Mindlin板)的热 AIGC的著作权归属问题:基于成 带有随机场变量结构的动力特性分析
| 关于我们 | 友情链接 | 毕业设计招聘 |

Email:biyeshejiba@163.com 微信号:biyezuopin QQ:2922748026  
本站毕业设计毕业论文资料均属原创者所有,仅供学习交流之用,请勿转载并做其他非法用途.如有侵犯您的版权有损您的利益,请联系我们会立即改正或删除有关内容!