首页 > 社交 > 科普中国

大数据平台docker部署

常驻编辑 科普中国 2022-07-15 数据   宿主   节点   容器   用户名   密码   模式   文件   测试   方法   平台
tier1.sources.srctest.max.rows = 1000
tier1.sources.srctest.hibernate.connection.provider_class = org.hibernate.connection.C3P0ConnectionProvider
tier1.sources.srctest.hibernate.c3p0.min_size=1
tier1.sources.srctest.hibernate.c3p0.max_size=10
tier1.sources.sql-source.incremental.column.name = id
tier1.channels.chtest.type = file
tier1.channels.chtest.checkpointDir = /flume/oracle/flume-ng/checkpoint
tier1.channels.chtest.dataDirs = /flume/oracle/flume-ng/data
#tier1.channels.chtest.capacity=10000
#tier1.channels.chtest.transactionCapacity=1000
#tier1.channels.chtest.byteCapacityBufferPercentage=20
#tier1.channels.chtest.byteCapacity=1600
#tier1.channels.chtest.capacity = 100
tier1.sources.srctest.channels=chtest
tier1.sinks.sinktest.channel = chtest
tier1.sinks.sinktest.type = hdfs
tier1.sinks.sinktest.hdfs.path = /flume/oracle/%Y-%m-%d
tier1.sinks.sinktest.hdfs.filePrefix = data
tier1.sinks.sinktest.hdfs.inUsePrefix = .
tier1.sinks.sinktest.hdfs.rollInterval = 30
tier1.sinks.sinktest.hdfs.rollSize = 0
tier1.sinks.sinktest.hdfs.rollCount = 0
tier1.sinks.sinktest.hdfs.batchSize = 1000
tier1.sinks.sinktest.hdfs.writeFormat = text
tier1.sinks.sinktest.hdfs.fileType = DataStream


CD0拜客生活常识网

sudo -u hdfs hadoop dfsadmin -safemode leave


CD0拜客生活常识网

flume-ng agent --conf conf --conf-file test-oracle-hdfs.conf --name tier2 -Dflume.root.logger=INFO,console

相关阅读:

  • 光环大数据培训怎么样(大数据对培训与开发)
  • 手机恢复出厂设置会怎么样(手机如何永久删除数据)
  • 数据分析的方法有哪些(数据分析通常包括哪两种方法)
  • 哪些是大数据(大数据具有哪些基本特征)
  • 分析软件有哪些(数据分析软件排名)
  • 哪里找数据(综艺节目数据在哪找)
  • 合并单元格在哪里(数据合并表格在哪)
  • 上市公司为什么并购(上市公司并购重组数据)
  • 哪个图数据芯片多(AI芯片)
  • 数据存在哪里(数据库的数据是存在硬盘里吗)
    • 网站地图 |
    • 声明:登载此文出于传递更多信息之目的,并不意味着赞同其观点或证实其描述。文章内容仅供参考,不做权威认证,如若验证其真实性,请咨询相关权威专业人士。