星级评价:
日期:09-13
立即下载
PiFlow是一款非常强大的大数据流水线系统,混合型科学大数据流水线系统,这款系统将数据采集、储存的等环节封装成组件,软件简单使用容易,提供100+的数据处理组件,如果有需要朋友的可以来本站下载试试。
软件特色
简单易用。
可视化配置流水线。
监控流水线。
查看流水线日志。
检查点功能。
扩展性强:
支持自定义开发数据处理组件。
性能优越:
基于分布式计算引擎Spark开发。
功能强大:
提供100+的数据处理组件。
包括Hadoop 、Spark、MLlib、Hive、Solr、Redis、MemCache、ElasticSearch、JDBC、MongoDB、HTTP、FTP、XML、CSV、JSON等。
集成了微生物领域的相关算法。
使用方法
解压piflow-server-v0.9.tar.gz。
tar -zxvf piflow-server-v0.9.tar.gz。
编辑配置文件config.properties。
运行、停止、重启PiFlow Server。
start.sh、stop.sh、 restart.sh、 status.sh。
测试 PiFlow Server。
设置环境变量 PIFLOW_HOME。
vim /etc/profile。
export PIFLOW_HOME=/yourPiflowPath/bin。
export PATH=PATH:PIFLOW_HOME/bin。
运行如下命令。
piflow flow start example/mockDataFlow.json。
piflow flow stop appID。
piflow flow info appID。
piflow flow log appID。
piflow flowGroup start example/mockDataGroup.json。
piflow flowGroup stop groupId。
piflow flowGroup info groupId。
如何配置config.properties。
#spark and yarn config。
spark.master=yarn。
spark.deploy.mode=cluster。
#hdfs default file system。
fs.defaultFS=hdfs://10.0.86.191:9000。
#yarn resourcemanager.hostname。
yarn.resourcemanager.hostname=10.0.86.191。
#if you want to use hive, set hive metastore uris。
#hive.metastore.uris=thrift://10.0.88.71:9083。
#show data in log, set 0 if you do not want to show data in logs。
data.show=10。
#server port
server.port=8002
#h2db port
h2.port=50002
其他版本
本类下载排名 总 月
拼多多商家工作台 V2.4.8.31 官方安装版
497次软件大小:101.84 MB
更新日期:2022-05-22
鸿蒙OS系统模拟器PC版 V2.1.0 官方版
137次软件大小:890.80 MB
更新日期:2022-05-19
Altair EDEM 2021 V2021.0 免费版
76次软件大小:467.00 MB
更新日期:2022-05-23
京东一键完成任务脚本 V2021 最新版
67次软件大小:20.82 MB M
更新日期:2022-05-22
拼多多兔子助手(拼兔掌柜卫士) V22.71 绿色版
66次软件大小:303.28 MB
更新日期:2022-05-16
速腾茶楼管理系统 V20.0801 官方安装版
65次软件大小:8.22 MB
更新日期:2022-05-23
Visual Case(可视化问题管理软件) V3.3.450 中文安装版
58次软件大小:52.20 MB
更新日期:2022-05-22
岩土工程勘察软件 V2020.06.25 官方安装版
55次软件大小:106.64 MB
更新日期:2022-05-17
Synchro V11.0.168.0 中文版
52次软件大小:83.95 MB
更新日期:2022-05-22
吾道 V1.0.0 官方版
46次软件大小:39.54 MB
更新日期:2022-05-11
Synchro V11.0.168.0 中文版
9次软件大小:83.95 MB
更新日期:2022-05-22
Visual Case(可视化问题管理软件) V3.3.450 中文安装版
7次软件大小:52.20 MB
更新日期:2022-05-22
速腾茶楼管理系统 V20.0801 官方安装版
6次软件大小:8.22 MB
更新日期:2022-05-23
拼多多兔子助手(拼兔掌柜卫士) V22.71 绿色版
6次软件大小:303.28 MB
更新日期:2022-05-16
拼多多商家工作台 V2.4.8.31 官方安装版
4次软件大小:101.84 MB
更新日期:2022-05-22
良犬小学数学五年级上册口算练习合集软件 V1.0 绿色免费版
4次软件大小:72.29 MB
更新日期:2022-05-18
小学数学出题器 V4.0 最新版
4次软件大小:10.21 MB
更新日期:2022-05-14
京东一键完成任务脚本 V2021 最新版
4次软件大小:20.82 MB M
更新日期:2022-05-22
ClassIn在线教室 V4.0.1.58 官方版
4次软件大小:109.63 MB
更新日期:2022-05-21
Cadsoft Envisioneer V14.0 中文版
4次软件大小:874.93 MB
更新日期:2022-05-17
装机必备
最新软件
热门软件推荐
软件专题 更多+