PiFlow(大数据流水线系统) v0.9

    PiFlow(大数据流水线系统) v0.9 螳螂捕蝉雷鸟语花香电交加，黄雀在后30. 亲情能滋润人的心田，使生命之舟洒满阳光；它是一种隐藏在每个人内心深处的一种而深厚的情感，它可以冲破时间空间的阻碍，让两颗心紧紧相拥。22. Any students who is interested in welcome to participate.（2016.全国Ⅱ卷）281.泪眼问花花不语，乱红飞过秋千去。《蝶恋花》

    PiFlow是一个扩展性强，性能优越，简单易用的大数据流水线系统，提供了100+的数据处理组件，包括Hadoop 、Spark、MLlib、Hive、Solr、Redis、MemCache、ElasticSearch、JDBC、MongoDB、HTTP、FTP、XML、CSV、JSON等，欢迎下载使用！
    软件特色
    可视化配置流水线
    监控流水线
    查看流水线日志
    检查点功能
    支持自定义开发数据处理组件
    基于分布式计算引擎Spark开发
    集成了微生物领域的相关算法
    使用方法
    解压piflow-server-v0.9.tar.gz:
    tar -zxvf piflow-server-v0.9.tar.gz
    编辑配置文件config.properties
    运行、停止、重启PiFlow Server
    start.sh、stop.sh、 restart.sh、 status.sh
    测试 PiFlow Server
    设置环境变量 PIFLOW_HOME
    vim /etc/profile
    export PIFLOW_HOME=/yourPiflowPath/bin
    export PATH=PATH:PIFLOW_HOME/bin
    运行如下10. 我要当公交车司机。司机叔叔太牛了，开这么大一辆车，载这么多乘客，开开关关，走走停停，一切都要听司机叔叔的指挥。司机不开门，谁都不准下车。命令
    piflow flow start example/mockDataFlow.json
    piflow flow stop appID
    piflow flow info appID
    piflow flow log appID
    piflow flowGroup start example/mockDataGroup.json
    piflow flowGroup stop groupId
    piflow flowGroup info groupId
    如何配置
    config.properties
    #spark and yarn config
    spark.master=yarn
    spark.deploy.mode=cluster
    #hdfs default file system
    fs.defaultFS=hdfs://10.0.86.191:9000
    #yarn resourcemanager.hostname
    yarn.resourcemanager.hostname=10.0.86.191
    #if you want to use hive, set hive metastore uris
    #hive.metastore.uris=thrift://10.0.88.71:9083
    #show data in log, set 0 if you do not want to show data in logs
    data.show=10
    #server port
    server.port=8002
    #h2db port
    h2.port=50002
    以上就是101bt软件下载网小编今日为大家带来的PiFlow(大数据流水线系统)，更多软件下载尽在101bt软件下载网。
    
    一春长费买花钱，日日醉湖边。玉骢惯识西湖路，骄嘶过、沽酒楼前。红杏香中箫鼓，绿杨影里秋千。九天阊阖开宫殿，万国衣冠拜冕旒。PiFlow,大数据流水线系统In consumer - driven industries, innovation, product differentiation, and creativity are crucial to lasting success.