Spark 连接 Mongodb
官方地址:
https://www.mongodb.com/products/spark-connector
使用时候遇到一个问题,就是通过MongodbConnector 连接 Mongodb 时候,如果mongodb 是有密码验证的,一直不能通过验证:
一直报错:not authorized on admin to execute command
引用
[WARN ] 2018-03-07 09:53:42,445 com.mongodb.spark.rdd.partitioner.MongoSamplePartitioner - Could not get collection statistics. Server errmsg: Command failed with error 13: 'not authorized on admin to execute command { collStats: "yw_route", $queryOptions: { $readPreference: { mode: "secondaryPreferred" } } }' on server x.x.x.x:x. The full response is { "ok" : 0.0, "errmsg" : "not authorized on admin to execute command { collStats: \"yw_route\", $queryOptions: { $readPreference: { mode: \"secondaryPreferred\" } } }", "code" : 13 }
查找了很长时间,终于找到了解决方法:
配置mongodb uri 如下:
引用
mongodb://USER:PW@HOST:PORT,HOST1:PORT1/DB.COLLECTION?authSource=admin
验证通过,也可以查询数据了
分享到:
相关推荐
这个主要是spark 用JAVA语言连接mysql , mongodb 数据库的 CRUD 例子;附件有运行使用的截图,运行入口在Test目录的测试用例;仅供参考!
Spark与mongodb整合完整版本
主要是spark 用JAVA语言连接mysql , mongodb 数据库的 CRUD 例子;附件有运行使用的截图,运行入口在Test目录的测试用例;
MongoDB Spark连接器官方的MongoDB Spark连接器。文献资料参见: :正在下载该连接器发布在上, 软件包是第三方软件包的社区索引。 Maven,SBT,Ivy和其他代码的二进制文件和依赖项信息也可以在上找到。支持/反馈对于...
蒙戈火花一个使用 Apache Spark 和 MongoDB 的简单示例。 该项目使用 Hadoop 2.6.0 和 Mongo Hadoop 连接器 1.3.1。 在 Mac 上运行此应用程序的步骤: 安装 MongoDB 安装自制软件使用自制软件安装 Hadoop。 使用此...
第三方mongo spark连接器,运行spark-submit --packages com.stratio.datasource:spark-mongodb_2.10:0.11.2可以自动下载,国内网容易下载失败,把这个文件解压后拷贝到~/.ivy2目录下即可。 ...
您需要编辑DBConfig对象顶部的设置,以指定MongoDB服务器的连接详细信息。 您可以通过IntelliJ Idea IDE或通过sbt命令行工具来构建项目,但是您将需要使用sbt来运行assembly命令,以便可以将示例提交到Spark集群。 ...
mongodb-spark官方连接器,运行spark-submit --packages org.mongodb.spark:mongo-spark-connector_2.11:1.1.0可以自动下载,国内网络不容易下载成功,解压后保存到~/.ivy2目录下即可。
基于阿里云EMR的spark streaming连接kafka;使用redis、MongoDB的demo
先决条件机Spark MongoDB连接器(NSMC)程序集JAR 使用的设置-仅需要运行类PopulateTestCollection 。 Apache Spark Thrift配置Thrift JDBC服务器以使用NSMC创建一个配置文件(例如nsmc.conf ) spark.nsmc....
mongo-spark, 如何使用,连接器,例如应用程序 火星火花关于如何使用 mongo 连接器与 Apache Spark 接口的应用程序示例。在 http://codeforhire.com//using-spark-with-mongodb/ 阅读更多详细信息。先决条件Mongo
mongodb spark连接器,适用版本spark2.1.X ,Scala2.11.X, java 6 or later,mongodb 2.6 or later,请根据上面的版本选择,不然会报各种错误
df = spark.read.format(com.mongodb.spark.sql.DefaultSource).load() File /home/cisco/spark-2.2.0-bin-hadoop2.7/python/lib/pyspark.zip/pyspark/sql/readwriter.py, line 165, in load
spark-mong连接jar包 这个主要是spark 用JAVA语言连接mysql , mongodb 数据库的
该资源真实可靠,代码都经测试过,能跑通。 快速:Apache Spark以内存计算为核心。 通用 :一站式解决各个问题,ADHOC SQL查询,流计算,数据挖掘,图计算完整的...提供了命令行工具和JDBC驱动程序以将用户连接到Hive。
该资源真实可靠,代码都经测试过,能跑通。 快速:Apache Spark以内存计算为核心。 通用 :一站式解决各个问题,ADHOC SQL查询,流计算,数据挖掘,图计算完整的...提供了命令行工具和JDBC驱动程序以将用户连接到Hive。
该资源真实可靠,代码都经测试过,能跑通。 快速:Apache Spark以内存计算为核心。 通用 :一站式解决各个问题,ADHOC SQL查询,流计算,数据挖掘,图计算完整的...提供了命令行工具和JDBC驱动程序以将用户连接到Hive。
pyspark2.3.0,scala2.11,连接mongodb的jar包,注意对应的版本
MongoDB-M101J Spark运行在 MongoDB运行在 使用以下方法连接到mongo: mongo第一周:简介概述,设计目标,Mongo Shell,JSON简介,安装工具,博客项目概述。 Maven,Spark和Freemarker第2周:CRUD Mongo Shell,查询...
在本次研讨会中,我们将首先了解这些技术如何与适用于 Hadoop 的 MongoDB 连接器配合使用。 然后我们将介绍使用 MapReduce、Pig、Hive 和 Spark 读取/写入 MongoDB 数据。 最后,我们将讨论更广泛的数据生态系统和...