Question

Reading and Filtering for Sharepoint Online lists

  • 25 March 2021
  • 2 replies
  • 25 views

Badge

With the help from our Sharepoint team, we were able to get my FME account configured in Azure and I have successfuily setup a WebConnection a Sharepoint site that allows me to read lists using a Sharepoint List Reader.

 

I have two (questions):

1) What's the proper syntax when using the 'Filter' field under 'List Options' in the reader.  I have consulted Microsoft and OData pages to come up with the following for filtering out Null values:

notNull_sharepointBut all the gets me is 

Microsoft SharePoint List Reader: Error returned from the server. This may be a result of the "Items Per Request" parameter exceeding the server's limit. The "Items Per Request" parameter can be lowered. Error was: 'The attempted operation is prohibited because it exceeds the list view threshold.'
A fatal error has occurred. Check the logfile above for details

If I leave out the filter, the reader will return 1ooK's of records without complaining about the limit though. So my filter must be wrong. Putting quotes around the field name...

Microsoft SharePoint List Reader: Client-side error: '400 Client Error: Bad Request for url: ................................ returned from SharePoint. Error message was: 'The query is not valid.' 

Any more documentation on how to do filtering correctly?

2) I would also like to get to some Sharepoint URLs for documents for which I'm reading metadata like  file name, size... etc. I have a base URL for the site but I don't know where to find the folder structure between site and document name

https://<my base url >.sharepoint.com/sites/mysite/list/  .. / .. / ../ mydocument.pdf

Is this a matter of limited access? Anyone found a way to retrieve the full Sharepoint URL to documents?

 

I am looking at making at using the HTTP Caller next for the Sharepoint web service but love to use the "simpler" out of the box reader. Thanks. 


2 replies

Badge

Using the HTTP Caller route and the excellent how-to courtesy @jlutherthomas​ looks like the way to go regarding my question No.2.... I'm definitely getting some folder structure that way.

Userlevel 1
Badge +10

For #1 where you are getting the following error returned when including a filter...

The attempted operation is prohibited because it exceeds the list view threshold.

... I found reports of a similar error on a few online forums (i.e. see this thread, or this thread) where this occurs when filtering on unindexed columns.  Can you confirm that the "State" column in your filter query is indexed?

Reply